Спутниковая рыбалка (грабинг)! Что же это такое?

[Konstantin]

Граббинг - перехват спутниковых интернет-потоков

Краткий обзор предистории

Широковещательный характер спутниковой передачи делает возможным прием информации предназначенной и другим (и даже всем) пользователям. То что, практически никто из операторов спутникового ассиметричного доступа в интернет не применяет шифрование передаваемой информации, упрощает эту задачу.

Таким образом, даже не имея подписки ни на одну систему спутникового доступа в интернет, можно получать данные,запрашиваемые другими пользователями. Существуют диаметрально противоположные мнения о целесообразности этого занятия. С одной стороны, на диске компьюера скапливаются завалы хлама - ведь сортировка по имени невозможна - имена файлов не передаются в спутниковом канале. С другой стороны, умелое оперирования параметрами перехвата - адрес приемника (MAC-адрес), тип файла, его размер, свойства, позволяет совершенно бесплатно получать большое количество фильмов, дистрибутивов ПО, музыки и многое другое... Для разбора полученного существует ряд программ, сортирующих и упрядочивающих уже полученную информацию.

Российские пользователи нашли очень верное название этому занятию - РЫБАЛКА. Сравнените сами - нужно знать место (спутник, транспондер, PID) и время где ловить. Нужно настроить удочку (программы) на лов конкретной рыбы (типы и размеры файлов). Рыба может сорваться - прием файла может остановиться и тот будет потерян (дисконт). Приходится постоянно сортировать улов.

Стоит отметить, что перехват информации из спутникового потока - процесс реального времени, причем перехватчик, в отличии от оригинального получателя информации (абонент СИ) не может воздействовать на процесс - в самом деле, если получатель не получит часть пакетов, он их перезапросит (это сделает стек TCP/IP). У перехватчика такой возможности нет. В связи с этим особые требования предъявляются к быстродействию компьютера, объему оперативной памяти.

Основное неудобство в том, что в спутниковом канале (и в любом обратном) не передаются имена файлов. Частично эта задача решается при помощи специальных программ, если в свойствах файла есть что-либо индетифициующее его - например MP3-таг для музыкальных файлов.

История программ для перехвата практически повторяет историю программ для просмотра спутникового ТВ, за исключение того, что софта для прехвата ни один из производителей DVB-карт не пишет. Первые программы были написаны для SkyStar1, имеющим открытое API. Это программы LiveInet, IP/DVB Streamreader и DVB StreamReader. В последствии, на основе API, созданном польским программистом Marian Ficek (Marfi), в эти программы была добавлена поддержка SkyStar2

Как и с ТВ-программами стремительный рост популярности программ граббинга напрямую связан с Россией. Вначале для программы просмотра ТВ-каналов ProgDVB, был написан модуль PidScanner, позволяющий определять активные PID в потоке. Затем UglyAdmin создал модуль FileGraber, служащий для перехвата потока.

Однако истинный расцвет грабберства, связыватся с появление программы SkyNet созданный программистом под ником S.O.V.A. В начале это был модуль для ProgDVB, впоследствии выделившийся в отдельную программу. У SkyNet много возможностей, стоит отметить поддержку механизма RegEx. В настоящее время S.O.V.A. опубликовал исходники и SkyNet совершенствуется и другими программистами. Появились и другие программы, например SkyGrabber.

Активно развиваются и программы для сортировки и обработки полученной информации. На форумах происходит обмен информацией - "рыбные" транспондеры, PID.


gs.ru/info/si/grab.html

[Konstantin]

Спутниковая рыбалка (граббинг) - это перехват всего потока
и запись его к вам на диск.

ВСЕ PID ДЛЯ ГРАББИНГА НА СПУТНИКАХ

Спутник Бонум 1 56Е

12456 L 5000 3/4 провайдер "ОТИК"

PID: 931

Источник: Videocool

Спутник ABS 1 75Е

12610 V 22000 7/8 провайдер "GTSS"

PID: 492,493,494,496,497,498,499,
512,555,556,600,601,602,603,604,607,
611,612,615,616,617,620,621,622

Источник: Konstantin

Спутник Ямал 201 90Е

1. 11585 V 11850 3/4 провайдер "ROIL COM"*

PID: 869,4137,4168,4177,4178,4179,
4180,4181,4183,4184,4185,4186,4187,4188,4189,
4190,4192,4193,4194,4195,4196,4197,4198,4199,
4200,4201,4202,4203,4204,4206,4208,4210,4211,
4212,4213,4214,4215,4216,4217,4218,4219,
4220,4221,4221,4222,4224,4226,4227,4228,
4229,4230,4240,4242,7918

Источник: Konstantin, AES
____________________________________________

2. 11671 V 18200 3/4 провайдер "Raduga"**

PID: 869,4137,4144,4150,4151,4152,4153,4154,4155,
4156,4157,4158,4159,4160,4162,4177,4183,
4353,4352,4353,4355,4357,4359,4361

Контент: треки mp3, программы .exe и другие типы файлов

Источник: Konstantin, AES
____________________________________________

3. Провайдер "ИнтелБи"
11595 V 2000 3/4

PID: 5567,511

Контент: mp3, программы .exe и другие типы файлов

Источник: Konstantin
_________________________________________________

4. 11142 V 22222 3/4 провайдер "Газком"

PID: 1000,900,901,100,101,102,103

Дополнительные PID:
16,17,20,50,60,61

Источник: Konstantin
_________________________________________________



Провайдер "ROIL COM"

Контент: треки mp3, фильмы .avi (в многотомных архивах rar), программы .exe и другие типы файлов.
Провайдер предоставляет корпоративную связь.

Ройлком является самостоятельным Интернет-провайдером и имеет свою автономную систему (AS 16094). Компания имеет большой опыт по запуску, поддержанию и построению Интернет-сетей для своих клиентов.

Среди предоставляемых Интернет-услуг:

доступ в Интернет по коммутируемым и выделенным линиям;
Web-хостинг;
Регистрация доменных имен и IP-адресов;
IP-телефония.

Ройлком успешно реализует крупные проекты.

В апреле 2000 года введена в эксплуатацию первая очередь корпоративной сети спутниковой связи
нефтяной компании Роснефть (города - Москва, Туапсе, Нефтекумск, Краснодар, Горагорск, Губкинский,
Комсомольск-на-Амуре, Находка, Южно-Сахалинск, Оха, Ноглики, Озерск, Одопту, Корсаков).

Сеть базируется на арендуемой емкости спутников-ретрансляторов Intelsat APR-1 (Insat 2E) 83° в.д.,
Express-6A 80° в.д. и земных станциях спутниковой связи типа VSAT.

В июне 2005 года введена в эксплуатацию спутниковая сеть связи СК "Нефтеполис",
организованная через ИСЗ "Ямал-200" в Ku-диапазоне на базе оборудования Linkstar.

Для организации спутниковой сети используется ресурс ретранслятора геостационарного ИСЗ "Ямал-200",
установленного в позиции 90 град в.д.

Максимальная скорость передачи информации абонентским терминалом Linkstar составляет 1.1 Мбит/с.

Для одностороннего приема информации ЦЗС в сети вместо активных ТЗС могут использоваться DVB-приемники,
с помощью которых обеспечивается прием данных сети Интернет.

[Konstantin]

Космические технологии пришли к обычным людям в квартиры. Чаще всего это телевидение. Но все более и более часто люди стали применять эти технологии для выхода в интернет. Технология проста - по любому наземному каналу (gprs, dual-up, adsl и др.) запросы посылаются на специальный сервер, а ответ приходит через спутник к вам на тарелку. Тем самым вы очень хорошо экономите на входящем трафике.

А теперь подумайте, спутник один, а потребителей много... Спутник не знает где находится конкретный пользователь и передает информацию всем, кто попадает в зону его покрытия.

В свою очередь, у каждого пользователя есть специальная карта для приема спутникового сигнала. Каждая карта имеет уникальный номер (адрес), так называемый MAC. Спутник посылает информацию, в заголовке которой как раз и указывается это самый номер, и ваш компьютер уже определяет, ему послана эта информация или нет. Если информация послана не ему, то он просто игнорирует ее.

Так вот! Спутниковая рыбалка, это перехват всего потока и запись его к вам на диск. То есть все, что получают ВСЕ(!) пользователи данного провайдера с данного спутника попадают к вам в компьютер. Весело правда? Это же очень много информации!!! Если быть точным, то конечно не все попадет к вам, просто много информации закодированной, сжатой специальными программами, но и той, что свободна, очень и очень много.

Для записи потока на компьютер используются специальные программы-граберы (skynet, manna и их модификации). Конечно же не обязательно закачивать весь поток на компьютер (очень быстро все ваше свободное место на дисках будет занято). В программах-граберах для этого есть фильтры, с помощью которых можно указать какие типы файлов качать и какого размера. Есть фильтры по IP и MAC-адресам. Например, узнав IP-адрес сайта download.opera.com, например с помощью программы SmartWhoIS (193.69.116.19), укажите его, укажите типы файлов EXE и будете получать все новые релизы программ Opera. Также можно заставить программу складывать такие файлы в отдельную директорию.

Но есть и свои подводные камни. Файлы, которые попадают к вам не имеют имен и расширений. Программы-граберы научились распознавать расширение по сигнатуре файла (по их содержимому, например все EXE-файлы начинаются на MZ, можете проверить), а вот именами занимаются уже программы-переименовщики файлов (FileSorter, Archive Renamer, SatFile Renamer и др.). Конечно получается не оригинальные имена, которые дает автор программы, но очень близко отображающие содержимое файлов (например, mp3-файлы переименовываются по шаблону Artist - Title.mp3, что, согласитесь, уже очень информативно и понятно). К тому же многие из этих программ-переименовщиков еще и сортируют файлы по каталогам, удаляют ненужные файлы, ищут и удаляют клоны (одинаковые файлы).

Еще одной проблемой является нецелостность файлов. Когда вы сами качаете что-то через спутник и в этот момент птичка пролетела как раз перед вашей тарелкой, то сигнал потеряется на мгновение и часть информации потеряется вместе с ним. Но компьютер сообщит об этом серверу и он пошлет сигнал со спутника снова и так до тех пор, пока вы не получите то, что хотите. А вот при той же ситуации во время перехвата потока (грабинга) вы не сможете сообщить серверу о такой проблеме. Соответственно файл будет не полным. Для программ и архивов это критично. Но, если вы знаете что это за файл и найдете оригинальную ссылку в интернете именно на этот файл, то «битые» части файлов можно скачать с помощью программ-докачек (Segment Downloader, Seg2ReGet, Seg2FlashGet, SkyNet File Recovery).

Процесс увлекательный и интересный. Если у вас есть спутниковая тарелка и карта захвата в компьютере, то обязательно попробуйте. Ведь это ничего не стоит, к провайдеру подключаться не нужно.

Удачной рыбалки!!!