(Ю.А. ШАФРИН, газета «Информатика», № 9 2009)

1. Постановка задачи

Поиск информации в Интернете является крайне неопределенным понятием: в силу бесконечного разнообразия материалов Сети, - как по содержанию, как по форме представления, так и по структуре (как уже говорилось, мы встречаем в сети и линейные, и реляционные, и иерархические, и сетевые структуры данных).

Поэтому цели, методы и формы поиска информации (данных) могут быть самыми разными. Чтобы не занимать ваше внимание общими словами, приведем пару конкретных примеров.

1. Допустим, вы хотите найти в Интернете все материалы о конкретном человеке по его фамилии. Эту фамилию можно просто набрать как запрос в поле ввода какой-либо поисковой системы, - например, "Рамблер" (так произносят это название в компании). Результаты поиска целиком будут зависеть и от того, насколько эта фамилия распространена в обществе, и от популярности этой личности (именно популярности, а не масштаба!). Например, если набрать Фердыщенко, можно надеяться на успех либо вы что-то найдете, либо о таком человеке вообще ничего не слышали в Интернете. Другой пример: пусть искомая личность имеет фамилию Кулик. Если набрать ее в поле поиска, вы получите тысячи документов с Игорем, Андреем и т.д. Куликами, с Куликовыми, Куликовскими и т.п. Если, на ваше счастье, вашего Кулика зовут, допустим, Никифор (редкое имя), то запрос Никифор&Кулик резко повысит ваши шансы на успех. Поэтому формулируемый запрос должен определять как можно более узкую область поиска. С особой осторожностью следует относиться к омонимам. Например, вы хотите получить сведения о химическом элементе бор. Набирать это слово в иоле поиска бесполезно, так как бор - это сверло, хвойный лес, элемент, физик Бор. Если набрать запрос Элемент&бор, область поиска резко сузится.

2. Предположим, вас интересует какая-либо тематика (рубрика). В этом случае язык запросов и поиск по ключевым словам вам могут и не понадобиться. Если вы располагаете элементарным опытом, интуицией, то, начав с более или менее общей темы (например, "Наука и образование" на рис. 1 на с. 34) и пользуясь гиперссылками, сможете добраться до нужных вам документов (например, сначала "Рефераты", затем "Сборники рефератов, курсовых работ, дипломов" и т.д.). С известной долей уверенности можно утверждать, что в общем случае поиск в Интернете - это скорее искусство, опыт, кругозор и интуиция клиента, чем использование инструментальных средств обозревателя и поисковых систем. Следует четко различать разные механизмы поиска в Интернете, описанные в статье:

1) поиск документов по ключевым словам средствами универсальных поисковых систем;

2) специализированный поиск (например, людей);

3) поиск на текущей (отображаемой) странице.

Последний механизм, в свою очередь, делится на два типа - контекстный поиск фрагментов текста на странице и поиск в структурированных базах данных сайта, представленного этой страницей (товаров, вакансий, услуг, фирм и т.п.).

2. Общие сведения

"Всемирная паутина" в Интернете - это миллионы документов с неструктурированной текстовой информацией (а также с графикой, аудио, видео). Чтобы найти нужную информацию, клиенту Сети зачастую приходится перебирать сотни страниц web (иногда без особого успеха), тратить много сил и нервов (а также денежных средств).

С начала 90-х годов интенсивно развиваются справочные службы. Интернета, помогающие пользователям найти нужную информацию, и эти службы можно разделить на две категории: универсальные и специализированные.

В универсальных службах используется обычный принцип поиска в неструктурированных документах - по ключевым словам.

Ключевым словом документа называется отдельное слово или словосочетание, которое каким-то образом отражает содержание данного документа.

Например, для литературы по программированию характерны ключевые слова "Условный переход", "Макрокоманда", "Обработка прерываний" и т.д.

Универсальная служба поиска (поисковая система ) - это комплекс программ и мощных компьютеров, выполняющий следующие функции.

1. Специальная программа - поисковый робот - непрерывно просматривает страницы "Всемирной паутины", выбирает ключевые слова и составляет базу данных индексов . В эту базу включаются ключевые слова и адреса документов, в которых эти слова обнаружены. По ссылкам на другие документы робот "скачивает" и эти страницы, находит в них ссылки, и так далее, пока не обойдет весь интересующий его участок Сети. Когда робот-индексатор поисковой машины приходит на web-сайт (например, на www.rambler.ru ), он прежде всего проверяет, нет ли в корневом каталоге сайта служебного файла robots.txt (в нашем примере www.rambler. ru/robots.txt - имя робота записывается строчными буквами!). Если робот обнаруживает этот документ, все дальнейшие действия по индексированию сайта осуществляются в соответствии с указаниями robots.txt.

2. Web-сервер принимает от пользователя запрос на поиск, преобразует его и передает специальной программе - поисковой машине .

3. Поисковая машина просматривает базу данных индексов, составляет список страниц, удовлетворяющих условиям запроса (точнее, список ссылок на эти страницы), и возвращает его web-серверу.

4. Web-сервер оформляет результаты выполнения запроса в удобном для пользователя виде и передает их на машину клиента.

Специализированные справочные службы - это тематические каталоги (subject catalogs), в которых собраны более или менее структурированные сведения об адресах серверов по той или иной тематике. В отличие от универсальных баз индексов тематические каталоги составляются специалистами и обеспечивают клиента более строгой, достоверной и систематизированной информацией о документах Сети. Уровень "мусора" в этих каталогах гораздо ниже, чем в составленных автоматически индексах, но и обновляются они значительно медленнее. Ранее поисковые системы подразделяли на универсальные (с индексными базами данных) и "гибридные" (индексные базы и тематический поиск). Такая классификация в известной мере устарела: ныне большинство поисковых систем может считаться "гибридными" - они ведут поиск и в индексных базах данных, и по тематическим рубрикаторам. Вот небольшой список наиболее известных ныне поисковых систем с URL-адресами их начальных страниц:

• MSN Web Search - http://search.msn.com (поисковая система службы MSN );
• Excite - www.excite.com ;
• Yahoo! - www.yahoo.com ;
• Infoseek - www.infoseek.com ;
• Lycos - www.lycos.com ;
• Lycos - www.whowhere.lycos.com ;
• Alta Vista - http://altavista.com ;
• Google - www.google.ru ;
• Rambler ("Рамблер") - www.rambler.ru ;
• Aport ("Апорт") - http://aport.ru ;
• Yandex ("Яндекс" или "Япс1ех") - www.yandex.ru .

Заметим, что среди российских пользователей наибольшей популярностью ныне пользуются русскоязычные системы Google, Yandex, Rambler и Aport. Практически на всех страницах, которые допускают поиск, имеется кнопка Помощь. Нажмите ее и распечатайте руководство по использованию системы.

3. Механизм встроенного поиска Microsoft

В общем случае, чтобы начать поиск, вы можете вызвать одну из поисковых систем или один из известных вам тематических каталогов. Однако разработчики Internet Explorer для удобства клиента чаще всего встраивают в очередную версию обозревателя своеобразный интерфейс с избранными на данный момент поисковыми системами. Сам Internet Explorer не занимается поиском: он принимает от пользователя запрос, обрабатывает его и передает соответствующей поисковой.

Нажмите на панели инструментов обозревателя кнопку Поиск .

На панели лоиска в поле ввода наберите запрос (логическое выражение) и нажмите кнопку Поиск (в разных системах - Искать, Найти!, Search ). Через некоторое время ниже поля ввода появляется список гиперссылок на документы, которые удовлетворяют введенному запросу. При наведении указателя мыши на гиперссылку, как правило, появляется подсказка (или краткое содержание этого документа, или просто его URL-адрес). Щелчком мыши вы можете открыть любой документ.

Ширину панели поиска можно изменить, перемещая мышью ее правую границу.

4. Общие механизмы поиска в Интернете

Итак, при поиске по ключевым словам (в индексных базах данных) вы набираете в поле ввода запрос, представляющий собой логическое выражение, которое формулируется по правилам синтаксиса данной поисковой системы.

Методы поиска нужных данных в безбрежном океане ресурсов Интернета можно разделить на три группы:

• "интуитивно-эвристические" приемы, основанные на эрудиции, опыте, кругозоре и интуиции пользователя;
• использование поисковых серверов , которые обеспечивают в известной мере формальные (инструментальные) механизмы поиска по ключевым словам ;
• поиск в тематических (рубрицированных) каталогах .

1. Эвристика. Роль запроса в частном случае может играть одно-единственное слово (например, Аджика ). И это слово может сыграть роль отправной точки, начиная с которой вы не только выйдете на конкретную информацию , но и получите массу полезных данных об объектах , прямо или косвенно связанных с вашей задачей. Такая тактика обеспечивает весьма эффективный косвенный поиск, если "в лоб" трудно чего-либо добиться. Приведем несколько примеров.

1) Допустим, в качестве запроса вы набрали какую-либо редкую, но знаменитую фамилию, - например, Кторов (А.П. Кторов (1898-1980) - великий актер МХАТа). В этом случае вы наверняка получите не только информацию о Кторове, но и много интереснейших документов , имеющих прямое отношение к театру, к исполнительскому и драматическому искусству. Отправляясь от выданного реестра, вы можете, например, отыскать актеров с распространенной фамилией (например, Б.А. Смирнова) или библиографию редких книг о театре.

2) Наберите слово "Холодильник", и вы попадете во вполне обозримый круг данных, связанных с бытовой техникой: в интернет-магазины, торгующие не только холодильниками, но и другими бытовыми товарами, получите сведения об устройстве агрегатов, их потребительских свойствах, ценах, о фирмах-производителях и т.п.

3) Наберите "Аджика" (продукт питания), и вы сможете исследовать массу материалов с рецептами, узнать о книгах по кулинарному искусству и даже, возможно, о знаменитостях, увлеченных кулинарией.

4) Слово "Ависан" (лекарство) почти наверняка приведет вас к искомому препарату; попутно оно обеспечит вам возможность выйти на болезни, их симптомы, рекомендации по лечению. Вероятно, еще более ценным для вас окажется выход на многие очень полезные медицинские сайты, - например, на универсальный аптечный сайт Москвы http://apteka.mos.ru , где можно исследовать цены и заменители лекарства, подыскать другие медикаменты, о которых вы уже думали, но для поиска которых потребовались бы дополнительные усилия.

Как уже говорилось, при таком подходе эффективность поиска в Сети в значительной мере зависит от опыта и кругозора пользователя. Когда вы ищете материалы по определенной тематике, ни в коем случае не следует полагаться на "интеллект" машины: вы сами должны учитывать особенности лексикона специалистов по данной теме, возможные сочетания терминов и т.п.

2. Языки запросов. В основе запросов на поиск и выборку информации лежит аппарат алгебры логики . В качестве примера рассмотрим элементы языка запросов поисковой системы Yandex, применяемые для строгого поиска в индексных базах данных . По сути дела, это синтаксис логических выражений , и он мало отличается от синтаксиса других русскоязычных систем (например, Rambler и Aport). Для поиска документов, содержащих какое-либо слово, наберите его в поле поиска и нажмите кнопку Найти . Область поиска можно сузить: Новости, Товары, Энциклопедии (состав этих кнопок, как и вид домашней страницы , может меняться). Если запрос содержит несколько слов, необходимо соблюдать следующие правила:

1) логическое И (AND) - поиск сочетания в пределах предложения: натуральный шелк (разделитель - пробел) или натуральный&шелк;

2) логическое И (AND) - поиск сочетания в пределах документа: натуральный&&шелк;

3) поиск фразы - "Золотой Орфей" (прямые кавычки!).

Кроме того, можно искать по расстоянию между заданными терминами (заданному в словах или предложениях), искать в заголовке, в тексте ссылок, в описании, в подписях к изображениям; искать ссылки на заданный URL (например, #link="www.holm.ru*") и т.д. Yandex ищет не только по заданному слову, но и по его словоформам. Например, если вы задали слово "газета", то будут найдены документы, которые содержат слова "газеты", "газете", "газетой" и т.д.

3. Тематический поиск. Тематический рубрикатор системы Yandex позволяет многое найти и без помощи алгебры логики. Такие же рубрикаторы (но с иным содержанием) имеют и другие поисковые (и не только поисковые) системы, - например, Rambler и Aport.

5.Специализированный поиск

Технологии Интернета быстро развиваются. Систематически появляются новые инструменты поиска. Оригинальную (и, видимо, перспективную) систему специализированного поиска предлагает компания "Lycos": www.whowhere.lycos.com (в буквальном переводе "Кто? Где?").

Во-первых, вы можете по имени и фамилии человека искать адрес его электронной почты, номер его телефона, web-страницы, на которых упоминается этот человек (раскрывающийся список Search Type : (Тип поиска)). И наоборот, можно искать человека по его адресу E-mail или телефону.

Во-вторых, в основной части окна находится своеобразный рубрикатор, пользуясь которым можно искать людей того или иного круга, рода занятий и т.п.:

• люди в сфере развлечений и любимых занятий: режиссеры, музыканты, спортсмены;
• люди и деньги: инвесторы, брокеры, покупатели, должностные лица;
• люди, "похожие на вас" (разделяющие ваши интересы, близкие вам по возрасту, мировосприятию, интеллекту и т.п.): женщины, дети, семьи, путешественники;
• люди, которые могут помочь вам: консультанты по будущим занятиям, работодатели и т.

6. ICQ

В последнее время широкую популярность приобрела система общения между людьми под названием ICQ (произношение "I seek you" - я ищу тебя). Система работает с помощью специального программного обеспечения. Каждому адресату присваивается индивидуальный номер, который может быть занесен в записную книжку пользователя. Соединение устанавливается при выборе соответствующей записи из записной книжки.

7. Поиск данных на отображаемой странице

До сих пор мы, рассматривали поиск неструктурированных документов Web по ключевым словам в индексных базах данных, а также тематический поиск.

1. Вместе с тем обозреватель обеспечивает контекстный поиск на., всех отображаемых (текущих) страницах.

Для этого следует выбрать команду Слово целиком и С учетом регистра .

2. Многие сайты и порталы имеют собственные структурированные базы данных, в которых можно вести поиск какого-либо раздела БД (по тематике данного сайта). Например, на московском аптечном сайте http://apteka.mos.ru имеются два механизма такого поиска:

1) по алфавиту: вы щелкаете, скажем, на букве "П", и сайт выдает вам список всех лекарств на букву "П";

2) в стандартном поле поиска вы набираете название (например, Ависан ) и щелкаете на кнопке Найти (или Искать ). Система поиска сайта найдет вам все аптеки, в которых имеется набранный препарат, с указанием цен, адресов, телефонов и способов доставки. Механизмы поиска (а точнее, его детали) могут меняться на разных сайтах (в том числе и на одном и том же сайте), однако разобраться в них очень легко.

При поиске многих товаров, вакансий, услуг, фирм и т.п. (в иерархических структурах) область поиска можно постепенно (или сразу) сужать, указывая в нескольких полях ввода, например, модель потребительского изделия, желаемую цену, город, возраст и многое-многое другое.

Коротко о главном

1. Ресурсы Интернета содержат практически всю информацию, накопленную человечеством, и рубрикаторы этой информации можно найти на многих сайтах и во всех поисковых системах (например, электронные библиотеки, отдельные статьи, музеи, театры и т.д. и т.п.).

2. Для поиска в Интернете можно использовать специальные поисковые системы, которые располагают строгими языками запросов на основе алгебры логики. Кроме того, эти системы и многие сайты, которые нельзя считать поисковыми, дают возможность вести тематический и специализированный поиск. Сейчас в Рунете наиболее популярны системы Google, Yandex, Rambler, Aport и другие.

3. Internet Explorer чаще всего имеет встроенный механизм поиска, позволяющий в удобной форме пользоваться услугами поисковых систем.

4. Существуют различные системы специализированного поиска (например, людей в сфере развлечений и любимых занятий: режиссеров, музыкантов, спортсменов).

5. Обозреватель обеспечивает возможность контекстного поиска на всех отображаемых (текущих) страницах. Для этого следует выбрать команду [Правка-Найти на этой странице...] и в появившемся окне набрать искомый текстовый фрагмент. Допускается установка флажков Слово целиком и С учетом регистра . Многие сайты имеют встроенные механизмы поиска по тематике данного сайта (товаров по алфавиту, вакансий и т.п.).

Во-первых, стоит запомнить — все, чего бы вам ни захотелось найти и скачать, можно найти абсолютно бесплатно. В сети очень много таких сервисов, на которые чаще всего и натыкаются неопытные пользователи — где нужно оплатить доступ к ссылке на скачивание, отправить SMS, оплатить по Webmoney или каким-либо другим способом. Очень часто такое бывает, когда вы ищете какой-либо фильм или программу. Вот здесь кроется самое главное: если существует такое место, где можно взять нужный вам файл за оплату, почти всегда есть такое место, где можно взять этот же самый файл бесплатно. В данной статье мы разберемся, как правильно осуществить поиск по файлобменникам.

Вы не первый, кому понадобился этот файл. Кто-то уже скачал этот файл, даже купив его. И более чем 90% вероятность, что это сделал не один человек. Более чем 90% вероятность, что кто-то из них где-то выложил этот файл совершенно бесплатно. Ну, раз уж этот файл где-то есть в сети бесплатно, то остается только найти его.

Где искать необходимые файлы в первую очередь?

Как и где необходимо искать нужные файлы (книги, софт, фильмы и т.п.)? Во-первых, нужно знать где его можно найти, то есть нужно такое место, куда можно файл выложить. И посмотреть там. Вот и все, элементарно.

Торренты. Теперь о том, где искать. Очень хорошее место, где можно найти практически любой файл, который может вам понадобиться — торрент-трекеры. Это очень интересная и полезная штука, хотя и там есть некоторые неудобства. Но о торрентах в другой статье.

Файлобменники. Второе место, где можно взять то, что вам нужно — это файлообменники. Это специализированные сервисы, позволяющие любому пользователю сети выложить туда или скачать оттуда файлы, как бесплатно, так и платно. Причем для этого даже не нужно нигде регистрироваться, если вы пользуетесь файлообменником бесплатно. Подробнее о файлообменниках тоже можно прочесть в другой статье.

Файлообменники — кладезь информации

Итак, файлообменники. Этих сервисов существует великое множество, но наиболее популярны лишь несколько. Нужный вам файл может лежать как на любом из них, так и только на некоторых, или же на одном из них. Причем все зависит от популярности и полезности файла. Допустим, один и тот же фильм можно отыскать в различных вариантах, форматах и размерах, какой вам удобнее. И даже скачать с любого файлообменника, который вам больше нравится, поскольку файлообменники отличаются друг от друга — некоторые могут вам не понравиться, но популярные файлы можно найти на любом из них.

Наиболее популярные файлобменники

Какие файлообменники (их часто коротко называют ФО) наиболее популярны? Достаточно знать только лишь их названия. Это ifolder.ru, depositfiles.com, rapidshare.com, letitbit.net, narod.disk.ru, turbobit.net, hotfile.com. Здесь фавориты — первые четыре из этого списка. По ним нужно искать в первую очередь.

Как же найти нужный файл в ФО?

Загвоздка в том, что все ФО закрытого типа, по ним нет средств поиска. Любой пользователь, который выкладывает туда файл получает ссылку, по которой можно скачать этот файл. Стало быть, наша цель — найти такие ссылки в интернете. Потому что если кто-то залил куда-то некий файл, значит, он где-то оставил и ссылку на этот файл. Причем чаще всего это делается для того чтобы заработать, ибо файлообменник выплачивает вам некую сумму в зависимости от условий, если кто то скачивает ваш файл. При этом, скачивание для скачивающего чаще всего происходит бесплатно, хотя и с некоторым ожиданием (около минуты обычно) и просмотром рекламы. Это тоже очень большая тема, существует целая индустрия и система заработка на файлообменниках.

Значит, нужно найти такое место, где эти ссылки можно найти. Таких мест очень много. По сути, ссылка на нужный вам файл может быть где угодно, но чаще всего это различные форумы и специальные сайты, называемые варезниками (warez — софт, от softWARE). Эти сайты представляют из себя сборники ссылок на файлы. Возможно, вы уже видели такие сайты. На некоторых из них необходимо регистрироваться, чтобы увидеть ссылку на нужный вам файл, но опять же, нам это не нужно. Если есть такое место, где необходима регистрация для того чтобы увидеть ссылку, очень велика вероятность того, что эта же ссылка где-то есть, и в таком месте, где регистрация не нужна. Тот же самый принцип, что и с платными сервисами. Регистрироваться стоит только в самом крайнем случае, если вы эту ссылку больше нигде найти не можете.

Ну вот, наконец, и сам алгоритм поиска, который невероятно прост. Поисковик — это такая система, которая понимает только текст. А ссылки — это и есть текст. Стало быть, он нам может их найти. Берем название вашего файла (книги, фильма, музыкальной композиции, программы) и вводим в поисковую строку Google. Если вы попробуете поискать так, то скорее всего Гугл вам выдаст такие места, откуда качать вам будет неудобно, это будут в первую очередь сайты, где надо платить за скачивание, поскольку такие сайты специально оптимизируются под то, чтобы быть первыми в результатах поиска. То, что вам нужно будет в выдаче поисковика, далеко не на первой странице. Значит, просто добавляем к вашему запросу название файлообменника. То есть ваш запрос будет выглядеть теперь так: «запрос+файлообменник».

Как составить запрос в поисковике?

Допустим, мне нужен фильм под названием «Вася Пупкин — герой войны». И хочу я его скачать с файлообменника letitbit.net. Вот я и задам запрос «Вася Пупкин — герой войны+letitbit». (Надо заметить, что в строке поиска Google этот запрос будет без кавычек, ибо кавычки там имеют особое значение, и по такому запросу ничего не найдется.) Вот, в результатах этого запроса вы найдете то, что вам нужно на первой же странице поисковой выдачи. Если, конечно, такая ссылка существует, и проиндексирована Гуглом, но об этом не стоит беспокоиться: если не найдет он, не найдет ничто.

Теперь, если вам нужно искать по нескольким файлообменникам одновременно, то можем постороить запрос следующим образом:

ваш запрос+»файлообменник1″|»файлообменник2″|»файлообменник3″

Здесь кавычки играют роль такую, что то, что находится в кавычках, должно обязательно присутствовать на искомой странице, в данном случае — ссылка на файлообменник. Вертикальный слеш означает «или», то есть что либо из этих трех. Допустим, я хочу поискать «Васю Пупкина» на нескольких самых популярных файлообменниках, значит, запрос мой будет таким:

Вася Пупкин — герой войны+»ifolder.ru»|»letitbit.net»|»rapidshare.com»|»depositfiles.com»|»narod.disk.ru»

Существуют, кстати, сервисы, которые позволяют искать по файлообменникам, но ничего нового они не используют — все тот же алгоритм, все тот же Google. Зачем они вам нужны, если можно задать запрос прямо в поисковой панели вашего браузера.

Вот, собственно, и вся хитрость, такой поиск позволяет найти и скачать то, что вам нужно за считанные секунды.

Как найти и скачать в Интернете любые файлы Райтман М. А.

Поиск файлов на FTP-серверах

Поиск файлов на FTP-серверах

FTP-серверы привлекательны тем, что обеспечивают возможность получать доступ непосредственно к файлам (без текстовой информации) и быстрее (чем по протоколу HTTP) загружать выбранные объекты на жесткий диск компьютера. Самое сложное в Интернете - это поиск открытых (разрешающих анонимный доступ) и доступных (функционирующих) FTP-серверов. Как правило, среди 10 найденных FTP-серверов больше половины отключены или требуют указать логин и пароль для входа на сервер. Для поиска FTP-серверов существуют специальные поисковые машины, на веб-сайтах которых в поле ввода указывается фрагмент имени файла или же полное сочетание названия с расширением, а затем осуществляется сканирование серверов. Как правило, большая часть найденных узлов представлена в виде IP-адресов вида ftp://90.157.34.69/ , а остальные (чаще крупные) серверы именуются как и веб-сайты - ftp://mjv-art.org/ . Как вы уже обратили внимание, в отличие от веб-сайтов, подключение к которым осуществляется по протоколу HTTP, в начале адреса любого FTP-сервера указано значение ftp, обозначающее использование этого протокола. Если вы попробуете ввести в адресную строку браузера адрес 6 (рис. 2.10).

Ключевое слово (несколько слов) указывается в поле ввода Я ищу . Вдобавок, вы можете настроить поиск так, чтобы результат был точен относительно введенного значения. Для этого следует установить флажок точно . В раскрывающемся списке, расположенном в правой части страницы, можно выбрать тип искомых файлов: видео, аудио, изображения, образы дисков, архивы, текстовые или исполняемые файлы, а также src (исходные коды). По умолчанию ищутся все типы файлов.

На этом настройки не заканчиваются, вы можете тщательнее уточнить запрос. Чтобы получить доступ к дополнительным настройкам, следует щелкнуть мышью на ссылке уточнить , расположенной справа от раскрывающегося списка с типами искомых объектов (рис. 2.11).

Вы увидите дополнительные элементы управления, позволяющие уточнить некоторые детали запроса: имя хоста, имя и расширение файла, его размер, способ сортировки и др.

Указав запрос, например, "winamp" в поле ввода Я ищу , следует нажать кнопку Искать . Через некоторое время вы увидите результаты поиска (рис. 2.12).

Замечательной особенностью поисковой системы http://proisk.ru/ является выделение цветом состояния сервера в результатах поиска. Зеленый цвет означает, что в данный момент FTP-сервер функционирует, красный - недоступен.

Для загрузки файла вы можете сразу щелкнуть правой кнопкой мыши на подходящей ссылке в результатах поиска и выбрать в контекстном меню пункт Сохранить объект как (Save object as). Далее следует выбрать каталог и сохранить файл. Также вы можете просмотреть содержимое других папок этого FTP-сервера. Например, это можно сделать так. Щелкнуть правой кнопкой мыши на ссылке и выбрать в контекстном меню пункт Копировать ярлык (Copy shortcut). Ссылка будет скопирована в буфер обмена. Затем, в новой вкладке или окне браузера, в поле ввода адреса щелкните правой кнопкой мыши и выберите пункт Вставить (Paste) (проще воспользоваться сочетанием клавиш + или +). У появившейся в поле ссылки аккуратно удалите имя и расширение файла до первого символа косой черты /. Или же оставьте только адрес хоста (сервера) - например, так ftp://relay.fidonet.org.ua/. Нажмите клавишу и увидите содержимое FTP-сервера.

Если об операторах при поиске в Google вы могли раньше слышать, то про похожие условия при поиске файлов на FTP-серверах знаете навряд ли. А они вполне эффективно используются и уточняют результаты поисков. При формировании поисковых запросов в поисковой системе http://proisk.ru/ поддерживаются следующие операторы.

? Без оператора . Указанное в запросе слово является необязательным, но содержащие его результаты будут выведены впереди остальных. Запрос вида "audio video" позволяет найти результат, содержащий, по меньшей мере, одно из этих слов.

? Оператор +. В каждой строке результатов поиска обязательно присутствует слово, указанное в запросе после оператора +. Запрос вида "+audio +video" позволяет найти результат, содержащий оба слова. Запрос вида "+audio video" позволяет найти результат, содержащий слово audio, но если будет найден результат со словом video - он будет приоритетней.

? Оператор -. В каждой строке результатов поиска обязательно отсутствует слово, указанное в запросе после оператора -. Запрос вида "+audio - video" позволяет найти результат, содержащий слово audio и не содержащий слово video.

? Оператор (). Круглые скобки группируют слова в подвыражения.

? Операторы < и >. Эти два оператора используются для того, чтобы изменить вклад слова в величину релевантности, которое приписывается строке. Оператор < уменьшает этот вклад, а оператор > - увеличивает.

? Оператор ~. Это своего рода оператор отрицания, в отличие от оператора -, слово с оператором ~ будет присутствовать в результатах, но позже более релевантных значений. Запрос вида "audio - video" позволяет найти результат, содержащий слова audio и video, причем результаты со словом video будут выведены после значений с одним словом audio.

? Оператор *. Звездочка является оператором усечения. В отличие от остальных операторов, она должна добавляться в конце слова, а не в начале. Запрос вида "audio*" позволяет найти результаты, содержащие слова audio, audiologic, audiogram, audiovisuals и т. п.

? Оператор "". Фраза, заключенная в двойные кавычки, соответствует только строкам, содержащим эту фразу, написанную буквально. Запрос вида ""audio video"" позволяет найти результат, содержащий, например, "audio video material", но не "audio material video".

Если хочется просто побродить по файловым хранилищам, не выполняя поисковых запросов, то можно посмотреть TOP (рейтинг) лучших FTP-серверов. Для этого достаточно щелкнуть мышью на ссылке расширенный в правом верхнем углу веб-сайта. Вы увидите результаты индексации, а ниже - таблицу, содержащую сведения о десяти лучших ресурсах (рис. 2.13).

Вы можете просмотреть данные и о 100 лучших ресурсах, щелкнув на одной из ссылок, расположенных над таблицей. В зависимости от способа сортировки FTP-серверов следует щелкнуть мышью на ссылке размер (по объему предоставленной информации), переходы (по количеству переходов на данный ресурс) или голоса за (по количеству проголосовавших за ресурс посетителей).

Доступ к FTP-серверам, требующим авторизации, часто можно получить, зарегистрировавшись на веб-сайтах этих серверов. Также, о большинстве наиболее интересных файловых архивах, например, материалы на которых посвящены только одному музыкальному исполнителю, я узнал на различных форумах, в темах с названиями вида "Список FTP-серверов с музыкой", "Доступные FTP" и т. д. Кроме того, с аналогичными ключевыми фразами можно попробовать осуществить поиск и веб-страниц со статьями и блогами на данную тему. Здесь вы уже сами - весь Интернет и так у ваших ног.

Данный текст является ознакомительным фрагментом. Из книги автора

XSLT-преобразования на web-серверах Можно осуществлять XSLT-преобразования на web-сервере - так чтобы XML-документ был преобразован до того, как web-сервер отправит его браузеру. Здесь самое распространенное преобразование - это преобразование документа XML в HTML, но

Из книги автора

9.3. Поиск заголовочных и библиотечных файлов Заголовочные файлы в системе Linux хранятся в иерархии каталогов /usr/include. Именно там по умолчанию компилятор ищет включаемые файлы. (Заголовочные файлы могут храниться за пределами /usr/include, но тогда на них имеются ссылки внутри

Из книги автора

Поиск файлов с использованием регyлярных выражений Всем хорошо известно, что для поиска файлов и папок с помощью стандартных средств Windows в именах можно использовать подстановочные символы "?" (обозначает любой один символ) и "*" (обозначает любое число любых символов).

Из книги автора

Поиск на научных сайтах с использованием платформы Flexum «Поиск по научным сайтам» Тема научного поиска не прошла мимо разработчиков персональных поисковиков. Подробному рассказу о возможностях таких поисковых систем посвящена отдельная глава нашей книги (см. главу 6).

Из книги автора

Поиск и закачка файлов Теперь, когда мы познакомились с окном программы DC++, следует приступить к поиску и закачке понравившихся файлов.Как уже упоминалось ранее, загрузка файлов в сетях Direct Connect происходит напрямую с компьютера пользователя. Хаб является только

Из книги автора

Поиск на FTP-серверах Одно дело – если вы хотите найти в Интернете список ссылок на веб-ресурсы, чтобы с их помощью выбрать нужный ресурс, и совсем другое – когда вам нужен конкретный объект: мультимедийный файл, электронная книга, программное обеспечение и т.п. Для решения

Из книги автора

10.1.34. Поиск файлов и каталогов Ниже мы воспользовались стандартной библиотекой find.rb для написания метода, который находит один или более файлов и возвращает их список в виде массива. Первый параметр - это начальный каталог, второй - либо имя файла (строка), либо

Из книги автора

Поиск в содержимом файлов По умолчанию операционная система Windows Vista поддерживает возможность выполнения поиска в содержимом файлов со следующими расширениями: ASM, BAT, C, CMD, CPP, DIC, H, INF, INI, JAVA, LOG, M3U, MDB, RC, REG, SQL, TXT, VBS, WRI и т. д.Однако вы можете самостоятельно определить расширения

Из книги автора

8.1.3. Поиск среди нескольких файлов Если в текущем каталоге требуется найти последовательность символов "sort" во всех файлах с расширением doc, выполните такую команду:$ grep sort *.docСледующая команда осуществляет поиск фразы "sort it" во всех файлах текущего каталога:$ grep "sort it"

Из книги автора

7.7. Поиск файлов Для поиска файлов выполните команду главного меню Windows Пуск, Найти, Файлы и папки или нажмите Win+F - так будет быстрее. Вы увидите окно поиска (рис. 64). Помощник поиска предложит вам выбрать категории файлов, которые вы хотите найти. Если вы не собираетесь

Из книги автора

4.4. Поиск файлов и папок Для поиска файлов нажмите + и введите имя файла или папки. Вместо имени можно ввести маску (см. ранее). Второй способ: нажмите кнопку Пуск и в поле Найти программы и файлы введите имя файла (папки) или маску. Вы увидите результаты поиска. На

Из книги автора

2.4.8. Поиск файлов и папок Иногда случается пренеприятная ситуация - предположим, писали вы что-то, или рисовали, или еще чего делали, сохранили ваши достижения на жесткий диск и… начисто забыли, в какой папке результаты ваших трудов лежат-покоятся. Диск большой, папок

Из книги автора

Урок 2.5. Упорядочивание и поиск файлов Общие сведения о поиске и индексировании Количество файлов на современных жестких дисках может составлять десятки и сотни тысяч. Если вы забыли, где именно находится файл, то его поиск может оказаться довольно непростой задачей. В

Из книги автора

Практическая работа 13. Упорядочивание и поиск файлов в Windows Vista Задание 1. Изучить различные способы упорядочивания объектов.Последовательность выполнения1. Последовательно откройте в Проводнике Windows Vista папки С:Пользователи? Общие? Изображения? Образцы изображений.2.

Иногда случается так, что вы хотите скачать свободно распространяемый музыкальный альбом 2007 года, выпущенный исполнителем, которого знает три с половиной человека. Вы находите торрент-файл, запускаете его, загрузка доходит до 14,7% и… всё. Проходят дни и недели, а загрузка стоит на месте. Вы начинаете искать альбом в Google, рыщете по форумам и наконец находите ссылки на какие-нибудь файлообменники, но они уже давно не работают.

Такое происходит всё чаще и чаще - правообладатели постоянно закрывают полезные ресурсы. И если популярный контент найти по-прежнему не проблема, отыскать какой-нибудь телевизионный сериал семилетней давности на испанском языке может быть крайне трудно.

Что бы вам ни понадобилось в интернете, есть ряд способов это отыскать. Мы предлагаем все нижеперечисленные варианты исключительно для ознакомления с контентом, но ни в коем случае не для воровства.

Usenet

Usenet - распределённая сеть серверов, между которыми синхронизируются данные. Структура Usenet напоминает гибрид форума и электронной почты. Пользователи могут подключаться к специальным группам (Newsgroups), что-то в них читать или писать. Как и в случае с почтой, у сообщений есть тема, которая помогает определить тему группы. Сегодня Usenet используется по большей части для обмена файлами.

До 2008 года крупные провайдеры Usenet хранили файлы лишь 100–150 дней, однако затем файлы стали храниться вечно. Более мелкие провайдеры оставляют контент на 1 000 и более дней, чего зачастую тоже достаточно.

Примерно в середине 2001 года Usenet стали замечать правообладатели, из-за чего провайдерам пришлось удалять защищённый авторским правом контент. Но энтузиасты быстро нашли обходной путь: они стали давать файлам запутанные названия, защищать архивы паролями и добавлять их на специальные сайты, к которым можно получить доступ только по приглашению.

В России о существовании Usenet почти никто не знает, чего не скажешь о странах, где власти усердно борются с пиратством. В отличие от протокола BitTorrent, в Usenet нельзя определить IP-адрес пользователя без помощи провайдера сервиса или поставщика интернет-услуг.

Как подключиться к Usenet

В большинстве случаев бесплатно подключиться не выйдет. Придётся довольствоваться либо малым временем хранения файлов, либо низкой скоростью, либо доступом только к текстовым группам.

Провайдеры предлагают два типа платного доступа: ежемесячную подписку с неограниченным объёмом загружаемых данных или неограниченные по времени тарифы с лимитированным трафиком. Второй вариант - для тех, кому лишь иногда требуется что-то скачать. Крупнейшие поставщики таких услуг - Altopia , Giganews , Eweka , NewsHosting , Astraweb .

Теперь нужно понять, где брать NZB-файлы с метаинформацией - что-то вроде торрент-файлов. Для этого используются специальные поисковые движки - индексаторы.

Индексаторы

Публичные индексаторы полны спама и , но они всё ещё годятся для поиска файлов, загруженных пять или более лет назад. Вот некоторые из них:

Бесплатные индексаторы, требующие регистрации, больше подходят для поиска новых файлов. Они хорошо структурированы, у контента есть не только названия, но и описания с картинками. Можно попробовать следующие:

Также существуют индексаторы только для определённых типов контента. Например, anizb подойдёт поклонникам аниме, а albumsindex - тем, кто ищет музыку.

Скачивание из Usenet

В качестве примера возьмём «Фрейзер Парк» (The FP) - малоизвестный фильм 2011 года, вариант которого в разрешении 1080p отыскать практически невозможно. Нужно найти NZB-файл и запустить его через программу вроде NZBGet или SABnzbd .

Как качать через IRC

Вам потребуется IRC-клиент. Подойдёт почти любой - подавляющее большинство поддерживает DCC. Подключитесь к интересующему вас серверу и начинайте качать.

Крупнейшие серверы с книгами:

• irc.undernet.org, комната #bookz;
• irc.irchighway.net, комната #ebooks.

Фильмы:

• irc.abjects.net, комната #moviegods;
• irc.abjects.net, комната #beast-xdcc.

Западная и японская анимация:

• irc.rizon.net, комната #news;
• irc.xertion.org, комната #cartoon-world.

Для поиска файлов можно использовать команды!find или @find. Бот отправит результаты в виде личного сообщения. Если возможно, отдавайте предпочтение команде @search - она запускает специального бота, который предоставляет результаты поиска в виде одного файла, а не огромного потока текста.

Попробуем скачать «Как музыка стала свободной» (How Music Got Free) - книгу о музыкальной индустрии, написанную Стивеном Уиттом (Stephen Witt).

medium.com

Бот отреагировал на запрос @search и отправил результаты в виде ZIP-файла по DCC.

medium.com

Отправляем запрос на скачивание.

medium.com

И принимаем файл.

medium.com

Если вы нашли файл с помощью индексатора, то вам не нужно искать его на канале. Просто отправьте боту запрос на загрузку, используя команду с сайта индексатора.

DC++

В DC-сети все коммуникации осуществляются через сервер, называемый хабом. В ней можно искать конкретные типы файлов: аудио, видео, архивы, документы, образы дисков.

Делиться файлами в DC++ очень просто: достаточно поставить галочку напротив папки, к которой вы хотите предоставить общий доступ. За счёт этого можно отыскать что-то совершенно невообразимое - что-то, о чём вы сами уже давно забыли, но что может кому-то внезапно пригодиться.

Как качать через DC++

Подойдёт любой клиент. Для Windows лучшим вариантом является FlylinkDC++ . Пользователи Linux могут выбирать между и AirDC++ Web .

Поиск и загрузка реализованы удобно: введите запрос, выберите тип контента, нажмите «Искать» и два раза щёлкните по результату, чтобы скачать файл. Также можно просмотреть список всех открытых пользователем файлов и загрузить все файлы из выбранной папки. Для этого нужно правой кнопкой мыши щёлкнуть по поисковому результату и выбрать соответствующий пункт.

medium.com

Если что-то не нашли, попробуйте позже. Зачастую люди включают DC-клиент только когда им самим нужно что-то загрузить.

Индексаторы

Встроенный поиск находит только файлы в списках пользователей, находящихся в онлайн-режиме. Чтобы отыскать редкий контент, вам понадобится индексатор.

Единственный известный вариант - spacelib.dlinkddns.com , а также его зеркало dcpoisk.no-ip.org . Результаты представлены в виде magnet-ссылок, при нажатии на которые файлы сразу начинают скачиваться через DC-клиент. Стоит учитывать, что порой индексатор долгое время недоступен - иногда до двух месяцев.

eDonkey2000 (ed2k), Kad

Как и DC++, ed2k - протокол децентрализованной передачи данных с централизованным хабом для поиска и соединения пользователей друг с другом. В eDonkey2000 можно найти почти то же самое, что и в DC++: старые сериалы с разной озвучкой, музыку, программы, игры, старые , а также книги по математике и биологии. Впрочем, есть здесь и новые релизы.

Для профессионального поиска в Интернете необходимы специализированный софт, а также специализированные поисковики и поисковые сервисы.

ПРОГРАММЫ

http://dr-watson.wix.com/home – программа предназначена для исследования массивов текстовой информации с целью выявления сущностей и связей между ними. Результат работы – отчет об исследуемом объекте.

http://www.fmsasg.com/ - одна из лучших в мире программ по визуализации связей и отношений Sentinel Vizualizer . Компания полностью русифицировала свои продукты и подключил горячую линию на русском.

http://www.newprosoft.com/ – “Web Content Extractor” является наиболее мощным, простым в использовании ПО извлечения данных из web сайтов. Имеет также эффективный Visual Web паук.

SiteSputnik – не имеющий в мире аналогов программный комплекс, позволяющий вести поиск и обработку его результатов в Видимом и Невидимом Интернете, используя все необходимые пользователю поисковики.

WebSite-Watcher – позволяет проводить мониторинг веб-страниц, включая защищенные паролем, мониторинг форумов, RSS каналов, групп новостей, локальных файлов. Обладает мощной системой фильтров. Мониторинг ведется автоматически и поставляется в удобном для пользователя виде. Программа с расширенными функциями стоит 50 евро. Постоянно обновляется.

http://www.scribd.com/ – наиболее популярная в мире и все более широко применяемая в России платформа размещения различного рода документов, книг и т.п. для свободного доступа с очень удобным поисковиком по названиям, темам и т.п.

http://www.atlasti.com/ – представляет собой самый мощный и эффективный из доступных для индивидуальных пользователей, небольшого и даже среднего бизнеса инструмент качественного анализа информации. Программа многофункциональная и потому полезная. Совмещает в себе возможности создания единой информационной среды для работы с различными текстовыми, табличными, аудио и видеофайлами, как единым целым, а также инструменты качественного анализа и визуализации.

Ashampoo ClipFinder HD – все возрастающая доля информационного потока приходится на видео. Соответственно, конкурентным разведчикам нужны инструменты, позволяющие работать с этим форматом. Одним из таких продуктов является представляемая бесплатная утилита. Она позволяет осуществлять поиск роликов по заданным критериям на видеофайловых хранилищах типа YouTube. Программа проста в использовании, выводит на одну страницу все результаты поиска с подробными сведениями, названиями, длительностью, временем, когда видео было загружено в хранилище и т.п. Имеется русский интерфейс.

http://www.advego.ru/plagiatus/ – программа сделана seo оптимизаторами, но вполне подходит как инструмент интернет-разведки. Плагиатус показывает степень уникальности текста, источники текста, процент совпадения текста. Также программа проверяет уникальность указанного URL. Программа бесплатная.

http://neiron.ru/toolbar/ – включает надстройку для объединения поиска Google и Yandex, а также позволяет осуществлять конкурентный анализ, базирующийся на оценке эффективности сайтов и контекстной рекламы. Реализован как плагин для FF и GC.

http://web-data-extractor.net/ – универсальное решение для получения любых данных, доступных в интернете. Настройка вырезания данных с любой страницы производится в несколько кликов мыши. Вам нужно просто выбрать область данных, которую вы хотите сохранять и Datacol сам подберет формулу для вырезания этого блока.

CaptureSaver – профессиональный инструмент исследования интернета. Просто незаменимая рабочая программа, позволяющая захватывать, хранить и экспортировать любую интернет информацию, включая не только web страницы, блоги, но и RSS новости, электронную почту, изображения и многое другое. Обладает широчайшим функционалом, интуитивно понятным интерфейсом и смешной ценой.

http://www.orbiscope.net/en/software.html – система веб мониторинга по более чем доступным ценам.

http://www.kbcrawl.co.uk/ – программное обеспечение для работы, в том числе в «Невидимом интернете».

http://www.copernic.com/en/products/agent/index.html – программа позволяет вести поиск, используя более 90 поисковых систем, более чем по 10 параметрам. Позволяет объединять результаты, устранять дубликаты, блокировать нерабочие ссылки, показывать наиболее релевантные результаты. Поставляется в бесплатной, личной и профессиональной версиях. Используется больше чем 20 млн.пользователей.

Maltego – принципиально новое программное обеспечение, позволяющее устанавливать взаимосвязь субъектов, событий и объектов в реале и в интернете.

СЕРВИСЫ

new – web браузер с десятками предустановленных инструментов для OSINT.

– эффективный поисковик-агрегатор для поиска людей в основных российских социальных сетях.

https://hunter.io/ – эффективный сервис для обнаружения и проверки email.

https://www.whatruns.com/ – простой в использовании, но эффективный сканер, позволяющий обнаружить, что работает и не работает на веб-сайте и каковы дыры в безопасности. Реализован также как плагин к Chrom.

https://www.crayon.co/ – американская бюджетная платформа рыночной и конкурентной разведки в интернете.

http://www.cs.cornell.edu/~bwong/octant/ – определитель хостов.

https://iplogger.ru/ – простой и удобный сервис для определения чужого IP .

http://linkurio.us/ – новый мощный продукт для работников экономической безопасности и расследователей коррупции. Обрабатывает и визуализирует огромные массивы неструктурированной информации из финансовых источников.

http://www.intelsuite.com/en – англоязычная онлайн платформа для конкурентной разведки и мониторинга.

http://yewno.com/about/ – первая действующая система перевода информации в знания и визуализации неструктурированной информации. В настоящее время поддерживает английский, французский, немецкий, испанский и португальский языки.

https://start.avalancheonline.ru/landing/?next=%2F – прогнозно-аналитические сервисы Андрея Масаловича.

https://www.outwit.com/products/hub/ – полный набор автономных программ для профессиональной работы в web 1.

https://github.com/search?q=user%3Acmlh+maltego – расширения для Maltego.

http://www.whoishostingthis.com/ – поисковик по хостингу, IP адресам и т.п.

http ://appfollow .ru / – анализ приложений на основе отзывов, ASO оптимизации, позиций в топах и поисковых выдачах для App Store , Google Play и Windows Phone Store .

http://spiraldb.com/ – сервис, реализованный как плагин к Chrom , позволяющий получить множество ценной информации о любом электронном ресурсе.

https://millie.northernlight.com/dashboard.php?id=93 - бесплатный сервис, собирающий и структурирующий ключевую информацию по отраслям и компаниям. Есть возможность использования информационных панелей основанных на текстовом анализе.

http://byratino.info/ – сбор фактографических данных из общедоступных источников в сети Интернет.

http://www.datafox.co/ – CI платформа собирающая и анализирующая информацию по интересующим клиентов компаниям. Есть демо.

https://unwiredlabs.com/home - специализированное приложение с API для поиска по геолокации любого устройства, подключенного к интернету.

http://visualping.io/ – сервис мониторинга сайтов и в первую очередь имеющихся на них фотографий и изображений. Даже если фотография появилась на секунду, она будет в электронной почте подписчика. Имеет плагин для G oogleC hrome.

http://spyonweb.com/ – исследовательский инструмент, позволяющий осуществить глубокий анализ любого интернет-ресурса.

http://bigvisor.ru/ – сервис позволяет отслеживать рекламные компании по определенным сегментам товаров и услуг, либо конкретным организациям.

http://www.itsec.pro/2013/09/microsoft-word.html – инструкция Артема Агеева по использованию программ Windows для нужд конкурентной разведки.

http://granoproject.org/ – инструмент с открытым исходным кодом для исследователей, которые отслеживают сети связей между персонами и организациями в политике, экономике, криминале и т.п. Позволяет соединять, анализировать и визуализировать сведения, полученные из различных источников, а также показывать существенные связи.

http://imgops.com/ – сервис извлечения метаданных из графических файлов и работы с ними.

http://sergeybelove.ru/tools/one-button-scan/ – маленький он-лайн сканер для проверки дыр безопасности сайтов и других ресурсов.

http://isce-library.net/epi.aspx – сервис поиска первоисточников по фрагменту текста на английском языке

https://www.rivaliq.com/ – эффективный инструмент для ведения конкурентной разведки на западных, в первую очередь, европейских и американских рынках товаров и услуг.

http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

http://falcon.io/ – своего рода Rapportive для Web. Он не является заменой Rapportive, а дает дополнительные инструменты. В отличие от Rapportive дает общий профиль человека, как бы склеенный из данных из социальных сетей и упоминаний в web.http://watchthatpage.com/ – сервис, который позволяет автоматически собирать новую информацию с поставленных на мониторинг ресурсов в интернете. Услуги сервиса бесплатные.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/ – дополнение для Firefox. Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

http://agregator.pro/ – агрегатор новостных и медийных порталов. Используется маркетологами, аналитиками и т.п. для анализа новостных потоков по тем или иным темам.

http://price.apishops.com/ – автоматизированный веб-сервис мониторинга цен по выбранным товарным группам, конкретным интернет-магазинам и другим параметрам.

http://www.la0.ru/ – удобный и релевантный сервис анализа ссылок и бэклинков на интернет-ресурс.

www.recordedfuture.com – мощный инструмент анализа данных и их визуализации, реализованный как он-лайн сервис, построенный на «облачных» вычислениях.

http://advse.ru/ – сервис под слоганом «Узнай все про своих конкурентов». Позволяет в соответствии с поисковыми запросами получить сайты конкурентов, анализировать рекламные компании конкурентов в Google и Yandex.

http://spyonweb.com/ – сервис позволяет определить сайты с одинаковыми характеристиками, в том числе, использующими одинаковые идентификаторы сервиса статистики Google Analytics, IP адреса и т.п.

http://www.connotate.com/solutions – линейка продуктов для конкурентной разведки, управления информационными потоками и преобразования сведений в информационные активы. Включает как сложные платформы, так и простые дешевые сервисы, позволяющие эффективно вести мониторинг вместе с компрессией информации и получением только нужных результатов.

http://www.clearci.com/ – платформа конкурентной разведки для бизнеса различных размеров от стартапов и маленьких компаний до компаний из списка Fortune 500. Решена как saas.

http://startingpage.com/ – надстройка на Google, позволяющая вести поиск в Google без фиксации вашего IP адреса. Полностью поддерживает все поисковые возможности Google, в том числе и а русском языке.

http://newspapermap.com/ – уникальный сервис, очень полезный для конкурентного разведчика. Соединяет геолокацию с поисковиком он-лайн медиа. Т.е. вы выбираете интересующий вас регион или даже город, или язык, на карте видите место и список он-лайн версий газет и журналов, нажимаете на соответствующую кнопку и читаете. Поддерживает русский язык, очень удобный интерфейс.

http://infostream.com.ua/ – очень удобная отличающаяся первоклассной выборкой, вполне доступная для любого кошелька система мониторинга новостей «Инфострим» от одного из классиков интернет-поиска Д.В.Ландэ.

http://www.instapaper.com/ – очень простой и эффективный инструмент для сохранения необходимых веб-страниц. Может использоваться на компьютерах, айфонах, айпадах и др.

http://screen-scraper.com/ – позволяет автоматически извлекать всю информацию с веб-страниц, скачивать подавляющее большинство форматов файлов, автоматически вводить данные в различные формы. Скачанные файлы и страницы сохраняет в базах данных, выполняет множество других чрезвычайно полезных функций. Работает под всеми основными платформами, имеет полнофункциональную бесплатную и очень мощные профессиональные версии.

http://www.mozenda.com/- имеющий несколько тарифных планов и доступный даже для малого бизнеса веб сервис многофункционального веб мониторинга и доставки с избранных сайтов необходимой пользователю информации.

http://www.recipdonor.com/ - сервис позволяет осуществлять автоматический мониторинг всего происходящего на сайтах конкурентов.

http://www.spyfu.com/ – а это, если у вас конкуренты иностранные.

www.webground.su – созданный профессионалами Интернет-поиска сервис для мониторинга Рунета, включающий всех основных поставщиков информации, новостей и т.п., способен к индивидуальным настройкам мониторинга под нужды пользователя.

ПОИСКОВИКИ

https ://www .idmarch .org / – лучший по качеству выдачи поисковик мирового архива pdf документов. В настоящее время проиндексировано более 18 млн. pdf документов, начиная от книг, заканчивая секретными отчетами.

http://www.marketvisual.com/ – уникальный поисковик, позволяющий вести поиск собственников и топ-менеджмента по ФИО, наименованию компании, занимаемой позиции или их комбинации. В поисковой выдаче содержатся не только искомые объекты, но и их связи. Рассчитана прежде всего на англоязычные страны.

http://worldc.am/ – поисковик по фотографиям в свободном доступе с привязкой к геолокации.

https://app.echosec.net/ – общедоступный поисковик, который характеризует себя как самый продвинутый аналитический инструмент для правоохранительных органов и профессионалов безопасности и разведки. Позволяет вести поиск фотографий, размещенных на различных сайтах, социальных платформах и в социальных сетях в привязке к конкретным геолокационным координатам. В настоящее время подключено семь источников данных. До конца года их число составит более 450. За наводку спасибо Дементию.

http://www.quandl.com/ – поисковик по семи миллионам финансовых, экономических и социальных баз данных.

http://bitzakaz.ru/ – поисковик по тендерам и госзаказам с дополнительными платными функциями

Website-Finder – дает возможность найти сайты, которые плохо индексирует Google. Единственным ограничением является то, что для каждого ключевого слова он ищет только 30 веб-сайтов. Программа проста в использовании.

http://www.dtsearch.com/ – мощнейший поисковик, позволяющий обрабатывать терабайты текста. Работает на рабочем столе, в интернете и в интранете. Поддерживает как статические, так и динамические данные. Позволяет искать во всех программах MS Office. Поиск ведется по фразам, словам, тегам, индексам и многому другому. Единственная доступная система федеративного поиска. Имеет как платную, так и бесплатную версии.

http://www.strategator.com/ – осуществляет поиск, фильтрацию и агрегацию информации о компании из десятка тысяч веб-источников. Ищет по США, Великобритании, основным странам ЕЭС. Отличается высокой релевантностью, удобностью для пользователя, имеет бесплатные и платный вариант (14$ в месяц).

http://www.shodanhq.com/ – необычный поисковик. Сразу после появления получил кличку «Гугл для хакеров». Ищет не страницы, а определяет IP адреса, типы роутеров, компьютеров, серверов и рабочих станций, размещенных по тому или иному адресу, прослеживает цепочки DNS серверов и позволяет реализовать много других интересных функций для конкурентной разведки.

http://search.usa.gov/ – поисковик по сайтам и открытым базам всех государственных учреждений США. В базах находится много практической полезной информации, в том числе и для использования в нашей стране.

http://visual.ly/ – сегодня все шире для представления данных используется визуализация. Это первый поисковик инфографики в Вебе. Одновременно с поисковиком на портале есть мощные инструменты визуализации данных, не требующие навыков программирования.

http://go.mail.ru/realtime –поиск по обсуждениям тем, событий, объектов, субъектов в режиме реального, либо настраиваемого времени. Ранее крайне критикуемый поиск в Mail.ru работает очень эффективно и дает интересную релевантную выдачу.

Zanran – только что стартовавший, но уже отлично работающий первый и единственный поисковик для данных, извлекающий их из файлов PDF, таблиц EXCEL, данных на страницах HTML.

http://www.ciradar.com/Competitive-Analysis.aspx – одна из лучших в мире систем поиска информации для конкурентной разведки в «глубоком вебе». Извлекает практически все виды файлов во всех форматах по интересующей теме. Реализована как веб-сервис. Цены более чем приемлемые.

http://public.ru/ – Эффективный поиск и профессиональный анализ информации, архив СМИ с 1990 года. Интернет-библиотека СМИ предлагает широкий спектр информационных услуг: от доступа к электронным архивам публикаций русскоязычных СМИ и готовых тематических обзоров прессы до индивидуального мониторинга и эксклюзивных аналитических исследований, выполненных по материалам печати.

Cluuz – молодой поисковик с широкими возможностями для конкурентной разведки, особенно, в англоязычном интернете. Позволяет не только находить, но и визуализировать, устанавливать связи между людьми, компаниями, доменами, e-mail, адресами и т.п.

www.wolframalpha.com – поисковик завтрашнего дня. На поисковый запрос выдает имеющуюся по объекту запроса статистическую и фактологическую информацию, в том числе, визуализированную.

www.ist-budget.ru – универсальный поиск по базам данных госзакупок, торгов, аукционов и т.п.