Интернет-разведка. Руководство к действию - Евгений Ющук

Для решения подобной проблемы несколькими компаниями разработано специальное программное обеспечение – так называемые «сторожевые роботы»: ознакомившись со страницей, они сохраняют ее образ в своей базе данных, а при повторном посещении сравнивают актуальное состояние ресурса с этим образом. Программа отмечает изменившиеся места, которые становятся похожи на выделенные маркером фрагменты текста на бумажном носителе. Более того, удаленние кусков материала также фиксируется многими программами данной категории – как правило, внизу страницы, дабы не мешать восприятию человеком информации. «Сторожевые роботы» могут запускаться пользователем вручную, а могут и работать автоматически, по расписанию.

Предлагаем рассмотреть эти программы более подробно.

Сторожевой робот WebSite-Watcher

Программа выпущена в Германии, ее официальный сайт – http://www.aignes.com. Стоимость продукта составляет около 40 долл. США за индивидуальную лицензию. Кроме того, пользователю дается 30-дневная полнофункциональная версия, дабы он успел удостовериться в необходимости ему этого продукта. Заплатить за WebSite-Watcher требуется лишь один раз, после чего все обновления становятся доступны бесплатно и на неограниченный срок.

Интерфейс программы поддерживает русский и украинский языки, однако раздел «Помощь» до выхода в свет версии 4.06 был написан на английском. После появления версии 4.06 на сайте программы по адресу http://www.aignes. com/wswtrans.htm стал доступен exe-файл (wswhelp_russian.exe), который присоединяет к WebSite-Watcher справочную информацию на русском языке. Работа с русским языком не вызывает у программы никаких проблем. Продукт довольно часто обновляется. Так, на момент написания книги была доступна версия 4.10.

WebSite-Watcher работает как клиент на компьютере пользователя. Это значит, что все закладки и конфигурации хранятся локально на жестком диске компьютера и сервер хозяина не участвует в процессе поиска. Производитель утверждает, что выход в Интернет требуется продукту лишь для посещения страниц, проверяемых пользователем.

Что же может проверять программа?

Любые web-страницы с текстовым содержанием, независимо от расширения файла. То есть статичные страницы (с расширением файла. htm или. html) и динамичные страницы (с расширением. asp,php и так далее). WebSite-Watcher также выделит цветом все изменения в тексте.

RSS/Atom feeds. Страницы RSS/Atom преобразовываются в читаемый html-формат и могут обрабатываться как обычные web-страницы.

Страницы, защищенные паролем. Для таких страниц вы можете записать макрокоманду, после автоматического выполнения которой ресурс будет проверен на обновление.

Форумы. Они обрабатываются как обычные страницы с небольшой оптимизацией, например, специальной технологией подсветки изменений.

Страницы с Javascript. Для таких страниц WebSite-Watcher поддерживает отдельную и более сложную технологию преобразования динамически сгенерированного содержания ресурса в статичное содержание.

Изображения. Если Вы отслеживаете изображение, WebSite-Watcher способен обнаружить его обновление. Изменения в изображении не подсвечиваются.

Двоичные (бинарные) файлы. WebSite-Watcher может обнаруживать обновление двоичных файлов (например, файлы zip или exe) сравнением даты документа, его размера и/или части его содержания (двоичные файлы не будут полностью загружаться при проверке на обновление).

Файлы PDF и Flash. Они обрабатываются как двоичные файлы. WebSite-Watcher не подсвечивает изменения в их содержании.

FTP-файлы и каталоги. WebSite-Watcher поддерживает отслеживание таких документов и каталогов. FTP-файлы могут проверяться по их дате/размеру или содержанию.

Интранет. Все страницы в сети Интранет могут быть проверены подобно обычным web-страницам.

Локально хранящиеся файлы. WebSite-Watcher может отслеживать любой файл на вашем жестком диске.

По крайней мере, такие данные приводит сам производитель.

После того, как WebSite-Watcher установлен и запущен на компьютере, в правом верхнем углу всех наиболее распространенных браузеров (в частности, Internet Explorer, Mozilla Firefox, Opera) появляется значок программы, представляющий собой стилизованный глаз.

Добавление закладки в перечень закладок может производиться двумя способами.

1. Непосредственно из браузера.

Таким образом можно добавить к закладкам ту страницу, которая в настоящий момент загружена в браузере. При щелчке любой кнопкой мыши по значку WebSite-Watcher в правом верхнем углу браузера появляется всплывающее меню, первый пункт которого «Добавить в закладки». После того, как выбирается этот пункт, появляется следующее окно, в котором URL страницы уже автоматически внесен в соответствующее поле. Вам остается лишь ввести ее имя вручную (причем оно не имеет никакого значения для компьютера и служит только для того, чтобы можно было определить, для чего та или иная закладка нужна, потому и назначается пользователем произвольно). Версия 4.10 позволяет обойтись даже без ручного ввода названия страницы, поскольку программа может автоматически брать это название на самом ресурсе.

Внимание: после того, как URL страницы и имя закладки внесены в это окно, требуется нажать клавишу «ПРОВЕРИТЬ!», а НЕ кнопку «ОК». В этом случае WebSite-Watcher отправится на страницу и сохранит в своем архиве ее образ, с которым и будет при следующем посещении ресурса проводить сравнение. В главном окне программы WebSite-Watcher после этого напротив имени закладки появится надпись «ОК, инициализировано».

Если же пользователь выберет кнопку «ОК» вместо кнопки «Проверить!», то программа сохранит закладку в меню, однако посещать страницу не будет и, соответственно, не будет и сохранять в архиве ее копию.

2. Из главного меню программы WebSite-Watcher.

Для этого надо открыть окно добавления новой закладки, щелкнув либо по второй слева кнопке на верхней панели программы (она называется «Мастер» и выглядет как жезл с икрящимся наконечником), либо по третьей слева кнопке в той же панели (она называется «Новая закладка» и выглядит как лист бумаги с размещенным на нем знаком «плюс»). Нажатие кнопки «Мастер» предпочтительно, когда проверяемая страница защищена паролем, поскольку там предусмотрен макрос, позволяющий вводить этот пароль автоматически. В остальных случаях лучше воспользоваться командой «Добавить закладку».

Программа WebSite-Watcher позволяет проверять изменения на странице как вручную, так и автоматически.

Организуются новые папки и подпапки для систематизации закладок также очень легко, а перемещаются в новые места простым перетаскиванием их их мышью.

Кроме того, в программе предусмотрены фильтры, которые позволяют исключать из проверки определенные строки (например, постоянно меняющиеся время или дату в углу страницы либо афоризм, который некоторые оптимизаторы сайтов любят постоянно менять на своем ресурсе). Использование фильтров помогает исключать неинформативные сообщения о наличии изменений на странице.

Архивирование страницы непосредственно в программе WebSite-Watcher не предусмотрено, однако производитель вместе с программой WebSite-Watcher поставляет бесплатную программу Local WebSite Archive, которая как раз и создает архивную копию странички Интернета. При этом Local WebSite Archive может запускаться из того же меню, встроенного в браузер, что и WebSite-Watcher.

Подробное описание этих и других возможностей WebSite-Watcher приведено в разделе «Помощь» этой программы, поэтому детально останавливаться на них мы не будем.

И напоследок нам хотелось бы отметить, что существует форум (http://www.aignes.com/forum/), где обсуждаются проблемы программы WebSite-Watcher и способы их преодоления. Форум, к сожалению, англоязычный, но он приносит реальную пользу, когда не понятно, как поступить в том или ином случае, либо когда требуется отыскать нужную функцию, не вынесенную в главное меню программы. Хотим поблагодарить его участников, советы которых неоднократно помогали нам в работе.

Программа Copernic Tracker

Эта программа может быть скачана из Интернета по адресу: http://www.copernic.com/en/products/tracker/index.html.

К сожалению, Copernic Tracker, как и другие продукты компании, пока что плохо работает с русскими шрифтами, поэтому интересен, главным образом, для тех, кто проводит мониторинг европейских и американских сайтов. Тем, кто интересуется русскоязычными страницами, лучше сразу перейти к описанию следующей программы.

Однако мы не сочли возможным обойти его вниманием, поскольку продукты Коперник – наиболее доступное программное обеспечение, позволяющее автоматизировать работу с сайтами, которые написаны на языках, основанных на латинском алфавите.

Производители Copernic Tracker отмечают следующие его возможности:

– мониторинг сайтов с целью поиска изменений в тексте и отслеживания новых изображений;

– предоставление уведомлений об изменениях на интересующих пользователя сайтах не только на рабочий стол компьютера, но и по электронной почте, а также по мобильному телефону;