Поисковые машины и каталоги

Поисковые системы (search engines)

Ярким представителем поисковых систем является, например, международная AltaVista или российский Rambler.

Поисковые системы состоят из трех основных частей:

•  Spider (он же Crawler, он же Bot, он же Robot) – программа, которая посещает веб-страницы, считывает (индексирует) полностью или частично их содержимое и далее следует по ссылкам, найденным на данной странице.

Spider возвращается через определенные периоды времени (например, каждый месяц) и индексирует страницу снова.

• Все, что находит и считывает Spider, попадает в индексы поисковой системы.

Индексы системы представляют собой гигантское вместилище информации, где хранятся копии текстовой составляющей всех посещенных и проиндексированных Spider\\’ом страниц.

• Программа, которая в соответствии с запросом пользователя перебирает индексы поисковой системы в поисках информации, интересующей пользователя, и выдает ему на гора в порядке убывания релевантности найденные документы.

Каждая поисковая система имеет своего собственного спайдера, со своими собственными “повадками”. Каждая система индексирует страницы своим особым способом, и приоритеты при поиске по индексам тоже отличны. Поэтому, произведя запрос по определенным ключевым словам или выражениям, мы будем иметь разные результаты для каждой из поисковых систем.

Каталоги, или директории (directories)

Типичным представителем каталогов является международная Yahoo!.

Регистрация в каталогах полностью зависит от людей – модераторов данной системы. Каталог обычно имеет тематическую разбивку на подкаталоги, те, в свою очередь, могут подразделяться на более мелкие поддиректории и т.д.

Поскольку регистрация производится человеком, а не программой, то поиск по каталогам дает более релевантные результаты, нежели по поисковым системам.

Для регистрации в каталоге необходимо послать заявку с указанием, в какой раздел Вы хотите поместить свою страницу, составить краткое описание сайта и список ключевых слов для поиска Вашей страницы в каталоге.

Через некоторое (иногда достаточно долгое) время заявка будет рассмотрена, и в результате:

• могут вообще отказать в регистрации;
• страницу могут поместить в другой раздел, который, по мнению модераторов каталога, более подходит для сайта;
• могут быть изменены описание и/или ключевые слова;
• повезет, и регистрация будет произведена именно так, как вы хотели.

Комбинированные системы (гибриды)

Некоторые поисковые системы, такие, например, как Exite или Infoseek  имеют при себе и каталог. Соответственно, индексы для самой поисковой системы добываются Spider\\’ом, а каталог пополняется модераторами системы.

Как добиться эффективного присутствия на этих ресурсах:

1. Что Вам надо знать для успешной регистрации в каталогах

Сам процесс регистрации в каталогах достаточно прост, а вот добиться желаемого достаточно трудно.

• Прежде всего,  должен быть действительно стоящий сайт, чтобы модератор каталога не отказал Вам в регистрации.
• Постарайтесь добиться того, чтобы Ваша страница была включена именно в тот раздел каталога, который наиболее для нее подходит.
• Пользователь ищет информацию в каталогах двумя способами:
• просто переходя по иерархической системе подкаталогов;
• используя внутреннюю поисковую систему. Эта система производит поиск исключительно по краткому описанию и ключевым для Вашего сайта словам, которые Вы отослали при регистрации (описание и ключевые слова могут быть откорректированы модератором каталога). Тщательно составьте описание и подберите ключевые слова. Поставьте себя на место пользователя и подумайте, как он будет строить запрос для поиска, какие ключевые слова или выражения будет использовать.
• Если это возможно, постарайтесь зарегистрировать не только заглавную страницу, но и некоторые другие основные страницы, варьируйте ключевые слова и описание для каждой зарегистрированной страницы, в этом случае найти одну из Ваших страниц сможет большее количество пользователей.
• Включите одно или несколько ключевых слов в заголовок Вашей страницы.

Рассмотрим особенности регистрации в каталоге Yahoo!, который по праву считается “королем” каталогов.

Зарегистрироваться в Yahoo!, как правило, означает внести значительную лепту в траффик сайта. Некоторые онлайновые магазины утверждают, что 70% их клиентов пришли к ним именно через Yahoo! К сожалению, попасть в этот каталог не так просто… Вам может повезти, и в течение одного-двух дней после отправки заявки Вас включат в соответствующий раздел каталога, а возможна ситуация, когда Вы десять раз будете посылать заявку, и все безрезультатно.

При регистрации, старайтесь в поле “описание сайта” поместить не более 15 слов. Yahoo! утверждает, что описание может содержать до 25 слов, но в этом случае есть шанс, что Ваше описание укоротят и при этом вырежут что-то важное.

Страницы внутри каталога идут в алфавитном порядке, так что, если имя страницы “111-Promotion”, Вы будете недалеко от начала списка в директории. Однако это верно, когда пользователь переходит из каталога в каталог сам. В случае, если он пользуется внутренней поисковой системой, страницы будут выдаваться в порядке убывания релевантности, а не в алфавитном порядке.

2. Что понимается под успешной индексацией в поисковых системах

Для успешной индексации в поисковых системах необходимо учесть множество факторов и приложить немало усилий.

• Все Ваши страницы должны быть проиндексированы.
• Как правило, поисковые системы находят сотни соответствующих запросу страниц, но отображают их на экране порциями по 10 – 20. В первую очередь отображаются наиболее релевантные, по мнению системы, страницы. Ваша задача добиться того, чтобы Ваши страницы стояли в первых рядах результатов поиска по ключевым словам, имеющим отношение к Вашей странице. Если Ваша страница попадет в список под номером, скажем, 398, то вероятность того, что пользователь до нее доберется, крайне низка.
• Каждый пользователь ищет страницы, используя различные ключевые слова, выражения и их синонимы. Желательно, чтобы независимо от построения запроса Ваша страница попадала в первые ряды результатов поиска, а спектр слов и словосочетаний, по которым можно найти Вашу страницу, был достаточно широк.
• При выдаче результатов поиска пользователю система выводит заглавие и краткое описание Вашей страницы в определенном виде. Необходимо добиться, чтобы выводимая информация выглядела эффектно, адекватно давала представление о Вашем ресурсе и привлекала внимание пользователя.

Как уже было сказано ранее, каждая поисковая система ищет, индексирует и выдает результаты по своим определенным правилам, причем эти правила с течением времени изменяются. По этой причине невозможно быть в первой десятке во всех поисковых системах.

И даже если Вы добились этого в отдельно взятой поисковой системе, это не значит, что Вы надолго останетесь в первых рядах. У каждой из систем свой алгоритм расчета релевантности страницы и “угодить” всем не получится, хотя основные правила у систем схожи.

Несмотря на все эти сложности, существуют общие принципы, следуя которым Вы можете добиться того, чтобы Ваши страницы занимали хорошие позиции при поиске в основных поисковых системах.

Самое распространенное решение – создание нескольких входных страниц, каждая из которых будет оптимизирована как под конкретную поисковую систему, так и под конкретное ключевое слово или словосочетание.

3. Настройка страниц для поисковых систем

Тщательно подберите ключевые слова (keywords)

Подумайте, какие слова и/или словосочетания будет использовать пользователь для поиска информации, релевантной тематике Вашего сайта. Старайтесь использовать не только общие, и поэтому изобилующие в индексах слова, но и специфические. Так, если Ваш сайт посвящен компьютерным игрушкам, помимо широко распространенного словосочетания “компьютерные игры”, хорошо будет использовать, например, “пошаговая стратегия”, “авиасимуляторы”, названия конкретных игр и т.д. Даже если все Ваши страницы отражают одну и ту же тему, варьируйте ключевые слова и описания в мета-тегах (об этом ниже) от страницы к странице. В этом случае вероятность того, что хотя бы одна из Ваших страниц будет найдена, возрастает.

Каким образом поисковые системы определяют релевантность страниц?

При запросе по определенному слову или словосочетанию поисковая система находит в своих индексах все веб-страницы, которые их содержат. Таких страниц может быть десятки тысяч, и поэтому следующей задачей системы является отображение их пользователю в порядке убывания релевантности.

При вычислении коэффициента релевантности система учитывает следующее:

• Количество ключевых слов

То есть сколько раз встречаются указанные ключевые слова в документе. Чем их больше, тем более релевантным является документ. Иногда желание добиться успеха на этом поприще заставляет некоторых использовать неприглядные приемы искусственного увеличения релевантности своей страницы – спамить поисковые системы. В основном, спам заключается в использовании неоправданно большого количества ключевых слов на странице. Часто для того, чтобы подобные дополнительные слова не портили посетителям впечатление от страницы, их пишут текстом, совпадающим по цвету с фоном страницы, или мелким шрифтом и т.д.

Разумеется, администрация поисковиков не одобряет подобные действия. Системы поиска призваны находить и отображать документы в соответствии с тем, что содержит текст, предназначенный для посетителей, а не по “обогащенной смеси” ключевых слов. Западные системы уже имеют ряд автоматических средств слежения за подобным спамом, российские скоро планируют их ввести. Поэтому я не советую Вам злоупотреблять количеством ключевых слов на странице.

• Месторасположение ключевых слов.

Для поисковой системы одно и то же слово может иметь различный “вес” в зависимости от того, где оно встречается в Html-документе.

Наибольший “вес” имеют слова в заголовке страницы (заголовок – это то, что указанно между парным тегом <title></title>). Поэтому обязательно поместите ключевые слова в заголовок документа. Однако не стоит делать заголовок бессмысленным и слишком длинным, перегружая его ключевыми словами. Не забывайте, что помимо поисковых систем заголовок будет изучен пользователями (он будет виден в результатах поиска, а также, если кто-либо захочет поместить Вашу страницу в свой bookmark, то там будет фигурировать как раз заголовок).

Большой “вес” и у выделенных в основном тексте ключевых слов (выделение тегами <H1-H6>, <B>, <STRONG>).

Поисковые системы придают больший “вес” словам, расположенным в начале страницы, нежели тем, что расположены в конце. Постарайтесь сделать так, чтобы ключевые слова встречались в первом параграфе страниц. Имейте в виду, что таблицы и Java-апплеты отодвигают текст, следующий за ними, еще ниже, тем самым уменьшая его значимость для поисковых систем.

В Html-документах есть целый ряд служебных полей. Некоторые поисковые системы индексируют их содержание и учитывают при поиске и определении релевантности. К ним можно отнести мета-теги (см. ниже), поле ALT, комментарии к странице. Желательно поместить ключевые слова в эти поля.

• Густота ключевых слов.

При определении степени релевантности страниц по заданным ключевым словам большинство поисковых систем учитывают не только количество ключевых слов, а еще и отношение их количества ко всем остальным словам. Таким образом, страница, содержащая только два слова “зимняя рыбалка”, будет идти впереди страницы, содержащей помимо сочетания слов “зимняя рыбалка” еще и другие слова.

Протестируйте ключевые слова

Посетите все основные поисковые системы. Вводите ключевые слова и смотрите, какие страницы идут первыми. Изучите “source code” этих страниц и посмотрите, где и в каком количестве встречаются вводимые ключевые слова, сделайте соответствующие выводы.

Обязательно используйте мета-теги

Большинство поисковых систем учитывают мета-теги. На примере, приведенном ниже, Вы можете видеть два мета-тега, которые предназначены специально для поисковых систем: description и keywords. Эти мета-теги располагаются внутри парного тега <HEAD></HEAD> и являются невидимыми для браузеров.

<HEAD>

<TITLE>Мир стратегических компьютерных игр</TITLE>

<META name=”description” content=”На наших страницах Вы узнаете все о стратегических играх. Вашему вниманию – обзоры новых игр, хит-парад стратегий, советы по прохождению сложных уровней и многое другое…”>

<META name=”keywords” content=”игры, компьютерные игры, стратегии, стратегические игры, solutions, игрушки, новые, новинки, прохождение, games, пошаговые, real-time, diablo, war craft, fallout” >

</HEAD>

Тег “keyword”. Сюда необходимо поместить ключевые слова. Этот тег позволяет повысить релевантность страницы. Помимо этого, можно использовать слова, которые релевантны тематике сайта, но Вы по каким-либо соображениям не собираетесь включать их непосредственно в текст страницы. Можно использовать не только ключевые слова, но и словосочетания. Пользователь обычно производит поиск не по одному слову, а именно по словосочетанию.

Так что при прочих равных условиях при запросе “поисковые системы” страница, содержащая в “keywords” сочетание “поисковые системы”,

<META name=”keywords” content=”советы, каталоги, поисковые системы”> будет показана выше, чем страница, содержащая два слова отдельно: “поисковые” и “системы”:

<META name=”keywords” content=”советы, каталоги, поисковые, системы”>.

Количество разрешенных ключевых слов для этого тега колеблется от системы к системе (длина в среднем составляет 200 символов).

Не используйте одни и те же слова в этом теге более семи раз (поисковая система их просто проигнорирует). Рекомендуемое количество – три, причем лучше не помещать их одно за другим, а перемежать с другими ключевыми словами.

Если вы используете английские слова, желательно помещать их во множественном числе – “cats” вместо “cat”. Пользователь, производя поиск по слову “cat”, всегда найдет страницу, содержащую слово “cats”, а в противоположном случае страницу отыщет далеко не каждая система.

Тег “description”. При выдаче результатов поисковые системы помимо заголовка показывают первые 100 – 200 символов текста со страницы в качестве аннотации. Но первые слова на странице могут не подходить в качестве аннотации (например, когда в начале стоит текст опции выбора кодировок и т.д.).

Используя тег “description”, указывайте любое другое описание (желательно уложиться в 200 символов), которое будет привлекательно для пользователя. Помимо всего прочего, включая в это описание ключевые слова, Вы еще больше увеличиваете их процентное соотношение (густоту) на странице и, соответственно, улучшаете ее релевантность. Этот тег также незаменим на странице, целиком состоящей из графических элементов, на которых просто нечего индексировать (без текста вообще).

Тег “robots”. Стоит упомянуть еще об одном важном теге – “robots”. Если Вы по каким-либо причинам не хотите, чтобы страница была проиндексирована, поместите туда тег:

<META name=”robots” content=”noindex”>

К сожалению, не каждый спайдер понимает данный тег, и более надежным методом является помещение файла robots.txt в корневую директорию сервера со списком страниц, индексации которых Вы не желаете.

Frames и ImageMaps не должны быть помехой!

Примерно половина поисковых систем “не понимают” Frames и ImageMaps. Другими словами, “пауки” таких систем просто-напросто игнорируют все, что находится внутри тегов <FRAME> и <FRAMESET> или, соответственно, в теге <MAP>.

Если Вы используете Frames

Обычно формирование фреймов на экране производится на начальной странице сайта (как правило, index.html). Данная страница не несет никакого информационного содержания, и пользователь после ее загрузки видит содержание других Html-страниц, помещенных во фреймы – это заголовок начальной страницы. Причем для пользователя, путешествующего по сайту и загружающего различные документы во фреймы, заголовок будет оставаться тем же самым заголовком начальной страницы index.html.

Ввиду того, что в стандартном случае на вышеописанной странице помимо тегов формирования фреймов нет ни текста, ни ссылок на другие страницы сайта, пауку, не понимающему фреймов, нечего будет индексировать и не будет возможности идти по ссылкам дальше, в глубь сайта.

Решением данной проблемы является использование тега <NOFRAMES> .

Поместите внутри парного тега <NOFRAMES> </NOFRAMES> обогащенное ключевыми словами описание страницы и, помимо этого, добавьте туда ссылки на все страницы сайта. Первое поможет пауку выгодно проиндексировать начальную страницу, второе обеспечит доступ паука и ко всем остальным страницам сайта.

Также необходимо, как и на любой другой странице, использовать мета-теги “description” и “keywords”.

Если Вы применяете фреймы, не следует забывать не только о начальной, но и обо всех остальных страницах. Как я упоминал ранее, пользователь, попавший к Вам через начальную страницу, путешествуя по сайту, будет всегда видеть в заголовке название начальной страницы.

Но есть большая вероятность того, что через поисковую систему пользователь найдет не главную, а любую другую страницу ресурса. Поэтому не забывайте указывать заголовок для каждой из страниц. Помимо этого, обеспечьте хорошо различимую ссылку с любой страницы на начальную (формирующую фреймы).

Используйте примерно следующий код:

<a href=”index.html” target=”_top”>-на главную страницу-</a> target=”_top” – необходимо для того, чтобы пользователи, попавшие на данную страницу “нормальным” образом (для них страница находится во фрейме, а не занимает весь экран), загружали главную страницу во весь экран, а не внутри данного фрейма.

Не следует помещать тег <NOFRAMES> ранее первого тега <FRAMESET> (это может быть вызвано желанием поместить текст с ключевыми словами как можно раньше, что позволит придать им больше “веса” в глазах поисковых систем). Такой Html код будет работать с Internet Explorer, а вот Netscape Navigator не сможет в этом случае показать фреймы.

Если Вы используете ImageMaps

Здесь все достаточно просто. Создайте возможность альтернативной навигации по сайту. Используйте как альтернативу ImageMaps – текстовые ссылки, которые, разумеется, поймет паук любой поисковой системы. Например, так:

Мировые поисковые системы | Успешная регистрация в каталогах Настройка страниц для поисковых систем | Русские поисковые системы Индексация в поисковых системах.

Помимо поисковых систем, Вам скажут спасибо пользователи с отключенной автоматической загрузкой картинок в браузере.

Зарегистрируйте Ваши страницы

Вы можете создать веб-сайт и ждать, пока спайдеры поисковых систем проиндексируют его. Конечно, если на Ваш ресурс будут вести ссылки с других страниц, то рано или поздно это произойдет, но зачастую может пройти довольно долгое время.

Поэтому не ждите и самостоятельно проиндексируйте свой веб- сайт в как можно большем количестве поисковых систем сами. Индексирование можно проводить с помощью специальных бесплатных серверов-регистраторов.

В сети есть сервер-регистратор, созданный Артемием Лебедевым для регистрации не только в международных, но и в российских поисковых системах и каталогах – система TAU. Одним из полезных свойств данной системы является опция получения ответов от серверов: сразу становится ясно, где регистрация прошла успешно, а где нет.

Не так давно студией “JS-дизайн” был создан еще один автоматический российский регистратор. Есть в Рунете и специализированный сайт, посвященный регистрации в поисковиках и каталогах registratura.

Однако не стоит до конца доверяться вышеупомянутым серверам- регистраторам. После того, как Вы зарегистрировали свою страницу через них, посетите стратегически важные поисковые системы и зарегистрируйтесь в них вручную.

Сколько страниц надо регистрировать?

В принципе, если ссылки с главной страницы ведут на любую из страниц веб-сайта, то можно зарегистрировать только главную страницу. Робот поисковой системы рано или поздно обойдет весь сайт.

Однако следует иметь в виду следующее:

• при регистрации поисковые системы обычно оперативно помещают в индексы указанную страницу и ставят весь остальной сайт в очередь на индексацию, и разница по времени между индексацией указанной страницы и всего остального сайта может составить несколько недель;
• некоторые поисковые системы не индексируют автоматически внутренние страницы сервера глубже четвертого уровня (т.е. когда для попадания на страницу надо совершить четыре перехода);
• организация навигации с помощью Frames, Imagemaps, Java-скриптов может помешать роботу пройти вглубь веб-сайта для индексации внутренних страниц.

Принимая во внимание вышеперечисленное, желательно регистрировать не только начальную страницу сайта, но и ряд внутренних ключевых страниц. Конечно, во всем надо знать меру: не стоит регистрировать отдельно каждую страницу, если у Вас их несколько десятков.

Проверьте, проиндексированы ли Ваши страницы.

Через некоторое время после регистрации проверьте, проиндексированы ли страницы в системе, в каком виде выдается результат и т.д.

Время, через которое следует учинить проверку, разнится от системы к системе. Например, InfoSeek поместит страницу в свои индексы в течение нескольких минут после регистрации, AltaVista за 1 день, Excite за три недели.

Многие поисковые системы позволяют проверять наличие страниц в индексах.

Желательно раз в месяц наведываться в стратегически важные для Вас поисковые системы и снова проверять, есть ли Ваши страницы в индексах. Иногда случаются странные вещи, и страницы могут исчезнуть из индексов.

По ряду причин Ваши страницы могут вообще не попасть в индексы:

Например, AltaVista позволяет индексировать не более чем 600 страниц на один домен. Как следствие, страницы, расположенные в таком, например, обширном домене как geocities/com, имеют большой шанс быть вообще не проиндексированными;

Специализированные поисковые системы, например, российский Апорт, индексируют страницы только доменов ru, su, ua и др., принадлежащих странам ближнего зарубежья.

При регистрации страницы, располагающейся в зоне .com, робот проверит корневую страницу ресурса. При отсутствии русского текста индексация не произойдёт.

Содержание страницы может быть расценено системой как спам поисковой машины, и, соответственно, она не будет помещена в индекс.