Есть некоторые действия, которые вы неизбежно должны предпринять, оптимизируя сайт. Одним из них является индексация сайта. Пожалуй, это определяющий шаг - если сайта нет в индексе, о каких позициях в выдаче можно говорить?:) Итак, наши заботы:

1) чтобы сайт был проиндексирован в принципе,

2) чтобы проиндексировано было именно то, что мы хотим, а чего не хотим показывать - не было,

3) и чтобы индексация происходила как можно чаще.

Прежде всего определите для себя, продвижение в какой поисковой системе вас интересует, и проверьте, а проиндексировала ли эта система ваш сайт в принципе?

Это первый и важный шаг, потому что могут быть причины, по которым ваш сайт не будет проиндексирован. Следовательно, какие бы деньги и сколько бы времени вы не тратили на его улучшение и какие ссылки вы бы ни приобретали - обменом, самостоятельной регистрацией или покупкой на биржах, сайт вы не продвинете. Что это за причины?

Первая из них, "детская причина":) - на вас просто не ведет ни одна ссылка в интернете. Это может быть, если сайт совершенно новый и вы его нигде не регистрировали. Решение: ставить ссылки на сайт:) Хотя бы зарегистрировать его в поисковике. Ставлю смайлики, потому что вроде как ну что за мелочь, а тем не менее, такие сайты мне попадались.

Иногда случается (хотя все же редко), что сайт случайно выпадает из индекса в результате сбоя программного обеспечения поисковика. Решение: подождать следующего апдейта (обновление базы поисковика, согласно которой он распределяет позиции при запросах пользователем какой-то фразы). Если прошло 1-2 апа, а сайт не вернулся в индекс, надо серьезно выяснять, что случилось.

Либо как наказание. Например, за поисковый спам ваш сайт мог быть выкинут из индекса. Иначе - забанен. Справедливости ради надо признать, что я о таком только слышал, так что это все же надо постараться - так насвинячить, чтобы с тобой отказались иметь дело в принципе:) Обычное наказание поисковика за наглое воровство текста - выкидывание в самый хвост выдачи (на последние страницы результатов поиска). Простое решение проблемы бана - сменить домен. Сложное - переписывать контент и слезно просить управляющих поисковика простить.

Однако самыми частыми являются следующие две причины отсутствия сайта в яндексе, гугле или другом поисковике: сайт запрещен к индексации в файле robots.txt либо по какой-то причине выдает сообщение об ошибке. Эти две причины заслуживают отдельного разговора, потому что внешне сайт выглядит вполне в порядке. Все работает, все страницы открываются, картинки грузятся и т.д. Однако через поисковик его не найти, сколько бы вы не старались.

Вам кажется это невероятным? Тогда маленькая история. Мне было предложено посмотреть, сколько будет стоить продвижение сайта XYZ, я открыл его и сразу же в баре браузера (об этой специальной надстройке поговорим чуть позже) увидел, что ТИЦ у сайта отсутствует. Там же я посмотрел и убедился, что сайта в яндексе просто нет. Но это еще не беда, можно же его прописать, верно? Так называемая аддурилка яндекса (от add url) для того и существует. Но в разговоре мне было сказано, что владелица сайта уже платила некой фирме и та так и не продвинула сайт. Значит, в аддурилку можно и не соваться, тут что-то иное. Первая мысль - проверить роботс. Открываю robots.txt - так и есть. Он состоит из скромных таких двух строчек:

User-agent: *
Disallow: /

Сижу, смеюсь и голову ломаю - как объяснить клиентке ситуацию. Мне советуют просто сказать, что, мол, та фирма - балбесы, они просто не умеют работать, а мы, мол, крутые и опытные, давайте все к нам... Но люди-то не покупаются нынче на просто слова, они ж спросят, что там за ерунда была. Так и выходит. Разговариваю с владелицей сайта:

- Здравствуйте. посмотрел я ваш сайт, все в нем хорошо, можно работать. Цену за продвижение мы вам выставляем такую-то.
- А что там было-то, что та фирма не справилась, вообще в яндексе нет, хоть три месяца продвигали.
-Да там такое дело, я знаю, нашел, но долго объяснять.
-Да вы уж объясните. А то вам заплатим, а тоже ничего не появится ни на какой странице.
-Появится, появится, не сомневайтесь.
-Ну откуда вы так уверены?

В общем, ну как разговаривать с человеком, которого уже вели оптимизаторы и ничего не добились. Понятно, что я ей сказал, что дело в существовании запрета на индексацию сайта всеми поисковиками. И вы думаете, человек мне поверил?:) Чтобы какие-то две строчки в никому не видимом файле влияли на индексацию? Не может такого быть.:) Расстались недовольные друг другом. При этом меня позабавил вопрос собеседницы: "А кто этот файлик туда поместил?" Уж не знаю, кто. Может, вебмастеру недоплатили, он и обиделся. А может, просто закрыл от индексации во время настройки, да и забыл убрать. Самое смешное, что достаточно в самом тексте просто убрать слэш (косую черту), и сайт уже будет разрешен к индексации всеми поисковиками:) А так - всеми запрещен.

Простой совет в связи с этим: просто попробуйте добавить сайт в индекс самостоятельно. У каждого поисковика есть для этого специальная страница. Обычно на нее ведет ссылка в углу первой страницы, что-то типа Add URL или "добавить сайт". Если добавляется - хорошо, можно продвигать. Если не добавляется, вам вылетит сообщение об ошибке. В зависимости от того, что будет написано, следует предпринимать и действия. О возможных ошибках и путях решения поговорим чуть позже.

Если ваш сайт целиком посвящен тематике, по которой вы хотите его продвигать, вам выгоднее, чтобы поисковик видел как можно больше ваших страниц с текстом. Текст, понятное дело, должен быть оригинальным. Воровать вообще - грех, но в случае с поисковиками этот грех достаточно легко наказывается роботами систем.

Если вы сомневаетесь в оригинальности текста, можете воспользоваться для проверки, например, службой copyscape.

И, к слову, не забывайте, что современные поисковики ориентированы на работу с текстом. Так что, даже если вы больше предпочитаете работать с изображениями, например, выкладываете фотографии - не ленитесь давать им подробные описания. Иначе, имея огромные запасы уникальных и интересных фотографий, вы окажетесь для поисковика сайтиком с минимальным колличеством страниц - потому что страницы с фотографиями в поиске участвовать не будут.

Что касается помощи поисковой системе проиндексировать ваш сайт, то тут есть два пути: помочь проиндексировать то, что вам выгодно и закрыть от индексации то, что вам невыгодно.

Для первой цели можно посоветовать самостоятельно закачивать в поисковик специализированный файл карты сайта (поговорим чуть позже о картах сайта подробнее), использовать в меню как можно меньше джава-скриптов - во всяком случае при образовании адресов страниц, а также размещать каким-то образом на первой странице сайта информацию о новых страницах (соответственно - как минимум держать ее до апдейта в поисковике и внесения в индекс).

Для второй - грамотно пользоваться файлом robots.txt. Его основное предназначение - запрещать индексацию. Вот и запретите в нем файлы, которые в глазах поисковика могут быть похожи на поисковый спам. Например, результаты поиска, инклуды, то есть части более крупных файлов. Не стоит указывать в роботс адреса админок и других секретных мест. Поисковик-то может быть и не проиндексирует, но люди-то прочтут адрес и полюбопытствуют. О файле robots.txt мы тоже обязательно поговорим подробнее. Пока что коротко: запрет на индексацию указывается строчкой

Disallow: / (запрещает все)
Disallow: /chernovik.html (запрещает файл chernovik.html)
Disallow: /moi_fotki/ (запрещает индексировать директорию moi_fotki)
Disallow: /index.php?id= (запрещает к индексации все страницы, динамически используемые при помощи id на основе index.php)

Запреты можно и нужно использовать для выкидывания из индекса тех страничек, которые не несут пользы для продвижения сайта. Это могут быть, например, разного рода маленькие файлики, вставляемые в более крупные страницы. Аккуратное выкидывание их сделает ваш сайт более релевантным в глазах поисковиков.

Еще одна деталь, которая часто упускается из виду: решите для себя сразу, с каким адресом вы будете работать: с www или без. Например, наш сайт может быть доступен по адресам http://www.follow-up.ru и http://follow-up.ru Я сам не сразу заметил, что яндекс проиндексировал практически все страницы дважды - с www и без. Иногда такая индексация может показаться забавной, на примере принтскрин, где видно, что апорт по запросу заказ автобуса показывает в топе сразу две страницы сайта, а на самом-то деле страницы двух разных сайтов! Посмотрите: один из них апорт считает сайтом с 1 страницей, другой - сайтом с семью страницами! Но вообще-то поисковики стараются не индексировать полные копии сайта, каковые называются в вебе зеркалами. При обнаружении зеркал поисковик склеивает их в один сайт. И для вас лучше, если вы самостоятельно выберете, каким это будет вариантом - без www или с ним. Просто укажите выбранный адрес как хост в файле роботс (строка
Host: follow-up.ru в моем случае, ну или например, с www -
Host: www.pr-post.ru) и всегда помните о выбранном адресе. Это пригодится вам при простановке адреса в ссылках на ваш сайт.

Что касается частоты обновления, то некоторые вебмастера до сих пор указывают для этого т.н. тэги устаревания информации (revisit-after). Это уже давно неактуально. Поисковики ориентируются на данные об обновлении сайта в своих базах. Так что просто обновляйте свой сайт как можно чаще, если хотите, чтобы и поисковики (а конечной задачей - люди, а?) заходили на него как можно чаще:) К слову, косвенным показателем, какие страницы сайта поисковик считает более важными, а следовательно будет на них заходить чаще, является показатель PR от Google. О нем мы тоже, разумеется, поговорим более подробно через некоторое время.

Информация с сайта follow-up.ru