Ускорение индексации в Яндекс
Индексация сайта это
Индексация сайта (веб-индексирование) – это процесс сбора и добавления сведений о веб-документах сайта в базу данных (индекс) поисковой системы.
Для начала индексации сайта необходимо сообщить поисковой системе его URL-адрес, как отправной точки индексирования. Остальные веб-документы сайта будут найдены поисковым роботом по содержащимся в них ссылкам, в соответствии с директивами индексации, указанными в файле robots.txt, meta-теге robots и т.д.
что такое поисковая система и как она работает, читайте в этой статье.
В дальнейшем поисковый робот будет, время от времени, проверять проиндексированные веб-документы сайта на наличие новых или изменение имеющихся веб-документов сайта. Но как ускорить индексацию сайта?
Ускорение индексации в Яндексе
1. Быстробот Яндекс
Процесс индексация сайтов в Яндекс несколько отличается от индексирования другими поисковыми системами, т.к. здесь, помимо обычного поискового робота, имеется и, так называемый, быстробот.
Что такое быстробот?
Быстробот – это один из роботов-пауков поисковой системы Яндекс, который предназначен для индексирования часто обновляемых сайтов с целью скоростного добавления их веб-документов в выдачу.
Очевидно, что работа быстробота обусловлена необходимостью добавления в выдачу потоковой информации, срок актуальности которой невелик. К таковой относятся новости, пресс-релизы, анонсы и т.д.
Преимуществом такой быстрой индексации является высокое ранжирование проиндексированных веб-документов. Однако работа быстробота не отменяет посещения обычного поискового робота, который расставляет всё на свои места.
Тем не менее, если вы готовы достаточно часто и на постоянной основе публиковать такого рода информацию вы можете рассчитывать на значительное ускорение индексации сайта в Яндекс.
2. Сообщить о новом сайте в Яндекс
На данный момент, для добавления сайта в Яндекс необходимо зарегистрироваться и авторизоваться на сервисе Яндекс.Вебмастер. Здесь вы можете воспользоваться двумя основными инструментами:
- Добавить сайт в Яндекс.Вебмастер, что позволит получать информацию о том, как сайт индексируется и по каким запросам он находится, а также многое другое.
- Сообщить о новом сайте без его добавления в Яндекс.Вебмастер.
В плане ускорения индексации сайта нас больше интересует именно второй инструмент, т.к. он позволяет сообщить Яндекс не только URL-адрес главной страницы сайта, но и его нового веб-документа.
В зависимости от того проиндексирован указанный URL-адрес или нет, вы получите соответствующее сообщение, что можно использовать и для проверки.
3. Социальные сети
Несмотря на то, что Яндекс не учитывает социальные сигналы (лайки, плюсы и т.д.), он вполне способен индексировать социальные сети, как и любые другие сайты. Сайты, с очень часто обновляемой потоковой информацией! Так что без быстробота здесь явно не обойтись.
Есть и ещё один интересный момент – у Яндекс имеется договоренности с рядом социальных сетей. Например, мне удалось найти упоминания о таковых с ВКонтакте, Twitter и Facebook. Насколько это актуально на данный момент сказать затрудняюсь, но факт остаётся фактом.
Следует также отметить и то, что большинство сервисов, которые предлагают услуги ускорения индексации сайта работают по принципу публикации ссылок в социальные сети. Нюанс в том, что для этого используется достаточно большое количество раскрученных, или не очень, аккаунтов.
Если учесть тот факт, что ссылки в социальных сетях обычно nofollow или даже через редирект, навредить сайту, таким образом, будет сложно. Тем не менее, правило: лучше мало, но хорошо, чем много, но плохо – забывать не стоит.
Впрочем, данный нюанс вызывает закономерное противоречие – как nofollow ссылка может повлиять на ускорение индексации сайта, если поисковый робот не может по ней следовать. Это не совсем так.
Если речь заходит о быстроботе, то правило nofollow зачастую не учитывается. К тому же мы не говорим о влиянии на ранжирование, а лишь указываем роботу на существование нового документа.
4. Счётчик Яндекс.Метрика
Прямого влияния на ускорение индексации сайта в Яндекс сервис сбора статистики Яндекс.Метрика не оказывает. Однако, он используется для выявления новых веб-документов на сайте. Именно поэтому не стоит размещать счётчик Яндекс.Метрика на веб-страницах, которые не должны быть проиндексированы поисковым роботом. Также вы можете отключить эту функцию в дополнительных настройках на вкладке «Код счётчика» страницы редактирования.
Короткая ссылка: http://goo.gl/QmiR2B
Нужно установить на сайт плагин, который рекомендует сам Яндекс - ПДС пингер. Проверено временем, действительно ускоряет индексацию - новые страницы появляются в индексе буквально в течении 20-30 минут. Всем советую.
2Баяс Не исключаю актуальности предложенного метода, но вот цитата со страницы плагина:
Роботы Яндекса самостоятельно индексируют сайт. Однако, помимо основного индекса, при поиске по сайту используется дополнительный индекс, специально построенный для вашего сайта.
И ещё, со страницы «Оптимизация индексирования» в помощи Яндекс поиска для сайта:
Примечание. Документы, проиндексированные для конкретного сайта, необязательно будут одновременно проиндексированы на большом поиске Яндекса и в Яндекс.XML.
Другими словами, плагин актуален для ускорения индексации в Яндекс поиске для сайта, но можно ли это использовать для индексации сайта в основном индексе – вопрос.
2Баяс По моему, Яндекс уже где-то говорил, что ускорение индексации через поиск по сайту больше не работает. Да, раньше было такое дело, а сейчас нет. Так что не стоит нагромождать сайт лишними плагинами … имхо.
У меня есть пост от 14 мая, который опубликовал, предварительно отключив ( в целях эксперимента ) данный плагин. Так вот, он до сих пор не проиндексирован, хотя последующие 4 статьи попали в индекс ( основной ! ) в течение получаса. Поэтому был сделан соответствующий вывод.
2Баяс Как я и сказал, полностью исключить вариант с пингом нельзя. Просто Яндекс заявляет о том, что в начале страница попадает в отельный индекс поиска для сайта и только потом в основной. Соглашусь и с Сергеем, было такое заявление от Яндекс, но оно было давно.
Теперь, что касается вашего эксперимента. Ситуация интересная, но не однозначная. Думаю, нужно ещё понаблюдать, выявить закономерность. Буду благодарен если отпишитесь о результатах.
2Баяс факт остаётся фактом. У основного поиска и поиска для сайта разные базы данных - пруфлинк на анонс этой шняги от Яндекс. Там же в комментариях, на вопрос: Попадание в дополнительный индекс может сказаться на скорости попадания в основной или нет? - от Leventov, t1r1 даёт лаконичный ответ: Не может. И тут мне больше нечего добавить.
Когда Костя рекомендует использовать форму "Сообщить о новом сайте" я с этим соглашусь. Т.к. оповещается именно основной робот Яндекс. Но и там, это лишь оповещение и влияние на ускорение индексации сайта чисто условно.
2Сергей Назаров Яндекс много чего говорит, хотя с твоей логикой я пожалуй соглашусь.
2Баяс Тоже, в качестве эксперимента, добавил несколько, ещё не проиндексированных, страниц в Яндекс поиск для сайта, правда через форму «Указать URL вручную». Ни через час, ни через сутки результата не было.
2Баяс Ещё один интересный момент. Как вы наверное знаете 28 мая 2015 года (т.е. вчера) Яндекс анонсировал переход своего сервиса поиска для сайта на новую технология SaaS-писка. В комментариях к анонсу были заданны интересующие нас вопросы:
onishuck.ser: Если сайт будет индексироваться быстрей, то все новые изменения будут быстрей появлятся в самом поиске Яндекса? Или это совершенно отделный продукт?
exmr Присоединяюсь к вопросу. Будет ли какой то профит от SaaS поиска непосредственно поисковой выдаче "большому" Яндексу? Ускорит ли это хоть как то скорость индексации сайтов в основном поиске?
На что был получен следующий ответ от Елена Першина, маркетолог Яндекс.Вебмастера и Поиска для сайта:
Мы стараемся делать так, чтобы использование какого-либо нашего сервиса напрямую не влияло на скорость индексирования или ранжирования в поиске. Этот принцип для нас был важен и в старой технологии, и при переходе на SaaS. Мы просто стараемся делать хорошие сервисы, которые полезны для пользователей и сами по себе.
Пы.Сы. Как я и говорил Сергею, особо доверять Яндекс сложно, но официальная версия такова – Яндекс.Поиск для сайта не влияет на скорость индексации в основном поиске. Похоже реально работает только быстробот.