Почему сайт плохо индексируется, что такое индексация и какие существуют методы ускорения

Как добавлять на индексацию в Гугле и Яндексе, и прочих ПС

Сейчас мы займемся рассмотрением вопроса добавления нового ресурса во всевозможные поисковики. Разберем наиболее популярные системы.

Яндекс добавить сайт на индексацию

Для добавления проекта на Яндекс портал поисковую систему необходимо перейти к форме добавления, в простонародье аддурилка. Располагается по адресу: http://webmaster.yandex.ru/addurl.xml

В открывшейся форме следует указать УРЛ адрес главной страницы добавляемого сайта и ввести капчу. После нажатия кнопки «Добавить» произойдет следующее:

1. Выскочит сообщение «ваш сайт добавлен» — это значит, что все в порядке, ресурс поставлен в очередь на индексацию в яндексе;

2. Появится сообщение «Ваш хостинг не отвечает» — это означает, что проблема с сервером, а точнее он прилег отдохнуть в тот момент;

3. Выскочила надпись «указанный URL запрещен к индексации» — можно начинать паниковать. На домен были наложены санкции, в результате чего он оказался забаненым. В таком случае, придется списываться с техподдержкой Яндекса и пытаться выяснять, как выходить из сложившегося положения.

Отправить сайт на индексацию Google

Добавление сайта в Гугл поисковую систему проходит точно так же как и в Yandex. Google имеет свою аддурилку, что находится по адресу: https://www.google.com/webmasters/tools/submit-url.

От капчи Вам и тут никуда не деться, правда, имеется пара отличий. В яндексе не обязательно иметь свой аккаунт, чтобы добавить url, а вот в Гугле Вы должны быть залогинены в свою учетную запись. И второй момент – это скорость: индексация в гугле происходит быстрее.

Индексация сайта в Рамблере

Хоть Рамблер информационно-поисковая система уже не представляет собой того гиганта поиска как раньше, но небольшой трафик с него все же идет, так зачем им пренебрегать. Скорость индексации в Рамблере гораздо ниже, чем рассмотренных выше ПС. Так что не удивляйтесь, если Вашего проекта долгое время не будет в индексе этого поисковика.

Поскольку данная система уже давно перестала развивать свой поиск, то и от аддурилки проку никакого. Так куда стучаться, чтобы произошла индексация сайта в rambler? Если Вы уже добавились в Яндекс, то стучаться больше никуда не нужно, так как в Рамблер интегрирована поисковая база Yandex.

Индексация в mail.ru

Поисковая система майл ру также имеет в своем арсенале кабинет вебмастера, где и можно добавить ресурс в систему. Другой способ добавления вебсайта на индексацию mail – это напрямую зайти по адресу: http://go.mail.ru/addurl.

Система майл стала активно развивать свой поиск и различные сервисы, в том числе и инструменты для вебмастеров, поэтому чтобы оставить заявку на индексацию сайта в mail ru следует завести свой аккаунт.

Индексация в Nigma

Нигма интеллектуальная поисковая система разработанная в России пытается всунуться и отхватить долю Рунета. В данный момент она смогла отвоевать порядка 3 млн запросов в сутки. Делаем вывод, что отмахиваться от данного поисковика не стоит, а потому вот ссылка, по которой можно добавить ресурс на индексацию в Нигму: http://www.nigma.ru/index_menu.php?menu_element=add_site.

Индексация сайта Yahoo

Поисковая система yahoo принадлежит к тем поисковикам, что первыми стали покорять просторы Интернета. Она знакома пожалуй всем и каждому, кто мало мальськи связан с глобальной сетью. Добавить проект на индексацию в Яхоо: http://search.yahoo.com/info/submit.html.

Индексация сайта в Bing

Бинг поисковая система является детищем Майкрософта и пришла на замену Live Search. По заявлениям представителей Microsoft Bing гораздо эффективнее предшественника и он готов составить конкуренцию Гугл. Так ли это покажет время. Но трафик с данного поисковика есть, а значит добавлять сайт на индексирование необходимо: http://www.bing.com/toolbox/submit-site-url.

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

1. Авторизуйтесь в Яндекс.Вебмастер.
2. Перейдите в меню «Индексирование сайта».
3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

1. Выберите «Индексирование сайта».
2. Дальше перейдите в «История».
3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

1. Зайдите в панель управления сервиса .
2. Кликните на вкладку Search Console.
3. Перейдите в «Индекс Google».
4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».

Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции. Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени

Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа»

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Как узнать какие страницы дают трафик, а какие пользователи игнорируют?

Подробный отчет обо всех страницах входа на сайт из поисковой выдачи можно найти в Яндекс.Метрике. Раздел «Отчёты» — «Стандартные отчёты» — «Содержание» — «Страницы входа».

По каждой странице отображается информация о количестве визитов, посетителях, проценте отказов, глубине просмотра и общем времени по выбранной странице. Анализ проведенного времени на сайте и количества отказов станет отличным помощником в улучшении юзабилити сайта. Процент отказов больше 25% говорит нам о том, что со страницей точно не все в порядке, и каждый 4 посетитель уходит с сайта.

Информацию о показах и кликах по каждой странице можно найти в Яндекс.Вебмастере. Раздел «Поисковые запросы» — «Статистика страниц».

Используйте информацию для улучшения сниппета сайта. Большое количество показов без кликов говорит о том, что сниппет страницы не привлекает пользователей, и все клики достаются конкурентам.

Порядок индексации зарплаты

Как такового общего для всех алгоритма проведения перерасчетов нет. Единственное, на что ссылается законодатель, это – государственным и муниципальным служащим увеличивают оклады на определенный коэффициент, индексируя заработную плату, в порядке, установленном ТК РФ, другими федеральными законами, нормативными актами. Прочие собственники и руководители должны установить порядок самостоятельно.

Периодичность, правила индексации утверждаются внутренними положениями, оговариваются условиями коллективного или заключаемого при приеме на работу индивидуального трудового договора. В случае принятия отдельных локальных правовых актов, всех сотрудников под личную роспись знакомят с данным документом. Например, это может быть положение об оплате труда, где нужно четко указать, какие выплаты подлежат индексации.

Допускается пересчитать оклады и тарифные ставки, в то время как премиальные остаются в твердо установленных суммах. Не запрещено установить пределы максимальных размеров доходов подчиненных, какие будут проиндексированы:

Мнения юристов по поводу, нужно ли заключать дополнительные соглашения к существующим трудовым договорам об изменении оплаты труда, расходятся.

Размер заработка обязательно должен быть указан в соглашении, заключаемом с новым сотрудником. Чтобы избежать бумажной волокиты перед каждым перерасчетом, можно изначально уточнить, что зарплата работника – это оклад с учетом индексации, проводимой в соответствии с действующим Положением об оплате труда:

Как управлять поисковым роботом

Поисковая система скачивает информацию с сайта, учитывая robots.txt и sitemap. И именно там вы можете порекомендовать поисковику, что и как скачивать или не скачивать на вашем сайте.

Файл robots.txt

Это обычный текстовый файл, в котором указаны основные сведения — например, к каким поисковым роботам мы обращаемся (User-agent) и что запрещаем сканировать (Disallow).

Указания в robots.txt помогают поисковым роботам сориентироваться и не тратить свои ресурсы на сканирование маловажных страниц (например, системных файлов, страниц авторизации, содержимого корзины и т. д.). Например, строка Disallow:/admin запретит поисковым роботам просматривать страницы, URL которых начинается со слова admin, а Disallow:/*.pdf$ закроет им доступ к PDF-файлам на сайте.

Также в robots.txt стоит обязательно указать адрес карты сайта, чтобы указать поисковым роботам ее местоположение.

Чтобы проверить корректность robots.txt, загрузите его в специальную форму на странице Яндекс.Вебмастер или воспользуйтесь отдельным инструментом в .

Файл Sitemap

Еще один файл, который поможет вам оптимизировать процесс сканирования сайта поисковыми роботами ― это карта сайта (Sitemap). В ней указывают, как организован контент на сайте, какие страницы подлежат индексации и как часто информация на них обновляется. 

Если на вашем сайте несколько страниц, поисковик наверняка обнаружит их сам. Но когда у сайта миллионы страниц, ему приходится выбирать, какие из них сканировать и как часто. И тогда карта сайта помогает в их приоритезации среди прочих других факторов. 

Также сайты, для которых очень важен мультимедийный или новостной контент, могут улучшить процесс индексации благодаря созданию отдельных карт сайта для каждого типа контента. Отдельные карты для видео также могут сообщить поисковикам о продолжительности видеоряда, типе файла и условиях лицензирования. Карты для  изображений ― что изображено, какой тип файла и т. д. Для новостей ― дату публикации. название статьи и издания. 

Чтобы ни одна важная страница вашего сайта не осталась без внимания поискового робота, в игру вступают навигация в меню, «хлебные крошки», внутренняя перелинковка. Но если у вас есть страница, на которую не ведут ни внешние, ни внутренние ссылки, то обнаружить ее поможет именно карта сайта. 

А еще в Sitemap можно указать:

• частоту обновления конкретной страницы — тегом <changefreq>;
• каноническую версию страницы ― атрибутом rel=canonical;
• версии страниц на других языках ― атрибутом hreflang.

Карта сайта также здорово помогает разобраться, почему возникают сложности при индексации вашего сайта. Например, если сайт очень большой, то там создается много карт сайта с разбивкой по категориям или типам страниц. И тогда в консоли легче понять, какие именно страницы не индексируются и дальше разбираться уже с ними. 

Проверить правильность файла Sitemap можно на странице Яндекс.Вебмастер, а также в Google Search Console вашего сайта в разделе «Файлы Sitemap». 

Итак, ваш сайт отправлен на индексацию, robots.txt и sitemap проверены, пора узнать, как прошло индексирование сайта и что поисковая система нашла на ресурсе. 

Правильные шаги оптимизации сайта

Шаг № 1. Добавьте ваш блог в сервисы для вебмастеров

Для Яндекса это сервис «Яндекс.Вебмастер». Вам нужно либо зарегистрироваться, либо зайти под своим логином и паролем, если у вас есть уже аккаунт на Яндексе.

Далее нужно добавить в этот сервис свой сайт через специальную форму.

После добавления адреса вам нужно будет подтвердить права на его владение, а именно скачав специальный файл от сервиса и разместив его в папке с вашим сайтом на хостинге. В самом сервисе приводится подробное объяснение, думаю, разберетесь.

Для Google это сервис «Инструменты для Вебмастеров». Почти все то же самое. Регистрируетесь или входите через аккаунт Google, если он у вас есть, добавляете сайт и подтверждаете права на него.

Добавление блога в эти сервисы сообщает поисковикам, что у вас есть сайт и пора обратить на него внимание

Также вы сможете увидеть, сколько страниц попало в индекс, сколько не попало, что это за страницы, какие ошибки были при сканировании, ну и еще много полезной информации.

Шаг № 2. Создание файла Sitemap.xml

Так называемая карта сайта. Для этого существуют специальные плагины, которые автоматически такую карту генерируют. Например, если блог на MaxSite CMS, обычно используют стандартный плагин «xml_sitemap».

Если у вас блог на каком-то другом движке, то набираете в поисковики «плагин для генерации sitemap для X», где вместо X поставить название вашего движка. Уверен, что-то обязательно найдете.

Если вы все установите правильно, то по адресу вашсайт.ru/sitemap.xml появится карта сайта. Ну бывают исключения, в зависимости от движка, что адрес карты сайта другой, но, в основном, так.

Шаг № 3. Добавление файла Sitemap в сервисы для вебмастеров

В сервисах, о которых мы говорили выше, есть возможность добавить адрес карты Sitemap вашего сайта.

В сервисе Яндекса нужно выбрать в левом меню «Настройки индексирования» — «Файлы Sitemap» — «Добавить».

В сервисе от Google выбрать в левом меню «Сканирование» — «Файлы Sitemap» — «Добавить».

В файле Sitemap приведены все (или почти все) страницы вашего блога, поэтому, когда поисковики загрузят данный файл к себе, то ваш сайт проиндексируется довольно быстро.

Шаг № 4. Делаем ссылку в меню блога «Архив статей»

По умолчанию, такая ссылка есть на любом блоге, поэтому просто её не убирайте. По сути, это та же карта сайта, только в привычном для нашего глаза формате

Это тоже позволит поисковикам довольно быстро индексировать ваш блог.

Шаг № 5. Сделайте RSS ленту вашего блога и добавьте её в каталоги RSS

Для создания RSS с возможностью подписки на новости рекомендую воспользоваться сервисом FeedBurner от Google.

После настройки RSS ленты желательно добавить её адрес в каталоги RSS. Где искать эти каталоги? Да очень просто, вбиваете в поисковике «добавить RSS» или «RSS каталог» и добавляете туда свою ленту.

Шаг № 6. Поставьте везде в соц.аккаунтах ссылку на ваш блог

По любому, вы где-то зарегистрированы: Вконтакте, Facebook, Google+, Twitter, Одноклассники и т.п. Так вот, везде есть поле «Сайт», куда нужно добавить свой сайт.

Если у вас несколько аккаунтов в разных соц.сетях, то нужно написать адрес вашего сайта в каждый из них. На сайтах соц.сетей поисковые роботы буквально живут. Поэтому, все что туда попадает, довольно быстро индексируется.

Шаг № 7. Добавляйте адрес вашего блога везде, где только можно

Я не имею в виду специально спамить все попавшие под руку каталоги и сайты. Но возьмите за правило: если вы где-то регистрируетесь и видите поле «Сайт», которое можно заполнить, то это поле не должно остаться пустым.

Регистрируетесь где-то, – укажите сайт, оставляете комментарий на каком-то блоге – там тоже это поле есть. Чем больше адрес вашего сайта светится по Интернету, тем лучше индексация вашего сайта.

Но это еще не все… Здесь я рассказал вам, по сути, разовые способы, которые один раз настроил и они работают. Данные способы помогают заявить о вашем сайте поисковым системам, чтобы они начали его индексировать ну и ускорить индексацию вашего блога в целом в несколько раз.

Но, чтобы добиться действительно быстрой индексации ваших статей, нужно выполнять определенные ритуалы при добавлении каждой статьи.

Например, данные ритуалы помогают загнать страницу в индекс Яндекса и Google в течение 1 дня после её выпуска, порой даже быстрее.

Как ускорить индексацию сайта в поисковых системах

Есть несколько
способов:

Добавление страницы с помощью Search Console

Это самый быстрый и простой способ
проиндексировать страницу. Обычно он занимает от нескольких секунд до
нескольких минут. По истечении этого времени ваш ресурс станет видимым для Google. Просто вставьте полный адрес страницы для индексации и нажмите запросить
индексацию в специальном окошке.

Добавление страницы в индекс через карты XML

XML-карта разработана для роботов Google. Он должен быть на всех страницах, потому что формат XML значительно упрощает индексацию страницы в Гугл. Карта XML – это совокупность всей информации об URL-адресах и подстраницах ресурса. В XML также содержится вся информация обо всех обновлениях ресурса.

Как только нам удастся создать карту сайта,
добавьте ее в поисковую систему Google. Благодаря этому роботы
будут знать, где найти данную карту сайта с ее данными. Чтобы отправить карту XML в Гугл, используйте Google Search Console. Когда карта будет обработана, вы сможете отображать статистику на
заданной странице и любую полезную информацию об ошибках.

Индексирование с PDF

Все больше и больше компаний решают размещать
на своих сайтах тексты в формате PDF. Если текст находится в
этом формате, Google может обработать изображения для извлечения
текста.

Как обрабатываются ссылки в файлах PDF? Ссылки в PDF обрабатываются точно так
же, как ссылки на веб-страницах. Стоит помнить, что там должны быть размещены
запрещенные для подписки ссылки. Чтобы проверить индексацию файлов PDF, введите фразу в поисковике вместе с аннотацией PDF.

Индексирование веб-сайтов с помощью онлайн-инструментов

Это базовая и очень простая форма индексации.
Это делается через несколько обратных ссылок

Есть много инструментов этого
типа, большинство из них платные или имеют ограниченную бесплатную версию.
Индексирование с помощью онлайн-инструментов важно для ссылок и страниц, к
которым у нас нет доступа. Добавив их в индексацию, Google Robot сможет свободно перемещаться по ним

Бюджет сканирования – это бюджет сканирования
вашего ресурса. В частности, краулинговый бюджет – это количество страниц,
проиндексированных Google на вашем сайте роботами
Гугл за одно посещение.

Это зависит от размера вашего ресурса и его
состояния, т. е. Ошибок, с которыми сталкивается Гугл, и, конечно же, от
количества ссылок на ваш ресурс. Роботы ежедневно индексируют миллиарды под-страниц,
поэтому каждое такое посещение загружает некоторые серверы со стороны владельца
и Google.

На краулинговый бюджет наибольшее влияние
оказывают два параметра:

• Crawl Rate Limit – ограничение скорости индексации страницы;
• Crawl Demand – частота, с которой сайт индексируется.

Crawl Rate Limit это ограничение, введенное для
предотвращения одновременного сканирования слишком большого количества страниц
в Google. Оно было разработано для обеспечения защиты
от возможной перегрузки сайта. Основная цель ограничителя состоит в том, чтобы Гугл
не отправлял слишком много запросов, которые замедлили бы скорость вашего ресурса.
Это также может зависеть от скорости веб-сайта, если она слишком медленная,
замедляется темп всего процесса. Тогда Google сможет проанализировать только некоторые из ваших подстраниц. На
ограничение скорости сканирования также влияет ограничение, установленное в Google Search Console. Владелец сайта может изменить значение лимита через панель.

Требование сканирования основано на
технических ограничениях. Если страница представляет ценность для
потенциального пользователя, робот с большей вероятностью ее посетит. Возможно,
даже если ограничение скорости сканирования не используется, ваш веб-сайт не
будет проиндексирован. На это могут повлиять два фактора:

• популярность, т. е. адреса, которые посещают
  большее количество пользователей, чаще посещаются роботами;
• актуальность – алгоритмы проверяют, насколько
  часто сайт обновляется.

Вывод

Есть много способов проиндексировать страницу
в Google и Яндекс. Самые популярные из них:

• добавление страницы в Яндекс Вебмастер;
• индексация с помощью Search Console;
• карты XML;
• индексирование файлов PDF;
• индексация веб-сайтов с помощью
  онлайн-инструментов.

Любой владелиц ресурса, если он хочет
добиться успешного развития своего ресурса, должен работать над его оптимизацией под поисковые системы. Это наиболее
верный способ сделать сайт более популярным и увеличить доход от рекламы. Для
успеха в деле оптимизации лучше всего обратится к профессионалам, которые помогут устранить все препятствия на пути популяризации
Интернет-ресурса.

Зеркала

Это абсолютно идентичные копии друг друга. Самый яркий пример – главная страница сайта отображается, как по адресу «www.какой-то_сайт.рф», так и под доменным адресом с совпадающим именем без «www».

Наиболее распространенные ошибки, связанные с неправильной настройкой зеркал:

• отсутствие указаний и директивы host в robots.txt или противоречащие друг другу указания;

• перенаправление при переезде в уже имеющейся группе зеркал;

• недоступность одного из зеркал, которая может возникнуть по различным причинам;

• различающийся между собой контент на зеркальных страницах.

Как правильно сделать настройку зеркал при осуществлении переезда сайта на новое доменное имя:

1. следует сделать сайты с полными зеркалами, не забыв при этом прописать директиву host в файле роботс.тхт;

2. не забываем про вебмастер. Если рассматривать продукт от «Яндекса», то заходим все в тот же раздел «Индексирование», затем в «Переезд сайта», оповещая заранее поисковую систему о предстоящей процедуре;

3. Устанавливаем редирект на главное зеркало.

Быстрая индексация в Яндекс

Проблемы индексации в Яндексе мучают оптимизаторов постоянно. Мы дадим 6 советов о том, как повлиять индексацию, но предоставить гарантии быстрого попадания в индекс, все же, не можем. Многое зависит от самого сайта, качества текстов, специфики. Так что, опять вспоминаем о перелинковке и внутренней оптимизации, а потом переходим к советам:

1. Обязательно добавьте сайт в Яндекс.Вебмастер

Помимо того что Яндекс будет в курсе существования Вашего сайта, Вы сможете найти там полезные функции. Например, защиту контента от воровства с помощью сервиса «Оригинальные тексты». Это, кстати, хороший способ показать Яндексу, что у Вас появился новый материал. А еще добавьте в аккаунт свою карту сайта.

2. Социальные сети

Они полезны как в Google, так и в Яндексе. Стоит отметить, что Яндекс придает им гораздо меньше значения, но лишним это точно не будет. Особенно если у Вас популярный аккаунт с большим количеством подписчиков, например, +500 в Twitter, то быстроробот Яндекса не останется в стороне.

3. RSS

Опять же плюсом к соцсетям. Все как с Google: добавляете RSS-канал, устраиваете кросспостинг в Twitter и ставите FeedBurner (это по желанию, конечно, но польза есть).

5. Распорядок

Основные сложности с индексацией возникают, когда на сайте появляется сразу много новых материалов. Если добавлять страницы с определенным интервалом, допустим, 2 статьи в неделю, то робот будет приходить как раз вовремя. Но это если Вы уже достаточно намучились с Яндексом и заслужили его уважение как полезный трастовый сайт.

6. Реклама Яндекс.Директ

Это наиболее действенный метод ускорения индексации. При добавлении на страницу рекламы от Яндекс.Директ, поисковая система должна просканировать контент и подобрать подходящее объявление. Поэтому индексация таких страниц происходит практически моментально. Но ставить объявления на каждую страницу не всегда возможно.

Индексация поисковиками

Индексация сайта в поисковиках – это проход пауком поисковых систем по Вашему ресурсу, сканирование структуры страницы (текст, изображение, видео, ссылки и т.д) и добавление его в свою базу данных. Только после этого страница попадет в выдачу, если на нее не будет наложен фильтр.

! Самый основной способ рассказать о своем сайте поисковым структурам это непосредственное добавление через формы на самых поисковиках. Как это делать читайте ниже. Такой способ подходит в основном для внесения сайта впервые, для постоянно обновляющихся страниц мало подходит, поскольку индексация проходит от одного дня до недели.

Также в нашем арсенале есть два инструмента, которые управляют индексацией в поисковых системах. Как Вы уже, наверное, догадались — это robots.txt который разрешает или запрещает индексирование всего, что имеется в нашем сайте. Вторым важным инструментом является Sitemap.xml, с помощью которого указываем навигацию сайта.

Почему не индексируется сайт?

Бывают ситуации, когда вебмастер ведет работу над SEO-оптимизацией сайта: активно наполняет его контентом, наращивает ссылки, а количество страниц в поисковой выдаче Google или «Яндекс» не увеличивается. Или что еще хуже — в поиске нет ни одного документа с сайта. С чем это связано? Самые распространенные причины:

«Яндекс» и Google не знает о вашем сайте

Если это новый ресурс, и вы только недавно открыли его для поисковых роботов, то, возможно, они просто его еще не нашли. Но эту проблему легко решить, выполнив несколько простых манипуляций:

• Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters.
• Направить поисковых роботов на страницы сайта.

В «Яндекс.Вебмастер» («Индексирование» — «Переобход страниц»):

В Google Webmasters («Проверить URL» — Добавить адрес страницы — «Запросить Индексирование»):

Нужно будет немного подождать, пока робот обойдет страницы сайта. Как правило, на это уходит 1-2 часа (хотя может затянуться на несколько дней).

Сайт или страницы закрыты от индексации в файле robots.txt

Порой вебмастера, работая над сайтом, забывают открыть его для индексации. Но это легко исправить. Добавьте следующую команду в файл:

Это означает, что ресурс открыт для всех поисковых роботов. Но не забывайте, что нужно закрыть дубли на сайте, ведь не все содержимое должно принимать участие в поиске. Поэтому уделите заполнению файла robots.txt достаточно времени.

Настройки приватности

Если сайт управляется CMS WordPress, то по умолчанию в нем выставлены настройки приватности, которые запрещают индексацию поисковыми роботами. Авторизуйтесь в админке, перейдите в «Настройки — Чтение — Видимость для поисковых систем» и снимите галочку:

Сайт закрыт от поисковых роботов в мета-тегах

Запретить индексировать содержание страниц можно и с помощью мета-тега:

Как решить проблему:

• Посмотрите, нет ли такого тега на странице.
• Удалите код или добавьте другие мета-теги follow и index.

Ошибки сканирования

Проблемы с индексацией возникают и в том случае, если робот, обращаясь к ресурсу, не может просканировать его содержимое.

Проверьте все ли в порядке:

• Авторизуйтесь в Google Webmaster.
• Откройте «Сканирование» — «Ошибки сканирования»: 

В идеале не должно быть никаких ошибок.

Сайт закрыт от роботов в .htaccess

В этом файле содержится правило 301 редиректа. Но помимо него, может быть прописана команда не индексировать сайт.

Чтобы проверить, выполните следующее:

• Найдите и откройте файл файл .htaccess на сервере.
• Проанализируйте содержимое кода.

Нестабильная работа сервера или хостинга

Выбирайте стабильный хостинг с хорошей репутацией. В противном случае, если роботы будут обращаться к сайту, он будет часто недоступен, а их попытки станут все реже. Через некоторое время они и вовсе откажутся заходить к вам на сайт.

Проблемы с индексацией AJAX/JavaScript

Поисковым роботам сложнее просканировать содержимое AJAX и JavaScript, чем HTML. Если вы допустите ошибки при оптимизации, то Google и «Яндекс» не проиндексируют определенные страницы или даже весь сайт.

Дубли контента внутри сайта

За дублирование контента поисковые системы наказывают санкциями, но это тоже одна из причин плохой индексации. К дублям может относиться одинаковый контент, открывающийся на разных страницах, мета-теги или даже страницы, если они доступны под двумя адресами (с www и без; http и https). Если не исправить проблему своевременно, то она негативно скажется на дальнейшем SEO-продвижении.

Плохая скорость загрузки

При плохой скорости загрузки ресурса, он может плохо индексироваться и потерять позиции, так как этот показатель относится к факторам ранжирования. Проверить насколько быстро загружается ваш сайт можно с помощью специального инструмента — Google Page Speed: 

Поработайте над улучшением скорости загрузки сайта, учитывая рекомендации инструмента.

Домен с баном

Случается, что вебмастер выбирает и регистрирует созвучное имя для сайта, наполняет ресурс и ждет, когда он проиндексируется, но ничего не происходит. После анализа домена, выясняется, что домен ранее использовался и находится в бане поисковых систем. 

Исправить такую ситуацию не просто. Придется написать в тех. поддержку «Яндекс», чтобы они пересмотрели ресурс или указали причину бана (если вы ее не знаете). Заниматься ли развитием сайта на этом домене — решать вам. Ориентируйтесь на то, что ответит вам техническая поддержка. Часто бывает проще начать все на новом домене.

Отсутствует sitemap

Не самая распространенная причина плохой индексации, но не стоит ее исключать. Создайте карту сайта и не забудьте добавить ее в сервисы для вебмастеров от Google и «Яндекс»: 

В «Гугл вебмастер»: 

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Методы по ускорению индексирования сайта в поисковиках

Как я уже говорил необходимо писать уникальные статьи, иначе не только не проиндексируется, но и весь сайт “упадет” в выдаче

Проверьте контент на уникальность и при необходимости перепишите.

Регулярное обновление
Как писал выше, скорость индексации уменьшается, когда увеличивается интервал опубликованных статей на сайте.

Ссылки с других ресурсов
Обменяйтесь ссылками с другим сайтом или купите на требуемую страницу ссылку с биржи ссылок, но очень важно чтобы они были с хорошо индексируемых сайтов. Лучше всего покупать такие ссылки с авторитетных блогов или сми ресурсов

Тут описана инструкция по отбору качественных доноров в биржах.

Социальные закладки
Один из способов привлечь робота на свой ресурс. Очень много есть программ которые прогоняют по сотням соц. закладок, но лучше добавить вручную в десяток самых значимых. Наиболее популярные:
memori.ru;
bobrdobr.ru;
moemesto.ru;
mister-wong.ru;
links.i.ua;
linkmarker.ru;
zakladok.net.

Социальные сети

Как Вы знаете, в последнее время ссылки из социальных сетей типа ВК, Facebook, Twitter, Google Plus, ОК и т.д. очень важны для поведенческих факторов. Следовательно, создайте себе аккаунт/группу, добавьте небольшой информационный блок и поставьте ссылку для перехода на необходимую страницу с полной версией.

Залогом успешной индексации сайта является правильное перенаправление ссылок внутри своего ресурса.

RSS трансляция

Поисковики очень хорошо индексируют RSS каталоги и опубликование анонсов ваших материалов увеличивает успешность индексации.

Ссылка в Вашем профиле на форуме

Зарегистрируйтесь на тематических форумах касательно своего проекта и пропишите ссылку на свою главную страницу в профиле, и когда будете добавлять комментарий, то автоматически подсоединится Ваша ссылка, а роботы хорошо индексируют мощные, хорошо развитые форумы. А как находить релевантные форумы и как отбирать их по качеству я расписал тут.

Сервис Вопрос-Ответ

Одно из новшеств интернета (например, ответы mail ru), наподобие форумов, где люди задают всевозможные вопросы. Не надо спамить, этого никто не любит, лучше найдите вопрос по тематике, что публикуете и дайте небольшой отрывок из своей статьи, а в качестве продолжения укажите ссылку к полной версии. Таким нехитрым способом Вы получите дополнительное количество посетителей к себе на сайт и дадите возможность роботу проиндексировать эту страницу.

Вес страницы

И последнее, но немало важное – это уменьшение веса страниц. Не нужно «напрягать» бедных роботов копаться в Вашем «мусорнике» из кодов и скриптов

Уменьшение веса приведет к ускорению продвижения робота по сайту.