Многие оптимизаторы и разработчики интернет-площадок забывают или просто не задумываются о правильной индексации. Это сказывается на рейтинге корпоративного сайта.
Не вся информация с ресурса должна попасть в индекс поискового робота. Есть несколько групп файлов, которые должны остаться без внимания поисковой системы. Рассмотрим их.
У многих специалистов раскрутка сайтов строится на использовании RSS-потоков. Новостные ленты очень полезны для посетителей площадки, но вы получаете информацию со сторонних сайтов, следовательно, RSS-потоки необходимо закрыть от индексации. В противном случае, робот отметит, что вы дублируете уже опубликованный контент. У Google такой проблемы нет, поисковик отлично справляется с RSS-лентами.
Второй важный момент касается личных данных пользователей. Социальные сети и проекты работают с двумя типами контента. Первую группу составляет ядро, то есть полезная, основная информация. Эти данные необходимы для развития интернет-площадки, привлечения новых посетителей на проект при помощи переходов из поисковых систем. Вторая группа информации – это личные профили пользователей. Они не содержат в себе полезной информации, поэтому эти данные скрывают от индексации.
Хотя оптимизация сайта с уникальным контентом сегодня считается главным правилом успешной раскрутки, на интернет-площадке все равно встречается неуникальная информация: адреса, телефоны и прочие материалы. Все страницы, которые содержат дублирующий контент, необходимо закрыть от индексации поисковым роботом. Чаще всего, это - разделы и карта сайта. Сюда относят также сортировки по региону, по тегу, по остальным параметрам. Как только вы «спрячете» десятки не нужных поисковому роботу страниц, тем самым вы упростите индексацию ресурса и оптимизируете контент (статический вес страниц не будет теряться на сайте).
Поисковому роботу не пригодятся технические элементы, которые могут находиться на страницах вашего ресурса. Закройте от индексации все скрипты аналитики и счетчики, это ускорит индексацию.
Последний момент, который нельзя оставить без внимания, - облака тегов. Начинающие блоггеры уверены в том, что их не нужно закрывать от индексации роботом. Это правильная точка зрения. Облака тегов делают индексацию ресурса более простой, хоть они и представляют собой всего лишь набор ключевых фраз.