robots.txt на движке WordPress

На многих движках Вордпресс вебмастера забывают настроить файл robots, и блог не попадает в топ-10 поисковой выдачи, и вебмастер, который создал сайт, может просто расстроиться и забросить или удалить свой блог, который был создан несколько месяцев назад. Чтобы такого не произошло, нужно создать и правильно настроить файл robots.txt. Сам по себе этот файл необходим для того, чтобы ограничить поисковых роботов Яндекс и Гугл для просмотра некоторых страниц на сайте.

Например, у вас на сайте есть несколько разделов, которые вы бы не хотели видеть в поисковой выдаче, и которые роботам не нужны, их нужно скрыть в файле. При каждом посещении сайта боты будут проверять этот файл, и если они заметят, что в нем некоторые категории сайта запрещены к индексированию, они их просто не будут добавлять в поисковую выдачу. Это очень полезно, если у вас много дублей страниц, которые мешают нормальной индексации сайта. Лучше всего скрыть в файле «панель администрирования» (в целях безопасности) и страницы с поиском по сайту. Например, если в вашем блоге Вордпресс установлен поиск, то роботы могут переходить по результатам поиска на страницах блога, и попадание таких страниц негативно скажется на вашем сайте. Кроме того, будет образовываться большое количество ненужной информации в поисковой выдаче, что будет мешать продвижению сайта.

Если вы решите самостоятельно создавать этот файл, то определите, какие страницы вы хотите скрыть от индексации, потом изучите правила оформления файла robots.txt, причем эти правила могут отличаться для Гугла и Яндекса, после чего зайдите в панель вебмастера Гугла или Яндекса и проверьте файл, будет ли он блокировать ненужные страницы. Очень важно не пропускать момент проверки файла robots.txt на наличие ошибок и на наличие ненужных блокировок, так как вы можете по ошибке или неосторожности заблокировать и нужные страницы вашего сайта, а потом еще некоторое время будете ждать, пока страницы вновь появятся в поисковой выдаче Яндекса или Гугла.

Гарантия стабильности

Надежные партнеры и лидеры рынка. Ваш сайт в надежных руках!


ООО «Селектел»
R01
АО «ИСПсистем»
Verbox
Онлайн патент
1С-Битрикс
UMI.CMS
Site.Pro

Следуйте за нами