Планируете открыть бизнес в Интернете?

Ознакомьтесь с бесплатной книгой

Веб программирование, технологии

Файл robots.txt, как правильно настроить.

Файл robots.txt, как правильно настроить.

Файл robots.txt — текстовый файл в формате .txt, указывающий поисковым роботам, к какому содержимому у них есть доступ на сервере, а к какому нет. Как определение, robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30 января 1994 года, и который добровольно использует большинством поисковых систем.

Robots.txt, содержит важную для поисковых систем информацию, которую они проверяют, перед сканированием всех страниц сайта. Это помогает им более эффективно проводить процесс сканирования по каждому конкретному сайту. Необходимо отметить, что файл robots.txt, не является сто процентным указанием для поисковых систем, а служит лишь как рекомендательная информация.

Основные правила, которым необходимо следовать при создании и размещении файла robots txt на сервере, это:

  • Размещение в корневом каталоге сайта
  • Верное название файла – robots.txt (в нижнем регистре)
  • Отсутствие синтаксических ошибок в контенте файла

Стоит отметить, что написание файла robots.txt, не отличается в зависимости от CMS, на которой написан сайт. Будь то NespiCMS, OpenCart, Wordpress или Joomla, файл robots.txt, всегда будет написан одинаково.

Самое время, более подробно поговорить о том, что включает в себя содержимое файла robots.txt.

Содержимое robots – это директивы и указания поисковым роботам.

Например:
User-agent: *
Disallow: /control/
Host: https://www.mysite.com

В данном примере, Вы запрещаете индексацию папки /control/ на сайте (www.mysite.com) всем поисковым роботам (*).

Давайте подробнее разберем пример:

  • User-agent – название поискового робота
  • Disallow – указатель, который дает понять роботу, что именно запрещено к индексации
  • Host – основной адрес сайт (сайты на разных протоколах https и http, а также с www и без – это разные сайты для поисковых систем)

Второй пример:
User-agent: Yandex
Disallow: /myimages/
Host: www.mysite.com

Запрет индексации для поискового робота Yandex, индексации папки /myimages/ сайта www.mysite.com.

Третий пример:
User-agent: SomeBot
Disallow:
User-agent: *
Disallow: /

В данном примере, сайт разрешен к индексированию только одним ботом (SomeBot), остальным ботам индексирование запрещено.

Главное, при создании файла robots.txt, не запретить индексирование Вашего сайта всем ботам. В этом случае, позиции сайта, очень быстро просядут, и Вам придется потратить большое количество времени для их восстановления.

Оцените статью
4.5 2)
ХОТИТЕ ОТКРЫТЬ СВОЙ БИЗНЕС В ИНТЕРНЕТЕ?
Не упустите свой шанс, бесплатно получить ту информацию и те знания, которые станут для Вас ключевыми в построении успешного и эффективного бизнеса в интернете.
Введенные данные не будут использованы для спам рассылок и не будут переданы третьим лицам.
ХОТИТЕ ОТКРЫТЬ СВОЙ БИЗНЕС В ИНТЕРНЕТЕ?
Не упустите свой шанс, бесплатно получить ту информацию и те знания, которые станут для Вас ключевыми в построении успешного и эффективного бизнеса в интернете.
Другие статьи по теме
Здравствуйте, на связи Viber. И я более чем уверен, что каждый из вас, в той или иной мере, со мной знаком. Ну, и не мудрено, я малый общительный. Моя аудитория составляет 800 миллионов пользователей по всему миру. Но многие из вас даже не понимают, что я способен на большее.
05.10.2018
Дополненная реальность – это мнимая реальность. Или настоящая реальность – это дополненная реальность. В любом случае, мы вообще можем жить в матрице и ни о чем не догадываться. Странно, но почему то именно понятие «реальности» всегда притягивало к себе размышление самых больших умов этой планеты.
17.09.2018
В детстве остаются все игрушки. А вот и не правда! Сейчас масса мобильных онлайн-игр. С каждым годом фаны ждут продолжения или выхода новой игры, их выпускают так много, что можно сделать только один вывод: на мобильные игры есть спрос.
07.07.2018
Мобильные приложения – это панацея 21 века. Как люди жили без них всего 50 лет назад? Счастливо, скажите вы. Возможно, но согласитесь, что с появлением интернета все стало намного легче. Жить стало проще, а во многом нам жизнь улучшили именно мобильные приложения.
26.06.2018
Кроссбраузерность – это корректная, адаптивная верстка для правильного отображения сайта на различных устройствах (компьютер, планшет, телефон) и браузерах (Chrome, Firefox, Opera, Safari, IE и т.д.).
20.06.2018

ЗАКАЗАТЬ КОНСУЛЬТАЦИЮ

Контакты веб студии Идейное Решение

КОНТАКТЫ ВЕБ СТУДИИ ИДЕЙНОЕ РЕШЕНИЕ

НАШ АДРЕС
04136, ул. Маршала Гречка, 3, Киев, Украина
СВЯЖИТЕСЬ С НАМИ
Разработка и изготовление сайтов от веб студии Идейное Решение Веб студия Идейное Решение 12000-150000 UAH +38 (094) 925-45-29
+38 (096) 272-92-02
+38 (050) 948-32-60
+38 (044) 360-75-29
office@ideyne.com
lzalozny@gmail.com
ГРАФИК РАБОТЫ

Веб студия Идейное Решение