Robots.txt, містить важливу для пошукових систем інформацію, яку вони перевіряють, перед скануванням всіх сторінок сайту. Це допомагає їм ефективніше проводити процес сканування по кожному конкретному сайту. Необхідно відзначити, що файл robots.txt, не є сто відсотковим зазначенням для пошукових систем, а служить лише як рекомендаційна інформація.
Основні правила, яких необхідно дотримуватися при створенні і розміщенні файлу robots txt на сервері, це:
- Розміщення в кореневому каталозі сайту
- Вірна назва файлу - robots.txt (в нижньому регістрі)
- Відсутність синтаксичних помилок в контенті файлу
- Варто відзначити, що написання файлу robots.txt, не відрізняється в залежності від CMS, на якій написаний сайт. Будь то NespiCMS, OpenCart, Wordpress або Joomla, файл robots.txt, завжди буде написаний однаково.
Вміст robots - це директиви і вказівки пошуковим роботам.
Наприклад:
User-agent: *
Disallow: /control/
Host: https://www.mysite.com
В даному прикладі, Ви забороняєте індексацію папки /control/ на сайті (www.mysite.com) для всіх пошукових роботів (*).
Давайте докладніше розберемо приклад:
User-agent - назва пошукового робота
Disallow - покажчик, який дає зрозуміти роботу, що саме заборонено до індексації
Host - основна адресу сайт (сайти на різних протоколах https і http, а також з www і без - це різні сайти для пошукових систем)
Другий приклад:
User-agent: Yandex
Disallow: /myimages/
Host: www.mysite.com
Заборона індексації для пошукового робота Yandex, індексації папки /myimages/ сайту www.mysite.com.
Третій приклад:
User-agent: SomeBot
Disallow:
User-agent: *
Disallow: /
В даному прикладі, сайт дозволений до індексування тільки одним ботом (SomeBot), іншим роботам індексування заборонено.
Головне, при створенні файлу robots.txt, не заборонити індексування Вашого сайту всім роботам. В цьому випадку, позиції сайту, дуже швидко просядуть, і Вам доведеться витратити велику кількість часу для їх відновлення.
