Планируете открыть бизнес в Интернете?

Ознакомьтесь с бесплатной книгой

Веб програмування, технології

Файл robots.txt, як правильно налаштувати.

Файл robots.txt, як правильно налаштувати.
Файл robots.txt - текстовий файл у форматі .txt, який вказує пошуковим роботам, до якого вмісту у них є доступ на сервері, а до якого немає. Як визначення, robots.txt - це стандарт винятків для роботів, який був прийнятий консорціумом W3C 30 січня 1994 року, і який добровільно використовує більшістю пошукових систем.

Robots.txt, містить важливу для пошукових систем інформацію, яку вони перевіряють, перед скануванням всіх сторінок сайту. Це допомагає їм ефективніше проводити процес сканування по кожному конкретному сайту. Необхідно відзначити, що файл robots.txt, не є сто відсотковим зазначенням для пошукових систем, а служить лише як рекомендаційна інформація.

Основні правила, яких необхідно дотримуватися при створенні і розміщенні файлу robots txt на сервері, це:
  • Розміщення в кореневому каталозі сайту
  • Вірна назва файлу - robots.txt (в нижньому регістрі)
  • Відсутність синтаксичних помилок в контенті файлу
  • Варто відзначити, що написання файлу robots.txt, не відрізняється в залежності від CMS, на якій написаний сайт. Будь то NespiCMS, OpenCart, Wordpress або Joomla, файл robots.txt, завжди буде написаний однаково.
Саме час, більш докладно поговорити про те, що включає в себе вміст файлу robots.txt.

Вміст robots - це директиви і вказівки пошуковим роботам.

Наприклад:
User-agent: *
Disallow: /control/
Host: https://www.mysite.com

В даному прикладі, Ви забороняєте індексацію папки /control/ на сайті (www.mysite.com) для всіх пошукових роботів (*).

Давайте докладніше розберемо приклад:

User-agent - назва пошукового робота
Disallow - покажчик, який дає зрозуміти роботу, що саме заборонено до індексації
Host - основна адресу сайт (сайти на різних протоколах https і http, а також з www і без - це різні сайти для пошукових систем)

Другий приклад:
User-agent: Yandex
Disallow: /myimages/
Host: www.mysite.com

Заборона індексації для пошукового робота Yandex, індексації папки /myimages/ сайту www.mysite.com.

Третій приклад:
User-agent: SomeBot
Disallow:
User-agent: *
Disallow: /

В даному прикладі, сайт дозволений до індексування тільки одним ботом (SomeBot), іншим роботам індексування заборонено.

Головне, при створенні файлу robots.txt, не заборонити індексування Вашого сайту всім роботам. В цьому випадку, позиції сайту, дуже швидко просядуть, і Вам доведеться витратити велику кількість часу для їх відновлення.
Оцініть статтю
4.5 2)
ХОЧЕТЕ ВІДКРИТИ СВІЙ БІЗНЕС В ІНТЕРНЕТІ?
Не пропустіть свій шанс, безкоштовно отримати ту інформацію і ті знання, які стануть для Вас ключовими в побудові успішного і ефективного бізнесу в інтернеті.
Інші статті в тематиці
Вітаю, на зв'язку Viber. І я більш ніж впевнений, що кожен з вас, у тій чи іншій мірі, зі мною знайом. Ну, і недивно, я малий товариський. Моя аудиторія складає 800 мільйонів користувачів по всьому світу. Але багато хто з вас навіть не розуміє, що я здатен на більше.
05.10.2018
Доповнена реальність – це уявна реальність. Або справжня реальність – це доповнена реальність. У будь-якому випадку, ми взагалі можемо жити у матриці і ні про що не здогадуватися. Дивно, але чомусь саме поняття «реальності» завжди притягувало до себе роздуми найбільших умів цієї планети.
17.09.2018
У дитинстві залишаються всі іграшки. А ось і не правда! Зараз маса мобільних онлайн-ігор. З кожним роком фани чекають продовження або виходу нової гри, їх випускають так багато, що можна зробити тільки один висновок: на мобільні ігри є попит.
07.07.2018
Мобільні додатки – це  панацея 21 століття. Як люди жили без них усього 50 років тому? Щасливо, скажите ви. Можливо, але погодьтеся, що з появою інтернету все стало набагато легше. Жити стало простіше, а багато в чому нам життя поліпшили саме мобільні додатки.
26.06.2018
Кросбраузерність - це коректна, адаптивна верстка для правильного відображення сайту на різних пристроях (комп'ютер, планшет, телефон) і браузерах (Chrome, Firefox, Opera, Safari, IE і т.д.)
20.06.2018

ЗАМОВИТИ КОНСУЛЬТАЦІЮ

Контакти веб студії Ідейне Рішення

КОНТАКТИ ВЕБ СТУДІЇ ІДЕЙНЕ РІШЕННЯ

НАША АДРЕСА
04136, вул. Маршала Гречка 3, оф. 402, м. Київ, Україна
ЗВ`ЯЖІТЬСЯ З НАМИ
Створення сайтів від Ідейного Рішення Веб студія Ідейне Рішення 12000-150000 UAH +38 (094) 925-45-29
+38 (096) 272-92-02
+38 (050) 948-32-60
+38 (044) 360-75-29
office@ideyne.com
lzalozny@gmail.com
ГРАФІК РОБОТИ

Веб студія Ідейне Рішення