Хромований робот і матовий скляний диск на столі, символізують robots.txt і noindex

Robots.txt і noindex: у чому різниця та коли що використовувати

robots.txt керує обходом сайту пошуковими роботами, а noindex — появою сторінки або файла в результатах пошуку. Якщо публічну сторінку потрібно прибрати з Google, зазвичай потрібен доступний роботу noindex, а не заборона сканування. Для захисту приватних даних не підходить жоден із цих механізмів: потрібна автентифікація та належний контроль доступу.

У чому різниця між robots.txt і noindex

Сканування, або обхід, — це отримання роботом сторінки чи іншого ресурсу. Індексація — обробка інформації для її використання в пошуку. robots.txt керує першим процесом, а noindex повідомляє пошуковій системі, яка підтримує цю директиву, не включати ресурс у результати пошуку.

Пошуковик може дізнатися про адресу з посилань, навіть якщо не має дозволу завантажити її вміст. Google прямо пояснює в документації про robots.txt: заблокований для сканування URL може з’являтися у видачі, зокрема без опису сторінки. Тому «робот не сканує сторінку» не означає «адреси немає в пошуку».

Наведені нижче практичні рекомендації щодо індексації стосуються насамперед Google Search. Підтримка директив іншими пошуковиками та ботами може відрізнятися.

Механізм Що контролює Де задається Що потрібно для застосування Основне обмеження
robots.txt Обхід адрес роботами, які дотримуються правил В окремому текстовому файлі з правилами Робот має отримати й обробити файл правил Не гарантує зникнення URL із пошуку та не обмежує доступ до вмісту
Метатег noindex Індексацію HTML-сторінки У секції <head> сторінки Робот має просканувати сторінку й прочитати метатег Заборона сканування може завадити прочитати директиву
X-Robots-Tag: noindex Індексацію ресурсу, зокрема PDF У HTTP-заголовку відповіді сервера Робот має отримати відповідь ресурсу із заголовком Потрібно перевірити, що сервер віддає заголовок саме для потрібного URL

Метатег і HTTP-заголовок передають правило індексації різними способами. Для HTML-сторінки часто зручніше використати налаштування CMS — системи керування вмістом сайту. Для PDF застосовують HTTP-заголовок: HTML-метатег усередині такого файла не працюватиме як директива індексації.

Що обрати за сценарієм

  • Публічна службова сторінка не повинна з’являтися в Google. Додайте noindex і залиште її доступною для Googlebot — пошукового робота Google. Користувачі з прямим посиланням і далі зможуть її відкривати.
  • Публічний PDF не потрібен у пошуку. Налаштуйте X-Robots-Tag: noindex у відповіді цього файла. Перевірте фактичний заголовок, а не лише запис у конфігурації сервера.
  • Потрібно скоротити обхід певного розділу. Використайте robots.txt, якщо можлива поява відомих пошуковику адрес у видачі не суперечить вашій меті. Не блокуйте ресурси, потрібні для розуміння важливих сторінок.
  • Матеріали мають бачити лише авторизовані користувачі. Налаштуйте автентифікацію та перевірку прав доступу. Ані прихований пункт меню, ані Disallow, ані noindex не захищають файл від відкриття за прямою адресою.
  • Потрібно зупинити бота, який ігнорує правила. Застосовуйте серверні обмеження або інші засоби безпеки. robots.txt не є технічним блокуванням запитів.

Отже, «не показувати в Google» — завдання індексації, а «не дозволяти читати без дозволу» — завдання безпеки. Для конфіденційного документа недостатньо прибрати його з пошуку: сервер не повинен віддавати його сторонньому відвідувачу.

Як виглядають правила на практиці

Наведені фрагменти розв’язують різні завдання. Це не набір налаштувань, який потрібно застосувати одночасно до тих самих адрес.

Заборона обходу розділу

Умовний шлях /service-pages/ у цьому прикладі обрано лише для демонстрації:

User-agent: *
Disallow: /service-pages/

User-agent: * позначає загальну групу правил для роботів, до яких вона застосовується. Disallow забороняє їм сканувати зазначений шлях. Людина або бот, який ігнорує правила, усе ще може запитати сторінку: це не серверний контроль доступу.

Не використовуйте такий запис як спосіб гарантовано прибрати розділ із пошуку. Якщо на його сторінках стоїть noindex, заборона обходу може завадити Googlebot прочитати директиву.

Заборона індексації HTML-сторінки

Метатег розміщують у секції <head> потрібної сторінки:

<meta name="robots" content="noindex">

Якщо CMS або SEO-плагін уже додає метатег, вручну дублювати його не потрібно. Перевірте, чи є директива у фактичному HTML потрібної сторінки та чи може Googlebot її отримати. Назва перемикача в панелі керування сама по собі цього не доводить.

Заборона індексації PDF або іншого ресурсу

Для відповіді сервера Google підтримує такий HTTP-заголовок:

X-Robots-Tag: noindex

Це заголовок відповіді, а не рядок для вставлення в текст PDF чи в robots.txt. Спосіб налаштування залежить від сервера та інфраструктури сайту. Якщо незрозуміло, де формується відповідь файла, передайте адміністратору потрібний URL і бажане правило замість копіювання випадкової конфігурації.

Чому поєднання Disallow і noindex часто заважає

Googlebot має отримати ресурс, щоб побачити його noindex. Якщо обхід заборонено через robots.txt, робот може не прочитати ані метатег сторінки, ані заголовок її відповіді. Одночасне застосування цих правил до одного URL не є надійним способом прибрати його з пошуку.

Для публічної сторінки порядок такий: забезпечити доступ для сканування, віддати noindex, перевірити відповідь і відстежувати зміни. Не додавайте потім Disallow автоматично «для надійності»: він знову закриє доступ до директиви.

Якщо сторінка містить конфіденційні дані, не відкривайте її роботу заради обробки noindex. Спочатку закрийте несанкціонований доступ або видаліть ресурс. Вилучення результату з пошуку не замінює усунення витоку.

Коли ця різниця не має значення

Вибирати між robots.txt і noindex не потрібно, якщо жоден із них не розв’язує вашого завдання:

  • Звичайний публічний матеріал має знаходитися через Google. Не додавайте обмеження лише тому, що такий перемикач є в CMS. Відсутність заборон сама по собі не гарантує індексації, але додаткова заборона їй не допоможе.
  • Потрібно захистити приватний вміст. Визначальними є автентифікація та перевірка прав доступу, а не вибір robots-правила.
  • Бот ігнорує правила обходу. Подальше редагування robots.txt не забезпечить блокування його запитів.
  • Нова сторінка ще не з’явилася в пошуку. Спочатку перевірте стан URL і причину відсутності індексації, а не додавайте заборони.

Зокрема, статус «Виявлено — наразі не проіндексовано» не варто прирівнювати до виключення через noindex. Однаковий зовнішній результат — відсутність сторінки у видачі — може мати різні причини й потребувати різних дій.

Як перевірити налаштування без зайвого ризику

Збережіть попередній стан і визначте межі зміни

Зробіть копію robots.txt або конфігурації, яку редагуватимете. Запишіть адреси, на які має вплинути зміна, та приклади сторінок, які повинні залишитися без змін.

Редагування цих правил зазвичай не видаляє вміст із сервера, але загальне правило може закрити потрібні розділи від обходу або поширити noindex на важливі сторінки. Якщо незрозумілий масштаб дії налаштування чи немає способу перевірити результат, зупиніться й залучіть адміністратора до внесення змін.

Перевірте фактичну відповідь

  • Для метатега перевірте HTML потрібної сторінки.
  • Для X-Robots-Tag перевірте HTTP-заголовки відповіді конкретного документа або файла. Їх можна переглянути в мережевій панелі інструментів розробника браузера.
  • Для robots.txt перевірте, чи охоплює правило саме задуманий шлях і чи не забороняє сканування URL, на якому робот має прочитати noindex.
  • Окремо перевірте важливі сторінки поза цільовим розділом: обмеження не повинне поширитися на них випадково.

Звичайне відкриття сторінки у браузері нічого не доводить щодо індексації: noindex не заважає користувачу переглядати вміст.

Зіставте результат із Google Search Console

Використайте URL Inspection — інструмент перевірки конкретної адреси — для оцінки її стану та доступності для Google. Для ширшого контролю сайту стануть у пригоді способи перевірки індексації, але вони не замінюють перевірки фактичної директиви.

Після додавання noindex сторінка не зобов’язана зникнути з видачі відразу: Google має повторно просканувати ресурс і прочитати правило. Гарантованого строку вилучення документація не встановлює.

Якщо сторінку вже проскановано, але не включено до індексу без вашої заборони, перевіряйте причини статусу «Проскановано — наразі не проіндексовано». Хаотичні зміни robots.txt таку проблему не розв’язують.

Які поради варто ігнорувати

  • «Додайте Disallow — і URL гарантовано зникне з Google». Адреса може залишитися в результатах, якщо пошуковик дізнався про неї з посилань.
  • «Перелічіть приватні папки в robots.txt, щоб їх приховати». Файл правил публічний і сам розкриває зазначені шляхи. Захищайте вміст контролем доступу.
  • «Noindex зупинить сканування». Щоб прочитати директиву, робот має звернутися до ресурсу. Це не заміна правилам керування обходом.
  • «Правила однаково працюють для всіх ботів». Підтримка відрізняється, а недобросовісні боти можуть ігнорувати інструкції.

Стандарт RFC 9309 прямо застерігає, що Robots Exclusion Protocol не є механізмом авторизації. Це межа призначення протоколу, а не недолік, який можна виправити складнішим правилом.

Коли звернутися до адміністратора

Припиніть самостійні експерименти, якщо після зміни важливі сторінки почали зникати з пошуку, заголовок несподівано застосовується до всіх ресурсів або незрозуміло, який компонент формує відповідь. Збережіть поточну конфігурацію, підготуйте приклади проблемних URL і передайте їх адміністратору. За наявності перевіреної попередньої версії узгодьте повернення до неї.

Якщо йдеться про приватні дані, потрібна перевірка контролю доступу: помилкове покладання на robots.txt чи noindex залишає вміст доступним стороннім.

Підсумок: для обмеження обходу використовуйте robots.txt; для вилучення публічного ресурсу з пошуку — доступний роботу noindex; для конфіденційності — автентифікацію та контроль доступу. Вибір змінюється разом із метою, а не за принципом «чим більше заборон, тим надійніше».

Оновлено 21.11.2026

ChatGPT Perplexity Google (AI)