robots.txt
Файл robots.txt
використовується для контролю над індексацією веб-сайту пошуковими системами та іншими ботами. Щоб заборонити сканування всього сайту для всіх ботів, ви можете використовувати наступний вміст для вашого файлу robots.txt
:
Це правило говорить всім ботам (User-agent: *
), що їм заборонено сканувати будь-яку частину сайту (Disallow: /
). Таким чином, цей файл robots.txt
заборонить всім ботам індексацію будь-якої сторінки на вашому веб-сайті.
Зверніть увагу, що це не гарантує абсолютну відсутність індексації, оскільки деякі боти можуть ігнорувати це правило. Більшість пошукових систем шанують файл robots.txt
, але це тільки рекомендація, а не обов'язкове виконання.
Last updated