robots.txt
Файл robots.txt використовується для контролю над індексацією веб-сайту пошуковими системами та іншими ботами. Щоб заборонити сканування всього сайту для всіх ботів, ви можете використовувати наступний вміст для вашого файлу robots.txt:
Це правило говорить всім ботам (User-agent: *), що їм заборонено сканувати будь-яку частину сайту (Disallow: /). Таким чином, цей файл robots.txt заборонить всім ботам індексацію будь-якої сторінки на вашому веб-сайті.
Зверніть увагу, що це не гарантує абсолютну відсутність індексації, оскільки деякі боти можуть ігнорувати це правило. Більшість пошукових систем шанують файл robots.txt, але це тільки рекомендація, а не обов'язкове виконання.
Last updated