Генератор файлов robots.txt

Войти или зарегистрироваться

Забыли пароль?

PHP-ru.info Главная Инструменты Генератор файлов robots.txt

Панель управления SEO

На главную SEO инструменты Все инструменты для SEO Панель оптимизатора

Данный инструмент поможет Вам сгенерировать файл robots.txt для Вашего сайта.

Адрес сайта (без http://, только домен)

User-agent:
Строка User-agent определяет робота поисковой машины. (значение * - дает определение всех роботов)

Disallow:
Определяет каталог\страницу, закрытую от индексации поисковым роботом. (при указании каталога - запрещается для индексации все содержимое каталога - пример Disallow: /images - запрещает для индексации полностью каталог /images). В каждой группе строки User-agent должна быть хоть одна конструкция Disallow. Директиву Allow: понимает только Яндекс - пример: Allow: /data. Все пути к каталогам или файлам пишутся от корня сайта.

Host:
Директива Host: указывает на зеркало вашего сайта. Адрес сайта должен быть указан без протокола - пример: www.site.ru - верно, http://www.site.ru - не верно.

SiteMap:
Директива Sitemap: указывает на расположение файла карты вашего сайта. Директива указывает на отдельный XML или gz файл или на индексный SiteMap файл. Файл SiteMap может быть в форматах как в .XML, так и в .GZ (архивная копия файла SiteMap).

Вставить комментарий | Вставить пустую строку

Результат, содержимое файла robots.txt [выделить]

Генератор файлов robots.txt

Панель управления SEO

На главную PHP-ru.info | Форум | SEO инструменты