Оптимизация сайтов
+7 (351) 777-25-12
NEW! SEO Консультации

Поддержка сайта

Анализ интернет магазина

Продвижение сайтов

План продвижения сайта

Контакты
(351) 777-25-12info@Micukov.RU

Как создать правильный файл robots txt

Файл robots.txt и его суть

 

Как создать robots.txt и зачем он нужен? Эта статья доходчиво ответит Вам на этот вопрос и больше того, даже приведет пример.

 

Определение

Файл robots.txt – это текстовый файл, который расположен в главной директории сайта. Нужен он, чтобы поисковые системы, такие как Google, Яндекс и другие, правильно проиндексировали сайт, другими словами, не возникало проблем при индексации.

 

Суть

Сначала расскажем, как именно проходит процесс индексации сайтов. Каждая  поисковая система имеет своего поискового паука, который и производит процесс индексации. Чтобы робот наверняка нашел Ваш сайт его нужно зарегистрировать в поисковой системе, тогда он станет в очередь и через какое-то время, обычно от недели до одного месяца, робот его найдет и проиндексирует. Как именно ему индексировать, необходимо указать в robots.txt.

 

Запрет/разрешение индексации выбранных папок

Если его не заполнить, то робот проиндексирует все целиком, без запретов, что может быть опасным для безопасности сайта. Поэтому если Вы работаете на движке типа joomla или чем-то подобном, то обязательно нужно запретить сканировать папку administrator, чтобы усложнить злоумышленникам задачу взлома. На практике, нужно записать в robots.txt строку

Disallow: /administrator/

Именно эта команда запретит индексировать административную панель.

Если вы хотите сделать запрет всего сайта для индексации, чтобы он был тайным и скрытым от посторонних глаз, то нужно указать

Disallow: /

Если же наоборот, хотите чтобы наверняка все без ограничения сканировалось, то укажите  просто

Allow:

Все предельно просто, запрещаем индексировать то, что не нужно, все остальное остается открытым.

Запрещаться к индексации так же стоит дубли страниц. Особенно этим недостатком страдают бесплатные системы.

 

Запрет/разрешение индексации выбранных страниц

правильный robots txt
Что касается страниц, то все  по аналогии с папками, но указывать нужно конкретную страницу, либо файл.

К примеру, вы хотите скрыть от индексации страницу secrets.html, то нужно в файле robots.txt написать следующее:

User-agent: *
Disallow: /secrets.html

Запрет/разрешение индексации выбранным роботам

Если же хотите, чтобы только определенная поисковая система производила индексацию, то необходимо это указать. К примеру, вы желаете, чтобы только через поиск Яндекса можно было Вас найти, тогда в robots.txt  напишите

User-agent: Yandex

Disallow:

Если же наоборот хотите, чтобы роботы всех поисковых систем кроме Яндекса провели индексацию, то необходимо всем разрешить и  при этом запретить Яндексу, на практике это выглядит так:

User-agent: Yandex
Disallow: /

User-agent: *
Disallow:

Пример

Зная все вышесказанное, теперь Вы можете сами написать правильный robots.txt. Но чтобы закрепить материал наведем пример и сделаем анализ robots.txt.

User-agent: *
Disallow: /password/

Disallow: /contact.html

 

User-agent: meta
Disallow:

 

И так, вышеописанный скрипт говорит о том, что всем роботам запрещено сканировать папку password и страницу contact.html, но в туже очередь робот поисковой системы meta может индексировать все без ограничения.

 

Выводы

Файл robots.txt очень важен для раскрутки сайта, но если файл написан с ошибками, то раскрутка сайта будет безрезультативной, поэтому к его написанию нужно отнестись ответственно.

Правильное написание файла способствует раскрутке вашего сайта, его позиции в выдаче поисковой системы, а так же защищает вашу конфиденциальную информацию от ненужной огласки.

А неправильно написанный файл может сделать безрезультативной всю Вашу работу и просто напросто закрыть сайт от просмотра через поисковые системы или наоборот помочь хакерам взломать его и нанести Вам ущерб.

Поэтому лучше всего поручите написание этого файла специалистам в области SEO либо хотя бы проконсультируйтесь с ними, если не уверены в своих силах.

Анализ интернет магазина

SEO Консультации

План продвижения сайта



содержанка.


Facebook Twitter Вконтакте Google +1
Услуги
SEO Консультации
План продвижения сайта
Создание сайтов
Продвижение сайтов
Контекстная реклама
Поддержка сайта
Сайт в аренду
Материалы
Статьи
Обзоры
Аналитика
Прочее
ЧАВО
Скидки
Акции
О себе
Контакты
Семинары
Отзывы
Способы оплаты Пресса обо мне
Проекты
AddUrl
Регистр букв
Рейтинг танкистов
Изменение регистра букв
содержанка.