ДЛЯ ЧЕГО НУЖЕН ROBOTS.TXT
| У людей, которые мало знакомы с Html, всегда возникает много вопросов, как работать с robots.txt. Но мало кто хочет сидеть и искать нудную информацию и рассматривать не понятные теги. Для тех кто хочет все изучить быстрее и остальное время провести на практике, я решил написать эту статью.
В начале разъясним важность этого файла. Поисковики в первую очередь обратят внимание на robots при посещении сайта, но данный файл не является обязательной его составляющей.
И у некоторых сайтов он может просто не существовать, как например сайты визитки. Но если вам хочется скрыть от индексации страницы, то без robots.txt вам не обойтись.
Первый тег.
User-agent: — после двоеточия вы можете указать название любого поискового бота или же системы, от которой хотите запретить индексацию вашего сайта. Если после двоеточия
поставить *, User-agent:*, то вы запретите индексировать ваш сайт всех поисковых роботов и поисковиков.
Второй тег.
Disallow: — после двоеточия вы можете прописать файл или папку, которую хотите закрыть от индексации. Например, Disallow:/img/ — это будет означать, то что вы запретили индексацию всех файлов или папок находящихся в папке img.
Третий тег.
Host: — важная и специфическая команда. Все знают, что сайты могут быть как с www так и без него. Для людей это один и тот же сайт, но для поисковиков может оказаться совершенно два разных ресурса. Если Яндекс увидит это, то без проблем поделит тИЦ, который есть на вашем сайте пополам. Чтобы этого не произошло, нужно после двоеточия прописать желаемый вариант своего сайта. Например, fonweb.ru. Стоит отметить, что все команды нужно прописывать до индексации сайта.
Robots.txt
Так же есть дополнения, команда allow, пример:
Disallow:/img/
Allow:/img/miniimg/
Такой код будет означать, что в запрещенной от индексации папке, будет доступна к индексации папка miniimg. Что бы всё это прописать нужно зайти на хостинг через ftp и создать одноимённый файл Robots.txt в который вставить код. Вот пример кода:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: */*/feed
Disallow: /*?
или
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: */*/feed
Disallow: /*?
Host: fonweb.ru
Sitemap: http://fonweb.ru/sitemap.xml.gz
Sitemap: http://fonweb.ru/sitemap.xml
Моё имя сайта соответственно заменяете на своё в 3 местах.
|
|
Категория: Разное | Добавил: Inwebo (16.11.2013) |
| Просмотров: 241
| Рейтинг: 0.0/0 |