Полезное в сети: Если вы имеете свой бизнес, ну к примеру развлекательный, то контрольные браслеты Соликамск это то, что внесёт некую изюминку, сделает ваше дело современнее. Тем более их изготовят и привезут вам в один день!

Здравствуйте!
Данный пост посвящён файлу robots.txt и его «нужности» для блогов на WordPress.
robots.txt – это текстовый файл, для частичного управления индексацией вашего сайта поисковыми роботами. Он нужен для того, чтобы скрыть от поисковиков некоторые разделы сайта. Нужен ли он? Нужен обязательно! Запрещая индексировать определенные разделы и страницы сайта, вы во-первых, облегчаете работу поисковым роботам, что улучшает индексацию вашего ресурса, а во-вторых, обезапаситесь от некоторых ошибок, возникающих при индексации.

Общий вид файла robots.txt:

User-agent: *
Disallow:
где  User-agent – имя поискового робота, а Disallow – раздел сайта, который вы хотите скрыть от робота.

Для всех разделов:

User-agent: *
Disallow:
Disallow:
……..
Disallow:

И так приступаем к созданию:

1)Создаем текстовый документ с именем robots.txt (Robots.txt уже неправильно)
2)Редактируем файл: User-agent оставляем как есть, то есть User-agent: *, а в Disallow прописываем директории, которые вы хотите скрыть, например Disallow: /wp-admin.
3)Заливаем файл в корневой каталог сайта, так, чтобы он был доступен по адресу http://ваш сайт/robots.txt

Вот и всё, что нужно. Вам останется ввести свои разделы, которые вы захотите скрыть. Мой файл robots.txt вы можете посмотреть по ссылке http://immaker.net/robots.txt.
Примечание: если у вас возникли проблемы с заливкой файла, воспользуйтесь плагином irobotstxt-seo.

Также для лучшей индексацией (конкретно Googl’ом) нужно создать карту сайта – файл Sitemap.xml.
Sitemap.xml — это XML-файл с информацией для поисковых систем (таких как Google, Yahoo, Ask.com, MSN, Яндекс) о страницах веб-сайта, которые подлежат индексации. Sitemap может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.
Для создания sitemap.xml рекомендую воспользоваться плагином google-sitemap-generator. Он имеет множество понятных настроек, а также прост в использовании.