Я сравнительно недавно являюсь пользователем вордпреса и здесь буду вставлять решение проблем, с которыми пришлось столкнуться при освоении.

Данный файл играет важную роль во взаимодействии сайта с поисковыми машинами, он регламентирует взаимоотношения сайта с ними. В нем прописываются правила индексации вашего сайта и многие другие параметры.
Правильный файл robots

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: blackship.ru
Sitemap: http://blackship.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: blackship.ru

Sitemap: http://blackship.ru/sitemap.xml