1. Если вы первый раз у нас на форуме, то начать лучше с этой темы
  2. С 1 марта 2017 на форуме запущен платный закрытый раздел. Вся информация по сабжу ЗДЕСЬ

Прошу помощи с настройкой Robota txt для Google

Тема в разделе "SEO", создана пользователем Spook003, 22 мар 2018.

Tags:
  1. Spook003

    Spook003 Новичок

    Пол:
    Мужской
    Здравствуйте.
    Надеюсь на Ваше понимание, так как я новичок в этом деле и познаю азы с самого нуля.
    Суть возникший пролемы такова.
    Имею сайт mani-invest.ru настроив robot txt и по прошествию некоторого времени стали появляться предупреждения следующего характера:
    Когда мы проверили несколько URL из вашего файла Sitemap, то обнаружили, что файл robots.txt для сайта блокирует доступ к некоторым URL. Если вы не планируете заблокировать некоторые URL, содержащиеся в файле Sitemap, воспользуйтесь нашим инструментом для анализа файла robots.txt, чтобы убедиться в том, что робот Google может перейти по отправленным вами URL. Все доступные URL будут по-прежнему отправляться

    Примеры некторых ссылок:
    1. mani-invest.ru/медвежий-клин/
    2. mani-invest.ru/indikator-obv-bychja-divergencija/
    3. mani-invest.ru/фигура-клин-точка-входа/
    Т.е. выходит, что робот блокирует медиа файлы, а как исправить ума не приложу.
    Если кто может подсказать буду признателен
    Мой Robot txt:
    User-agent: *
    Allow: */uploads
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /wp-
    Disallow: /wp/
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */rss
    Disallow: */embed
    Disallow: */wlwmanifest.xml
    Disallow: /xmlrpc.php
    Disallow: *utm=
    Disallow: *openstat=

    User-agent: GoogleBot
    Allow: */uploads
    Allow: /*/*.js
    Allow: /*/*.css
    Allow: /wp-*.png
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif
    Allow: /wp-admin/admin-ajax.php
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /wp-
    Disallow: /wp/
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */rss
    Disallow: */embed
    Disallow: */wlwmanifest.xml
    Disallow: /xmlrpc.php
    Disallow: *utm=
    Disallow: *openstat=

    User-agent: Yandex
    Allow: */uploads
    Allow: /*/*.js
    Allow: /*/*.css
    Allow: /wp-*.png
    Allow: /wp-*.jpg
    Allow: /wp-*.jpeg
    Allow: /wp-*.gif
    Allow: /wp-admin/admin-ajax.php
    Disallow: /cgi-bin
    Disallow: /?
    Disallow: /wp-
    Disallow: /wp/
    Disallow: *?s=
    Disallow: *&s=
    Disallow: /search/
    Disallow: /author/
    Disallow: /users/
    Disallow: */trackback
    Disallow: */feed
    Disallow: */rss
    Disallow: */embed
    Disallow: */wlwmanifest.xml
    Disallow: /xmlrpc.php
     
    Последнее редактирование модератором: 3 апр 2018
  2. assai

    assai Участник

    Пол:
    Мужской
    В директиве
    Disallow: /?
    Может ругаться на эти страницы: Но думаю пусть будут закрыты, там мусорные или пустые страницы
    /?attachment_id=1054
    /?elementor_library=главная

    А чтобы не ругался на медиафайлы
    Попробуй поменять на
    Allow: */uploads*
    или убери директиву везде эту(хотя могу ошибаться):
    Disallow: /wp-
     
    • Нравится Нравится x 1
  3. Spook003

    Spook003 Новичок

    Пол:
    Мужской
    Спасибо, попробую
     
  4. wisent

    wisent Новичок

    Пол:
    Мужской
    А для большего удобства, на первом этапе, пока вы не так еще хорошо разбираетесь в том, что вы закрываете от индексации в поисковых системах, можно воспользоваться сервисом от Яндекса для проверки robots. По этой ссылке https://webmaster.yandex.ru/tools/robotstxt/.
     
    • Нравится Нравится x 1