1. С 1 марта 2017 на форуме запущен платный закрытый раздел. Вся информация по сабжу ЗДЕСЬ

Яндекс и индексация больших сайтов.

Тема в разделе "Заработок на статейных сайтах", создана пользователем iamincognito, 16 дек 2014.

  1. iamincognito

    iamincognito Контент-генератор

    Пол:
    Мужской
    Будет много букафф, но есть интересные цЫферки по невольному эксперименту, поэтому придется потерпеть :) Предыстория была здесь.

    Вкратце чёйта было:
    1) Был сайт с большим, постоянно растущим количеством страниц (около 290 тыс).
    2) В индексе Гугла - практически всё, в индексе Яндекса было 70 тыс плюс-минус. Это количество установилось много месяцев назад и с тех пор практически не росло
    3) Для решения сугубо технической задачи был проведен небольшой рефакторинг ядра, в том числе изменена адресация страниц. Было сделано так, что со всех "старых" страниц отдавался правильный 301 редирект на "новые".
    4) После этого и гугл, и - что неожиданно - Яндекс показали резкий всплеск индексации. Конкретно Яндекс за полторы недели впихнул в индекс количество страниц, практически в 2 раза превышающее то, что влезло в индекс за больше чем год до этого. Финальная картинка выглядит так:
    [​IMG]

    Я автоматически напрягся, и был прав - практически сразу же яндекс "возбух" и отгрыз у меня половину своего трафика - с почти 5000 в сутки траф с яндекса отвалился до почти 2500 в сутки.

    Я решил ничего не предпринимать, потому что предпринять было нечего :) Технически всё было в ажуре: редиректы, заголовки сервера. В общем, я предположил, что постоянный рост проекта и неплохие поведенческие факторы должны сыграть. Оставалось только дождаться, сколько времени это займет. Правильный ответ - месяц:

    [​IMG]

    Через месяц Яндекс вернул трафик "взад", и даже наметился некий рост (спад на картинке справа - это просто неполный сегодняшний день - взят, чтобы предыдущие данные лучше видно было).

    Таким образом, можно сделать два осторожных вывода:
    1) Проблемы индексации в Яндексе по "течению болезни" похожи на насморк, который, как известно, если лечить проходит за неделю, а если не лечить - за 7 дней :) Видимо лучшая стратегия - это просто не делать резких движений. Само пройдёт.
    2) Для больших сайтов стратегия изменения адресации страниц с правильными редиректами может быть реальным трюком, который по каким-то причинам заставляет Яндекс тянуть в индекс намного больше обычного. Потом лишнее отваливается, но не так резко как приросло "новое старое".

    Эксперимент не запланированный, поэтому к циферкам и картинкам советую относиться с осторожностью. Но пища для подумать имеется. Планирую повторить эксперимент уже управляемо через пару месяцев (есть еще один пациент с похожими симптомами, но нужно подождать чтобы побольше влезло в индекс).

    З.Ы. За этот "потерянный месяц" трафик с Гугла прирос на почти тысячу уников (900 с копейками) в сутки. То есть пока яндекс делает мне нервы и экзотические картинки, гугл просто тащит :)
     
    • Нравится Нравится x 3
    • Дабллайк Дабллайк x 1
  2. Alexey

    Alexey Moderator

    Пол:
    Мужской
    ммммммммм
    наблюдаю за разными сайтами
    картина упал-вернулся с интервалом в месяц кажется явления довольно распространенное

    т.е. накладывается фильтр, который через месяц автоматически снимается

    надо понаблюдать ещё :)
     
  3. iamincognito

    iamincognito Контент-генератор

    Пол:
    Мужской
    Наблюдаю, а как же :) Основной изначально вопрос - сколько страниц останется в индексе после того, как все устаканится - пока остается без ответа.
     
  4. Alexey

    Alexey Moderator

    Пол:
    Мужской
    а есть xml карта у проекта?
     
  5. gromov

    gromov админ

    Пол:
    Мужской
    как-то на вебмастерз написал пердставитель крупного кулинарного портала (реально лидеры отрасли)
    упал траф, что делать итд итп. Мы в то время как-раз занимались сайтами ледикеш, а там 2\3 тоже были кулинарки разного размера.
    на все вопросы "что делали с проектом?" не было никакой инфы. Резкое падение трафика по обеим ПС. И падение страниц в индексе с нескольких сотен тысяч почти в ноль по обеим ПС. У представителя паника, проект забанили итд. А там сайт с каких-то бородатых 90ых годов и давно памятник, такие могут ссылками на адалт банчить - и хоть бы что (это, кстати, реальный кейс из клиентского seo в 2013 г)
    В общем, выяснилось, что они "чуть-чуть поменяли структуру сайта, за счет чего 90% внутренних страниц поменяли урлы.
    Через 3 недели проект вернул индекс и через 4 - траф.

    А самый большой проект, который мы перевозили на новый тип урлов - новостник с 1кк+ страниц.
    После переезда примерно через 1.5 месяца траф апнуло с 6-10к в сути до 15-25к.
     
    • Нравится Нравится x 2
  6. iamincognito

    iamincognito Контент-генератор

    Пол:
    Мужской
    Жаль, что в паблике подобные кейсы относительно редко всплывают. Приходится тыкаться вслепую, надеясь на здравый смысл и "ффууух, пронесло" :)

    Неа. На старте сгенерил для первой тысячи страниц, а дальше нет особенной необходимости (перелинковка вполне решает)...
     
  7. Alexey

    Alexey Moderator

    Пол:
    Мужской
    подумалось тут...
    чисто гипотеза и скорее всего перпендикулярная, но всё таки

    метрика отправляет данные Яше, Яндекс браузер тоже
    в метрике можно поставить галочку на "Запрет отправки страниц на индексацию" но по умолчанию её нет
    в браузере такой галочки нет вовсе (на сколько мне известно)

    теперь рассуждаю, как Яша абырвалг
    если сайт большой, а мощей Яше как известно совсем не хватает (geektimes.ru - 14к страниц в индексе а проекту уже 3 месяца) то приоритет на индексацию на те страницы на которых бывают посетители (по данным метрике и/или браузера)

    не знаю проект - на каком кол-ве страниц (в процентах) бывают посетители... скажем за неделю
    много ли "мёртвых" страниц, которые месяцами никто не посещает?... и на которые идут ссылки со страниц, которые никто не посещает
     
    • Нравится Нравится x 1
  8. callidus

    callidus Контент-генератор

    Пол:
    Мужской
    Был клиентский сайт на продвижении, всего около 120к доступных страниц, Яндекс скушал только 75к. Что делать? Ничего не помогало. В итоге нашелся выход (не знаю, может повезло или провидение помогло): на проиндексированных страницах создавался набор ссылок (например Корпус Cooler Master + Блок Питания inWin), которые выводились рандомом, в итоге - робот яндекса в замешательстве, откуда столько страниц, которых я не видел раньше. В итоге проиндексировал 116к и все на этом.
    Мораль сей басни такова - помог блок рандомных ссылок на непроиндексированные страницы.
     
    • Нравится Нравится x 5
  9. Duck

    Duck Контент-генератор

    Пол:
    Мужской
    Ровно это советует делать пузат на больших сайтах , так что закономерная победа :)
     
  10. callidus

    callidus Контент-генератор

    Пол:
    Мужской
    Duck, с курсом Романа Пузата не знаком, до всего дошел своими силами и путем мозговых штурмов, ибо ранее известные способы так и не привели к нужному результату.
     
  11. gnezdo

    gnezdo Активный участник

    Пол:
    Мужской
    Наблюдаю за сайтом с более 4 300 000 страниц, 2,5 млн из них закрыто в robots.txt (думаю может открыть..). И за 5 лет видна настойчивая тенденция по уменьшению бесполезных страниц в индексе яндекса: два года назад было в индексе около 2 млн, сейчас болтается между 400 - 600 тыс (+-200 тыс при апдейтах). Выкидываются прежде всего страницы, которые вообще не посещались, т.к. уменьшение объема особо не сказывается на посещаемости (6-10к в зависимости от времени года)
    Все страницы между собой очень хорошо (даже слишком) перелинкованы (не рандомно, а по смыслу)

    P.S. А вот гугл довольно живо все в клоаку отправил
     
    • Нравится Нравится x 4
  12. Classico

    Classico Активный участник

    Пол:
    Мужской
    фраза года:D
     
    • Нравится Нравится x 2
  13. press alt+f4

    press alt+f4 Активный участник

    Пол:
    Мужской
    А что за другой/новый тип ссылок имеется в виду? ЧПУ, или структурно?
    У меня тоже кейс один был. На большом контентном сайте обновили движок, по сути новый сайт запустили, мигом всплеск посещалки по всем поисковикам (про индекс не говорю, там понятно, глобальная перестройка), но спустя 1-2 месяца траф успокоился, и примерно через 3-4 месяца сравнялся с прежним состоянием.
    Возможно всплеск и был что называется всплеск - волны разошлись вода успокоилась, а может в новом двиге что-то не так поиску понравилось. Там, например, появился аякс вывод материалов в категориях, который не очень по вкусу ботам. Кстати, кто как справляется с аяксовыми списками, по типу "Еще пачку материалов покажите"?
     
  14. Жандос

    Жандос Активный участник

    Пол:
    Мужской
    Вот на моем сайте та же проблемка, только в небольших размерах.
    Сайт http://bai.kz/ в Google 7к (и это не все) в Яндексе 360.
    Иногда в Google основная страница подменяется второсортными.
    Возможно это из за шаблонного контента, возможно из за структуры сайта.
     
  15. Duck

    Duck Контент-генератор

    Пол:
    Мужской
    Notice: Undefined variable: r in /var/www/bai/protected/modules/kredity/views/default/credit.php on line 627
    это вместо курса юаня в сайдбаре )
     
  16. Жандос

    Жандос Активный участник

    Пол:
    Мужской
    а это где? по какой ссылке?
     
  17. Alexey

    Alexey Moderator

    Пол:
    Мужской
    [​IMG]
     
  18. Жандос

    Жандос Активный участник

    Пол:
    Мужской
    Странно.
    п/с. да все верно, эти странички появились в связи с неправильной генерацией. то есть стр. генерились по регионам даже если там нет отделения, исправляем. на пока добавили тэг meta name="robots" content="noindex, nofollow" /> ждем пока выкинет.
     
  19. Жандос

    Жандос Активный участник

    Пол:
    Мужской
    Но проблема даже не в этом.
    Ссылок на разделы с присвоенным регионам на сайте как бы нет. Пользователь их видет, но поисковый робот не видет.
    Думали решить проблему с помошью фалйла sitemap. Если Google почти все проиндексировал, то Яндекс не торопится.
    Возможно стоит добавить рандомный блок с ссылками на регионы.
     
  20. svift

    svift Контент-генератор

    Пол:
    Мужской
    очень похоже на какой-то фильтр типа АГСа

    И зачем редирект с морды???на http://bai.kz/kredity/
     
    • Нравится Нравится x 1