1. С 1 марта 2017 на форуме запущен платный закрытый раздел. Вся информация по сабжу ЗДЕСЬ

Сайт на несколько миллионов страниц

Тема в разделе "Другие типы сайтов для заработка в интернете", создана пользователем Storm, 26 окт 2016.

  1. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    Коллеги, в рамках темы http://mfc.guru/threads/ehksperiment-1.794/ назрел вопрос:

    Какое максимальное количество страниц потянет WP, если использовать только функционал записей, меток, возможно - несколько custom fields + плагины кеширования? Вроде, 30-50к страниц должен потянуть, если посещаемость будет такой же?

    Пока обрабатываю данные для того сайта, нашел структурированную информацию, которую можно раскидать на миллион+ страниц. Я правильно понимаю, что движок для такого масштаба - лишняя нагрузка, и лучше все делать тупо генерированием html с последующей заливкой на сервер?

    Абстрактный пример, есть список блюд мира с количеством ингредиентов. Эти странички залиты на сервер, к примеру, в виде сайт/рецепты/рецепт №100500
    Для страницы - "рецепты супов с грибами" из массива данных:
    -на компе из базы высасываются все рецепты, в которых в составе есть грибы + это суп
    -создается статическая страница с гиперссылками на все рецепты супов с грибами вида сайт/супы-с-грибами/
    -эта страница заливается на сервер.
     
    Последнее редактирование: 26 окт 2016
  2. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Есть сайт с общим количеством страниц в выдаче 85k. Работает нормально при посещалке 2000 - 2500. Работает нормально.

    П.С. А что за тема? Пустите и меня посмотреть =)
     
  3. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    Попросите gromov выдать доступ в закрытый раздел, заодно и вашу тему http://mfc.guru/threads/testirovanie-kvazikataloga-razvitie-s-pelenok.783/ туда можно перенести. Так - там то же самое что и тебя - сайт на основе структурированных данных.

    Я так понимаю, что 85к страниц наполняются и изменяются не через админку? Ну и все-таки есть разница между 85к и 1 миллионом.
     
  4. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    У меня методика наполнения была через XML, даже 85 тыс грузил несколько дней, хотя и бил на части. Специфика в том, что импорт в БД становится все медленнее и медленее. Пропорционально ее росту. БД достаточно жирная получилась, что-то около 500 МБ.

    Я понимаю, что это все в сравнении познается, но переносить БД туда-сюда для меня будет уже проблематично достаточно.
     
  5. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Может быть имеет смысл такой сайт построить не на WP все-таки? Joomla, может, хотя бы? говорят, лучше справляется с объемами, хотя сам не пробовал.
     
  6. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    Я пока вообще рассматриваю вариант статики, в любом случае это пилотная версия, если нужно будет расширять/перезаписывать в случае обновления данных - будет проще перезалить файлы, чем перезалить базу.
     
  7. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    Просто если понимать, что там 30к страниц максимум и лить по 500-600 в день - то можно и на движке, а если понимать, что там точно 1кк страниц минимум - пока склоняюсь к html файлам.
     
  8. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Я вот сейчас озадачился копированием буржуйских сайтов, приобрел https://dollysites.com/, но пока времени нет затестить, как это будет все работать. Там ведь по факту тоже большой объем страниц будет, и там есть возможность хранения в БД. Вот интересно, как себя БД поведет в этом случае. Потом, когда проверю, отпишусь.
     
  9. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    Копирование и синонимайз на темную сторону силы ведут:) А что долли в БД сохраняет?

    Мне как-то более понятны сайты с добавленной ценностью (или структурирование данных и создание сайтов в пустых нишах).
     
  10. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Да, я тоже пока ни разу копии не делал, но просто попробовать меня потянуло. В основном сам формирую контент, хоть и автоматически чаще, чтоб показатель отказов был минимальный у посетителей и ПС не ругались =)
     
  11. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    А ты с WP работаешь с целью использования какого-то функционала движка (кроме вывода страниц), или просто потому что так удобно? Админка там не подвисает, с 30к записей?
     
  12. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Я использую перелинковку, seo плагины, поиск, автовывод и замена рекламы. Админка не подвисает пока.
     
  13. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Самое критичное - это реклама и поиск. Остальное можно на голом Html собрать живенько.
     
  14. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    Ну поиск я думаю заюзать яндексовский или гугловский, вроде не проблема засунуть в отдельный файл. С рекламой тоже пока не сильно заморачиваюсь, так как не знаю - насколько попрёт. С другой стороны - имея данные в html их в cms запихать несложно.
    Так что проект до 50к страниц попробую сделать на WP, а на 1кк - на html. Спасибо за развернутые ответы)
     
  15. Openixxx

    Openixxx Контент-генератор

    Пол:
    Мужской
    когда делал статичные доры на хтмл - вставлял рекламу через инклуды. отлично работало)
     
    • Нравится Нравится x 2
  16. Storm

    Storm Контент-генератор

    Пол:
    Мужской
    О, практики подтянулись) На сколько страниц делал доры?)
     
  17. Openixxx

    Openixxx Контент-генератор

    Пол:
    Мужской
    не на миллионы не делал)
    1-2к страниц на домен там было.
     
  18. instocky

    instocky Активный участник

    я так понимаю, у вас странички на сайте получатся с однотипным контентом(заголовок+ключ, картинка маленькая +1/3 текста, таблица, картинка большая + 1/3 текста, видео+1/3 текста)

    может быть лучше все-таки из базы на основе шаблона, чтобы страницы динамически генерировались
     
  19. iamincognito

    iamincognito Контент-генератор

    Пол:
    Мужской
    Какая разница?
     
  20. Alekseo

    Alekseo Активный участник

    Пол:
    Мужской
    Если только мешать, чтоб не однотипно было