У меня появилась грандиозная, на мой взгляд, идея. Ну конечно грандиозная, я ж других не рожаю )))) Уже неоднократно писали, что мы делаем сателлиты на ВордПресс’овском движке. Ставим туда граббер и они автоматом наполняются. Наибольшую часть времени у нас забирает как-раз настройка этого гребан.. замечательного граббера. Поэтому мы их не успеваем делать, и поэтому их реально лень делать – на каждый более не менее нормальный сат с хорошо подобранными лентами для парсинга полных новостей уходит не менее часа-двух.

Так вот дело в том, что делаем мы их исключительно для сапы и может быть иногда немного контекста. Но перед тем как запихнуть в сапу мы тормозим грабинг для того чтобы Яша успел запихать в индекс новые страницы. Далее иногда восстанавливаем парсинг по крону, а иногда тупо забиваем. Вот у меня на этом фоне мысля-то и родилась ;) Дабы проверить, немного поползал по нашим сатам и возможность так гадко по отношению к Яше поступать у меня подтвердилась ))

Вопрос, зачем нам постоянно подбирать новые ленты и их комбинации? Дело в том, что на некоторых сателлитах парсинг остановлен три месяца назад и они так и висят в индексе ;) (пример – твой любимый сат, Дим) Если мы сейчас скопируем настройки этих лент на новый сат, то получим совершенно другой контент. Дима, мыслю уловил? ;) В итоге на одних и тех же настройках лент мы можем делать почти автоматом саты с разным, хоть и злостно стыренным, контентом! До этого у нас некоторые сателлиты были в индексе с 20000 страниц – а зачем? Пусть лучше будет 20 сатов по 1000 страниц, чем один с 20-ю тыщами. Тем более, что в сапу пихается лишь малая доля от всего объема, а на контексте капают копейки. Да и на контексте, кстати, тоже потерь не будет, так как в итоге общий траф будет примерно таким же.

В итоге плюсы:

1. на создание одного сателлита будет уходить не два часа, а 15 минут – это основной +
2. В сапе будет больше сатов, больше морд и больше страниц 2-го и 3-го уровней
3. Сразу 20 сатов вряд ли забанятся, в то время как вероятность потерять один единственный велика
4. ну и ряд других, менее значительных плюсиков ;)

PS Учитывая, что сейчас середина ночи, то мысль кажется очень здравой и хорошей ))) Посмотрим как я на это буду смотреть с утра на свежую голову…