07 февраля, 2014

Парсер Башорга и кросс-постинг в паблик вконтакте на питоне


От нечего делать написал парсер Башорга с кросс-постингом в паблик вк. Парсит медленно, где-то 30к ссылок за ночь. А всего нужно запарсить около 500к. Поэтому временно запарсил только последние записи. Хранит в MongoDB. Кросс-постит в паблик через vk_api. Задания по постингу и парсингу стартуют через APScheduler. Вдобавок использую Flask в надежде когда-нибудь приделать веб-морду и отсканировать башорг целиком. Скрипт хостится на appfog как Flask-приложение. Исходники на GitHub