Python: парсинг сайта с периодическим обновлением

9 000 руб. за проект
17 июля 2019, 23:40 • 13 откликов • 119 просмотров
Адрес сайта дам по запросу, ниже есть скриншоты.

Необходимо создать скрипт, который будет обходить сайт и выкачивать отзывы.
Повторно обходить все страницы раз в месяц.
Хранить данные можно в текстовых файлах, pickle-дампах pandas или HDFStore.
Раз в день накопленные данные необходимо выгружать в XLS-файл (формат ниже).

Пожелания:
* Работает демоном или через supervisor.
* Можно запускать только одну копию.
* Асинхронный в одном экземпляре.
* Запретить повторный запуск, если уже запущен.
* Настройка через yml-файл.
* Выкачивание в N-потоков (через конфиг).
* Использовать заголовки стандартного обозревателя.

Формат XLS-файла:
* Ссылка
* Страна
* Порт
* Бренд
* Модель
* Тип
* Online booking: да/нет
* Тип отзыва (с текстом/без текста)
* Кол-во звезд
* Доп.инфа по отзыву: заголовок отзыва, месяц и год, имя и страна пользователя, дата создания отзыва
* Текст отзыва (если нет пустое поле)

Скриншоты для примера:
* https://prnt.sc/ocp5bo
* http://prntscr.com/ocoumh
* https://prnt.sc/oggs7t

Если видите в чем-то сложность или избыточность, можно обсуждать. Предлагайте цену, срок, методы и порядок оплаты. Пишите, если есть ИП, это предпочтительно.
Отзывы
Парсер создан в срок. README оформлен понятно и достаточно.
Анатолий замечания закрыл оперативно. На возникшие вопросы ответил.
Работать было удобно. Можно обращаться.
4 года назад
R50 2566a2c9339d732ab0d4c58b5ac34c34
Фрилансер
Доволен сотрудничеством Александром! Получил интересную задачу по парсингу сайта. На все уточняющие вопросы, быстро получал ответы. Оплату получил в полном объеме и в срок. Рекомендую к сотрудничеству.
4 года назад