R50 84a01f9a47483eb0e9be7b9cf8c4ddd6
Python: от мала до велика

Работа парсера в "облаке" Scrapinghub

Добавлено 16 июл 2019 в 04:19

Парсинг сайта электронной коммерции с помощью фреймворка Scrapy.
Хотел бы продемонстрировать работу парсера в "облаке"
В видео видно, что в распоряжении парсера есть разные пауки/спайдеры/spider.
В парсере есть паук для каждой категории - продукты, подарки, косметика и т. д. - для того, что бы не парсить весь ассортимент. А так же есть паук с названием all_categories, который парсит всё.
Очень наглядно отображается процесс работы: сколько запросов выполнено, скорость, количество собранных товаров.
Результат можно выгрузить в csv, достаточно нажать 2 кнопки.
Если вас заинтересует данное предложение - обращайтесь.
Я зарегистрирую вас на этом сервисе, я разверну/настрою на нём парсер - и в вашем распоряжении будет этот инструмент 24 часа в сутки, 7 дней в неделю без необходимости иметь какой-то выделенный сервер.
2319f475b6