ЗадачаСистема должна обеспечить полный сбор данных (перечень указан ниже) с сайта-витрины в течение 1 суток.
Данные должны быть собраны в полном объеме.
Сбор данных должен производится параллельными процессами с возможностью горизонтального масштабирования за счет добавления нового числа нод в кластер.

После реализации данного парсера будут реализованы еще несколько похожих для более масштабных магазинов.

Проект для ответственных и пунктуальных людей которые всегда на связи голосом.

Условия оплаты
Первая оплата после предоставленных файлов выгрузки с глубиной в одну страницу по каждой категории товара на сайте.
Полная оплата после полностью сданной работы с переносом на нашу инфраструктуру и отладкой.
После публикации боевой версии оплата за поддержку.

Обязательные требованияДанные должны собираться со скоростью, порядка 5 млн. товаров в сутки.

Собранные данные должны быть сформированы в 4 файла в формате JSON:
- products;
- merchant;
- position;
- review.

Полученные дампы должны быть автоматически выгружаться на сервер-хранилище.

Исходники серверного приложения вместе с инструкцией по развёртке боевой и dev среды должны быть переданы на почту.