Парсинг 3-x сайтов интернет магазинов одежды

1 200 руб. за проект • безналичный расчёт
19 декабря 2018, 17:40 • 8 откликов • 103 просмотра
Описание задания:

Парсинг 3-х сайтов интернет магазинов одежды (международных, на английском языке).

Если результат работы будет отличным, мы сможет сотрудничать по парсингу значительно большего количества сайтов – перед нами стоит амбициозная задача отпарсить несколько сотен онлайн мазинов одежды и сайтов самих брендов.

Данные, которые нужно собрать с каждого сайта: бренд, имя товара, цена, цвет (название), цвет (ссылка к картинке, на которой изображен цвет товара), размеры, описание, полный путь каталога к данному товару, ссылки ко всем изображениям товара, доступность товара каждого цвета и размера.

Конфиг файл на Javascript. Мы уже отпарсили несколько интернет магазинов одежды, для чего создали конфиг файл с опцией выбора одного из нескольких подходов к парсингу (например, выбор опций – сайт с нумерацией страниц, с кнопкой «загрузить больше» / загрузить больше при скроллинге). Мы предоставим вам этот конфиг файл, и вы сможете использовать этот файл и модифицировать его, где необходимо, для парсинга сайтов в рамках проекта.

Так как нам нужно сопоставить каждый объект со стороннего сайта структуре нашего внутреннего каталога, мы вам предоставим структуру нашего каталога. В большинстве случаев, вам нужно будет иметь один конфиг файл для каждой ветки нашего каталога для каждого сайта. Например, для каждого сайта: один конфиг файл для женских сумок, один – для женской обуви, один для часов и т.д.

Требуемые результаты работы:

1) Результат парсинга в json формате (точный формат и пример мы предоставим в начале проекта).

2) Все конфиг файлы, используемые для парсинга (по каждой категории). Нам нужно будет их использовать в дальнейшем для регулярного парсинга этих же сайтов, чтоб проверять их на наличие новых товаров и доступность уже отпарсенных товаров

3) Перечень линков, которые вы использовали в конфиг файлах, сопоставленные нашим внутренним категориям. Формат таблицы мы предоставим.

Цена:

400р за сайт, включая преодоление защитных механизмов от парсинга на тех сайтах, где они предусмотрены. Скачивать изображения не требуется (мы вместо этого сохраняем ссылки).

Как ориентир по трудозатратам: наш нынешний программист, который написал скрипт и уже запарсил с его помощью порядка 20-ти сайтов, тратит 10-30 мин для того, чтобы модифицировать конфиг файл для нового сайта. И в дополнение к этому, он также тратит время на обход защитных механизмов и проверку корректности собранных результатов в json файле.

Сроки:

Пожалуйтса, предоставьте сроки, в течение которых вы сможете выполнить задачу.