Целью является разработка парсеров веб-скрейпинга для нескольких веб-сайтов, извлечение заданных полей данных и обогащение полученной информации. Проект будет использовать Python для написания сценариев, SQLite или PostgreSQL для хранения данных, Redis для кэширования и Vue.js / Django для пользовательского интерфейса.

1. Требования к стеку технологий

Базы данных: SQLite или PostgreSQL (обсуждается с исполнителем).
Очереди и асинхронность: Redis.
Язык программирования: Python 3.9 - 3.10.
Фреймворк для интерфейса: Vue.js / Django.

2. Пользовательский агент и прокси-серверы:
Чередование пользовательских агентов.
Ротация прокси-серверов для стабильной производительности.

Обработка ошибок:
Детализировать подход к обработке ошибок.

Хранение данных:

Определить схему базы данных для SQLite или PostgreSQL.
Интерфейс (Vue.js / Django):

Разработать пользовательский интерфейс с панелью мониторинга, параметрами конфигурации, поиском, выгрузкой данных, подключением/отключением модулей и прокси.


Этапы работы:
1. Создание 1-ого парсера ( модуль) - цена 5 тыс.
2. Создание второго парсера (модуль) - цена 5 тыс.
3. Создание третьего парсера ( модуль) - цена 5 тыс.
4. Создание четвертого парсера ( модуль) - цена 5 тыс.
5. Создание интегрированной системы - 10 тыс.