Цель парсера. Сервис по аналитике зарегистрирован ли пользователь на сайте знакомтв. Будет получать фото от заказчика и показывать есть ли совпадения на сайте знакомств.


. Парсер авторизовывается в mamba.ru, знакомства. У приложения еcть API/ Далее ставит определенные фильтры которые есть (город, возраст, пол).



2. Парсеру сайт начинает показывать анкеты. Парсер с этих страниц сохраняет описание и фото, записывает это в базу.
Сохраняет 3 фото (если есть)
Сохраняет описание (описание которое найдено в анкете)
Сохраняет Имя анкеты
Сохраняет возраст
Сохраняет Город
Кроме того если будет работать несколько парсеров в одном городе то им могут выпадать одни и те же анкеты и чтобы в базе не хранить дубли при сохранении не нужно копировать фото, нужно только сохранять в базу что найден дубль такой то анкеты


3. Парсер при сохранении фото должен их ужимать




Нужна админка в которой.


Можно добавлять новых ботов и ставить им настройки по которым должны установить на фильтры анкет в mamba.ru (город, возраст, пол)


В админке есть страница где я могу посмотреть сколько парсеров запущено и их настройки. Город, возарст, пол, сколько анкет обработано за сегодня, всего.


Можно смотреть статистику какие парсеры сколько анкет обработали за сегодня. Смотреть какие ошибки выдал парсер (ошибка авторизации бота, и.т.д.)