Многопоточный ассинхронный WEB-сканер с функциями парсинга

40 000 руб. за проект • наличный расчёт, безналичный расчёт, электронные деньги
25 мая 2018, 12:56 • 7 откликов • 133 просмотра

Требуется написание многопоточного сканера web-сайтов на python

Основные характеристики сканера:
- работа с большим количеством URL
- работа с SOCKS5 proxy
- сохранение результатов в БД
- формирование большого количества свойств у результатирующего обьекта
- поиск и выборка по многочисленным параметрам
- работа по расписанию
- поиск совпадений с ресурсами в БД


Требования к стеку и разработчику:
- python 3
- asyncio,aiohttp
- написание микросервисных приложений и понимание работы микросервисной архитектуры
- понимание работы TCP протокола на 4 уровне OSI
- настройка сетевой подсистемы linux для работы с большим количеством сетевых соединений
- работа с БД по хранению, поиску и индексации больших обьемов данных (от 100Gb)


Оплата по результатам собеседования, от 40 000 рублей