Необходимо разработать парсер сайтов
Парсер должен выполняться парсинг информации с табличных форм с ряда сайтов
Кол-во сайтов больше 100

Техническое задание высылается на почту

Выдержка из ТЗ

1. Технические требования


1. Язык разработки Python 3.8


2. Парсер будет исполняться на сервере AWS t2.micro, при разработки необходимо учитывать его технические характеристики


3. Необходимо оценить время затрачиваемое на парсинг всех целевых сайтов. Парсинга должен выполняться не более чем за 3 часа


4. Парсинг должен производится один раз в день, в 06:00 по мск


5. При слишком продолжительном времени парсинга, по согласованию с заказчиком возможна параллельная реализация через VPN


6. Результат записывается и хранится в БД
   
   
   1. 1.6.1.СУБД PostgreSQL
   
   
   2. 1.6.2.Версия PostgreSQL 11.6
   
   
   3. 1.6.3.Структура БД определяется на этапе начала работ
   
   



7. Код парсера должен быть открыт для чтения и корректировки


8. Код парсера должен содержать подробные комментарии


9. Код должен содержать формирование подробного лога работы парсера с разными уровнями информативности