Проект нацелен на создание мощного онлайн бота, способного автоматически собирать и анализировать данные из необходимых источников в режиме реального времени. Этот бот стал эффективным инструментом для одной компании, которой было необходимо еженедельно получать актуальную информацию об интернет-провайдерах в РФ. Во вложении представлен небольшой код для запуска бота.
Стек технологий: - Python - SQL - Библиотеки Python для парсинга данных: Beatiful Soup - Фреймворк для создания ботов: Selenium - Дополнительные библиотеки Python: Requests, Pandas, Airflow.
Функциональность: 1. Парсинг веб-страниц: Бот способен автоматически извлекать данные с веб-страниц по заданным критериям. 2. Автоматизация: Бот будет работать в автоматическом режиме, периодически обновляя данные и предоставляя пользователю последние обновления c помощью Airflow. 3. Хранение данных: Полученные данные сохраняются в базе данных SQL для последующего доступа и анализа.
