Проект загрузки данных API c помощью AirFlow-dbt-pg

Цена договорная
03 мая 2024, 23:50 • 4 отклика • 43 просмотра
Необходимо реализовать проект по загрузке и записи информации с различных API ( порядка 20 ендпоинтов), используя концепцию ELT.
Должен позволять загружать из этих источников по 100 токенам( до 100 на данный момент) - т.е ендпоинт 1 - токенов 100. Вся эта информация кладется в БД прокладку для последюущей нормализации с помощью dbt.
Входные параметры для ендпоинтов берутся из БД, формируются динамически на основе предыдущих опросов.
Ограничения:
У каждого ендпоинта свои ограничения на опросы, тайминги и иное.

+ в последующем данный проект необходимо сопровождать базово, предполагается развитие(отдельные деньги)

Возможно выполнение некоторый частей работ

Цена обсуждаема