Необходимо сделать кравлер исходящих ссылок с предоставленных мной сайтов (seed или сиды), с очередями и многопоточный и с возможностью выгрузить результаты прогонов.

Принцип работы: на вход даются (1...10к) сайтов-сидов, которые индексирует кравлер. Он же достаёт все внешние ссылки с этих сайтов и добавляет уже их в очередь на индексацию. Это максимальный уровень вложенности, дальше доставать ссылки и индексировать не надо.

Сохранять картинки с сайтов не надо. Стэк на ваше усмотрение. Предоставлю хостинг (DO?), прокси и любые инструменты которые потребуются.

Предпочтение исполнителям, которые уже делали нечто подобное и имеются готовые наработки и опыт, так всем нам будет проще. Если делали какой-либо парсинг больших маркетплейсов или сайтов обьявлений - проблем точно не будет с моей задачей.

ТЗ и больше подробностей вышлю по отклику, дедлайн на работающий прототип - неделя максимум.

P.S. если сработаемся, будем продолжать дальше + есть ещё схожие задачи