Здравствуйте!

Нужен парсер сайтов букмекерских контор, который будет собирать данные об играх и коэффициенты.

Требования к решению:

1. Высокая скорость работы
2. Стабильность работы

Требования по производительности парсера:
Как пример, для одного сайта букмекерской конторы нужно делать около 300-1000 запросов параллельно каждые 1-5 секунд (по 1 на каждое спортивное событие для получения полного списка коэффициентов).
Таких сайтов будет 100 и парситься они должны параллельно.
Сразу же нужно искать решение где взять столько недорогих и стабильных прокси и обеспечить работу парсера через них. Иначе никак, буки будут банить ip с которых идет много запросов круглые сутки, так что парсинг придется вести через большую пачку прокси.

Хочу сразу сообщить, что вариант с парсингом верстки не самый удачный, так как требует использования полноценного браузера для рендеринга javascript.
А так как данные нужно обновлять, как можно чаще и одновременно будет парситься около 100 источников это будет достаточно ресурсоемко.
Плюс не хочется быть привязанным к верстке, так как она меняется зачастую чаще, чем api.
Хочется более легкого, умного и лаконичного решения.

Скорее всего идеальным решением будет делать запросы к api букмекеров, эмулируя их клиентский js.

В общем нужно делать парсеры под примерно 100 букмекерских контор.

Желательно делать на Python или NodeJS (хотя я готов рассмотреть и другие варианты).

Предлагайте варианты реализации, ссылки на сайты букмекеров для теста дам в личку.

Можете сразу писать в телеграм @igor_korsakov