Разработать поисковую систему для индексации сайтов.

Принцип действия:
Существует база сайтов, которая пополняется и требует индексации и переиндексации.
А так же страница типа яндекса на которой есть строка ввода для поиска.
В фоновом режиме робот должен обходить все сайты и индексировать их.
Сайты не только на русском.
Вся система крутится на линуксе.

Рассматриваю основным языком PHP.
Почему этот язык - он мне нравится, но частично можно перенести на ноду.

2 варианта сотрудничества

1. аля поисковый движок
2. поисковый движок

В варианте 1, вы делате что то типа похожее на поисковый движок, стараетесь сделать скланения слов и морфологию.
В варианте 2, вы знаете что делать, у вас есть опыт и вы готовы сделать действительно крутую вещь, как например создатель рамблера http://www.turtle.ru/db/architecture/turtle.html

Вполне возможно что я упустил уже что то готовое требующее доработки, пишите коменты.

Пишите Telegram, обсудим