Ya he realizado trabajos como estos de scrapping de páginas web, para obtener información y datos de ellas: para hacer este tipo de robots, he utilizado Python, Casperjs y programación Shell. no indicas en que sistema operativo vas a trabajar pero igual lo puedo hacer para Windows, Linux o Mac OSX.
Al finalizar el proyecto se entregarán todos los códigos fuentes. y un manual de uso del mismo.