Veröffentlichungen
April 2013
So Mo Di Mi Do Fr Sa
123456
78910111213
14151617181920
21222324252627
282930 
DBApp-Suche

Application datasets: 18038 Version datasets: 118467
DBApp v1.06
Copyright © demon
Werbung
  Ebot

Ebot ist ein skalierbarer und verteilter Web-Crawler. Die URLs werden in einer Datenbank gespeichert, die über REST-HTTP-Abfragen oder per Software ausgelesen werden kann. Die URLs, die darauf warten, analysiert zu werden, werden in einige AMQP-Warteschlangen geschrieben. Dadurch können mehrere parallele Crawler gestartet werden, und sie können gestoppt und gestartet werden, ohne URLs zu verlieren. Es gibt eine Queue für jede URL-Tiefe. Das macht es möglich, mehr Crawler für die interessanteren URLs (mit niedriger Tiefe) zu starten. (non)


 

Homepage: http://www.redaelli.org/matteo/blog/projects/ebot
Rating:
Lizenz: GNU General Public License Version 3
Kategorie: Konsole

Download:
http://www.redaelli.org/matteo/blog/projects/downloads 
 

.: Hauptzweig
2010-12-30  0.9  Keine Angaben  mehr...  
 
  Angaben ändern   Neue Version melden