Veröffentlichungen
August 2014
So Mo Di Mi Do Fr Sa
    12
3456789
10111213141516
17181920212223
24252627282930
31 
DBApp-Suche

Application datasets: 19191 Version datasets: 129120
DBApp v1.06
Copyright © demon
Werbung
  Ebot

Ebot ist ein skalierbarer und verteilter Web-Crawler. Die URLs werden in einer Datenbank gespeichert, die über REST-HTTP-Abfragen oder per Software ausgelesen werden kann. Die URLs, die darauf warten, analysiert zu werden, werden in einige AMQP-Warteschlangen geschrieben. Dadurch können mehrere parallele Crawler gestartet werden, und sie können gestoppt und gestartet werden, ohne URLs zu verlieren. Es gibt eine Queue für jede URL-Tiefe. Das macht es möglich, mehr Crawler für die interessanteren URLs (mit niedriger Tiefe) zu starten. (non)


 

Homepage: http://www.redaelli.org/matteo/blog/projects/ebot
Rating:
Lizenz: GNU General Public License Version 3 oder neuer
Kategorie: Konsole

Download:
http://www.redaelli.org/matteo/blog/projects/downloads 
 

.: Hauptzweig
2010-12-30  0.9  Keine Angaben  mehr...  
 
  Angaben ändern   Neue Version melden