Veröffentlichungen
Juni 2020
So Mo Di Mi Do Fr Sa
123456
78910111213
14151617181920
21222324252627
282930 
DBApp-Suche
Erweiterte Suche

Application datasets: 20716 Version datasets: 149381
DBApp v1.06
Copyright © demon
Werbung
Programm-Informationen
Applikation:Ebot
Version(en):
  Hauptzweig0.9
Lizenz:GNU General Public License Version 3 oder neuer
Homepage:http://www.redaelli.org/matteo/blog/projects/ebot
Kategorie:Konsole
Beschreibung:
Ebot ist ein skalierbarer und verteilter Web-Crawler. Die URLs werden in einer Datenbank gespeichert, die über REST-HTTP-Abfragen oder per Software ausgelesen werden kann. Die URLs, die darauf warten, analysiert zu werden, werden in einige AMQP-Warteschlangen geschrieben. Dadurch können mehrere parallele Crawler gestartet werden, und sie können gestoppt und gestartet werden, ohne URLs zu verlieren. Es gibt eine Queue für jede URL-Tiefe. Das macht es möglich, mehr Crawler für die interessanteren URLs (mit niedriger Tiefe) zu starten.
 
Weitere Informationen
Programmiersprache:Keine Angaben
Betriebsysteme:
Zielgruppe:
 
Neue Version melden
Neue Homepage melden
Neue Beschreibung
Lizenzänderung
Kategorie-Änderung
"Weitere Informationen" ändern
Weitere Anmerkungen