Software::Business
Apache Beam und Eagle werden Toplevel-Projekte
Die Apache Software Foundation hat Beam und Eagle zu neuen Toplevel-Projekten erklärt. Während Beam eine Grundlage für parallele Datenverarbeitung schafft, ist Eagle ein Projekt zur Überwachung von großen Clustern.
Apache Software Foundation
Viele der Projekte der Apache Software Foundation befassen sich mit der Verarbeitung extremer Datenmengen, so viele, dass die jährliche Apache-Konferenz ApacheCon seit 2015 in zwei Teilkonferenzen, die »Apache: Big Data« und die »ApacheCon: Core«
aufgeteilt ist, die allerdings gemeinsam stattfinden und von der Linux Foundation organisiert werden.
Auch die beiden neuen Apache-Projekte, die nun dem Inkubator entwachsen sind und die Kriterien der Organisation erfüllen, sind dem »Big Data«-Bereich zuzuordnen. Apache Beam ist ein vereinheitlichtes Programmiermodell zum Erstellen einer parallelen Datenverarbeitungs-Pipeline. Zur Entwicklung der Programme stehen mehrere SDKs zur Verfügung, primär das für Java, andere sind in Arbeit. Die Pipeline wird dann auf einer der unterstützten Engines ausgeführt, zu denen Apache Apex, Apache Flink, Apache Spark und Google Cloud Dataflow gehören.
Beam hatte seinen Ursprung offenbar in Google Cloud Dataflow und wird heute unter anderem von Google, Paypal und Talend genutzt. Das Projekt hat inzwischen Version 0.4.0 erreicht. Weitere Informationen sowie Download-Möglichkeiten findet man auf der Projektseite.
Apache Eagle ist eine Analyselösung zur schnellen Identifikation von Sicherheits- und Geschwindigkeitsproblemen auf Datenverarbeitungsplattformen wie Apache Hadoop, Apache Spark und anderen. Sie analysiert Datenaktivitäten, Yarn-Anwendungen, JMX-Metriken, Daemon-Logs und anderes.
Eagle stammt ursprünglich von eBay, wo es zur Überwachung eines sehr großen Hadoop-Clusters benötigt wurde. Das eBay-Team übergab im Oktober 2015 das Projekt an den Apache-Inkubator. Seither erhielt es viel Aufmerksamkeit von Entwicklern und Organisationen, da es sehr flexibel einsetzbar ist und unter anderem Systeme, Dienste und den Durchsatz von Anwendungen überwachen und Servereinbrüche erkennen kann. Es ist erweiterbar, skaliert auf eine hohe Zahl von überwachten Systemen und Anwendungen und kann dynamisch angepasst werden. Das Projekt hat mittlerweile Version 0.4.0 erreicht. Weitere Informationen sowie Download-Möglichkeiten findet man auf der Projektseite.
){kind=logo}
