Login
Newsletter
Werbung

Di, 27. Januar 2015, 14:35

Software::Cloud

Samza und BookKeeper werden Toplevel-Projekte von Apache

Die Apache Software Foundation hat bekannt gegeben, dass Samza und BookKeeper nun alle Kriterien der Organisation erfüllen und damit den Status von Toplevel-Projekten erhalten.

Apache Software Foundation

Samza ist ein Framework zur verteilten Verarbeitung von Datenströmen. Zu seiner Funktionalität gehören Fehlertoleranz, zustandsabhängige Verarbeitung, dauerhafte Speicherung von Nachrichten und Skalierbarkeit. Das System kann Ströme verarbeiten, die beispielsweise von Nachrichtensystemen wie Apache Kafka generiert werden. Der Einsatzzweck von Samza ist die Analyse und Reaktion auf Daten in Echtzeit. Die Fehlertoleranz, Isolation, Sicherheit und Ressourcenverwaltung werden mit Hadoop YARN, einem weiteren Apache-Projekt, durchgeführt.

Samza wurde von Entwicklern bei LinkedIn erstellt und im Juli 2013 der Apache Software Foundation (ASF) angeboten. Seit dieser Zeit wurde es im Apache-Incubator weiter entwickelt und an die Apache-Richtlinien angepasst. Dazu gehörten die Lizenzierung unter der freien Apache 2.0-Lizenz, die gemeinschaftliche, offene Entwicklung durch eine ausreichende Zahl von Entwicklern und die Nutzung der Apache-Infrastruktur. Samza ist nach Angaben von Apache bereits in vielen Unternehmen im Einsatz, für die es einen wichtigen Teil der Infrastruktur darstellt.

Ein weiteres herangereiftes Apache-Projekt ist BookKeeper. Dieses Projekt wurde bereits 2011 als Unterprojekt von Apache ZooKeeper, einem API für zuverlässige verteilte Koordination, initiiert, um auf zuverlässige Weise Ströme von Datensätzen zu loggen. Es dient als Baustein für die Konsistenz und Wiederherstellung von zuverlässigen Systemen. Es kann auch verwandt werden, um einen eigenständigen Dienst in einen hochverfügbaren replizierten Dienst zu verwandeln.

Replikation ist nach Angaben von Apache heute wichtiger denn je, denn bis zu 10% der Festplatten oder Server fallen jährlich aus, viele Dienste sollen aber ohne ungeplante Unterbrechungen laufen. Eine Möglichkeit, dies zu erreichen, ist sicherzustellen, dass alle Änderungen auf alle replizierten Server kopiert werden. Genau für diesen Zweck ist der replizierte Logging-Dienst von BookKeeper geeignet, der durch verschiedene Maßnahmen dafür sorgt, dass die Replikation zuverlässig erfolgt.

Aus diesem Grund ist BookKeeper hochverfügbar und skalierbar. Es ist bereits im produktiven Einsatz bei etlichen Unternehmen, die hochgradige Skalierung ihrer Dienste benötigen, zum Beispiel bei Yahoo.

Samza und BookKeeper sind nicht die ersten beiden neuen Toplevel-Projekte dieses Jahres. In den vorigen Wochen hatte die ASF bereits Falcon, eine Datenverarbeitungs- und verwaltungslösung für Hadoop, und Flink, eine Engine zur verteilten Datenanalyse, vorgestellt.

Werbung
Kommentare (Insgesamt: 0 )
Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung