Login
Newsletter
Werbung

Do, 5. Januar 2012, 08:51

Software::Netzwerk

Big-Data: Apache Hadoop 1.0 veröffentlicht

Die Apache Software Foundation hat Hadoop, eine Plattform um große Datenmengen in verteilten Umgebungen mit tausenden von Rechnern zu verarbeiten, in der Version 1.0 veröffentlicht. Hadoop wurde ursprünglich als MapReduce-Framework von Yahoo entwickelt und besteht aus Werkzeugen, um Daten zu speichern, zu verarbeiten, zu verwalten und zu analysieren.

Apache Software Foundation

Die freie »Big Data Cloud Computing Platform« wird unter anderem von Amazon, eBay, IBM, Rackspace, Yahoo und vielen weiteren Firmen eingesetzt, die Datenverarbeitungen in der Cloud anbieten. Die Entwicklungszeit bis zur Version 1.0 betrug ca. sechs Jahre und wurde von vielen freiwilligen Entwickler von fast 150 Open-Source-Projekten und Initiativen vorangetrieben. Mittlerweile gilt Hadoop als eine der aussichtsreichsten Big-Data-Plattformen.

Apache Hadoop 1.0 gilt als wichtiger Meilenstein in der Projektentwicklung. Vor allem in Leistung und Stabilität soll Hadoop deutlich verbessert worden sein. Hadoop 1.0 basiert auf dem Code der im Oktober veröffentlichten Version 0.20.205.0. Neben verbesserten MapReduce-Algorithmen und HDFS feilten die Entwickler unter anderem an der Datenbank HBase. HBase greift schneller auf lokal gespeicherte Dateien zu und unterstützt Sync und Flush beim Loggen von Transaktionen. Es wurde die RestFUL-API Webhdfs eingeführt, mit der HDFS über HTTP angesprochen werden kann. Einzelne Knoten eines Hadoop-Clusters können sich mittels Kerberos authentifizieren. Details zu allen Neuerungen sind in den Release Notes beschrieben.

Hadoop steht unter der Apache License 2.0. Die freie Plattform zum Verarbeiten großer Datenmengen sowie alle darin enthaltenen Anwendungen werden auf mehreren Spiegelservern zum Download angeboten.

Werbung
Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung