Login
Newsletter
Werbung

Do, 17. Oktober 2013, 10:47

Software::Business

Big-Data-Framework Apache Hadoop 2.2 mit YARN veröffentlicht

Das jetzt erschienene Hadoop 2.2 ist die erste stabile Veröffentlichung des 2.x-Zyklus des Big-Data-Framework, das unter dem Schirm der Apache-Software-Foundation (ASF) entwickelt wird.

ASF

Die neue Version des in Java geschriebenen Frameworks trägt der Tatsache Rechnung, dass sich die Anforderungen an die Verarbeitung von Big-Data seit der Entstehung von Hadoop stark verändert haben. Unternehmen wie Facebook, Twitter, AOL, IBM, Imageshack und Yahoo, die alle auf Hadoop setzen, erwarten Flexibilität und Hochverfügbarkeit bei der Analyse großer Datenmengen in ihren Computer-Clustern.

Herausragendstes Merkmal von Hadoop 2 ist die neue Architektur YARN (Yet Another Resource Negotiator), die die Datenverarbeitung von der Datenhaltung trennt. YARN ist auch nicht mehr auf Googles MapReduce-Algorithmus angewiesen, sondern erlaubt auch andere Ansätze.

Neu sind auch verschiedene Namensräume, die es erlauben, etwa ein Testsystem neben einem System mit Produktivdaten auf der gleichen Instanz des Hadoop Distributed File System (HDFS) laufen zu lassen. Schon länger unterstützt Hadoop HDFS-Federation. Damit lassen sich mehrere Namensknoten für den ausfallsicheren Betrieb des Hadoop File System kombinieren.

Hadoop 2 beherrscht nun Snapshots, um einzelne Verzeichnisse oder ganze Verzeichnisbäume als Read-Only-Kopie zu sichern. Zudem wurde der Zugriff auf Daten im HDFS per NFSv3 realisiert, wodurch Hadoop als Teil des Nutzer-Dateisystems agieren kann. Ferner ist Hadoop jetzt auch unter Microsoft Windows lauffähig. Hortonworks bietet bereits eine Implementation für Windows Server an.

Die Entwickler legten Wert auf Abwärtskompatibilität zu dem 2011 erschienenen Hadoop 1.x und damit entwickelte MapReduce-Anwendungen. Die Ankündigung zur Veröffentlichung von Apache Hadoop 2 listet weitere Neuerungen und enthält einen Verweis auf das Changelog.

Werbung
Kommentare (Insgesamt: 0 )
Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung