Software::Cloud
Apache Hadoop 3.0.0 veröffentlicht
Das Big-Data-Framework Hadoop ist in Version 3.0.0 erschienen. Die neue Version bringt zahlreiche Erweiterungen und Optimierungen.
ASF
Hadoop ist ein freies Framework für zuverlässige, skalierbare und verteilte Berechnungen mit sehr großen Datenmengen. In den letzten zehn Jahren erlebte Hadoop eine weite Verbreitung, was sich wiederum auch auf die Zahl der beteiligten Entwickler auswirkte.
Dennoch zogen seit der letzten Hadoop-Version mehrere Jahre ins Land. Die neue Version 3.0.0 bringt daher die Arbeit mehrerer Jahre zu den Benutzern.
Hadoop 3.0.0 ist die umfangreichste Veröffentlichung von Hadoop und bringt zahlreiche größere Änderungen. Daten auf dem Hadoop-Dateisystem HDFS werden jetzt mit Erasure Coding versehen, was den Speicherbedarf halbieren und die Datensicherheit verbessern soll. Der Zeitleisten-Dienst YARN wurde in der mitgelieferten Vorschauversion von Version 2.0 mit verbesserter Skalierbarkeit, Zuverlässsigkeit und Benutzbarkeit ausgestattet.
Neu sind auch die Ressourcentypen Disk und GPU in YARN. Damit lassen sich zusätzliche Ressourcen, die beispielsweise beim maschinellen Lernen und in Containern intensiv genutzt werden, besser nutzen. Die Bündelung von YARN- und HDFS-Teil-Clustern ermöglicht es, Hadoop transparent auf zehntausende von Rechnern zu skalieren.
Die opportunistische Ausführung von Containern soll die Nutzung der Ressourcen verbessern und den Durchsatz von kurzlebigen Containern erhöhen. Zusätzlich zu seinem traditionellen zentralen Scheduler unterstützt YARN nun auch verteiltes Scheduling von opportunistischen Container.
Neben mehr Fähigkeiten bei der Nutzung von Cloud-Speichern wie Amazon S3 (S3Guard), Microsoft Azure Data Lake und dem Aliyun Object Storage System wurde auch die Geschwindigkeit bei der Nutzung dieser Systeme erhöht. Weitere Einzelheiten nennen die Anmerkungen zur Veröffentlichung.
Hadoop 3.0.0, das während der Betaphase ausgiebig getestet wurde, steht zum Download auf der Projektseite hadoop.apache.org bereit. Es benötigt Java 8 oder neuer. Es ist eines der aktivsten Projekte der Apache Software Foundation und wird auf absehbare Zeit mit Aktualisierungen versorgt.
){kind=small}
