Software::Netzwerk
Apache Airflow wird Toplevel-Projekt der Foundation
Die Apache Foundation hat das Workflow-Management-System Airflow aus dem Inkubator entlassen und zum Toplevel-Projekt erklärt.
Apache Software Foundation
Wie die Apache Software Foundation (ASF)in ihrem Blog
mitteilt, ist das Workflow-Management-System (WMS) Airflow nach zweieinhalb Jahren aus dem Inkubator der Foundation entlassen worden und zu einem Toplevel-Projekt aufgestiegen. Entwickelt wurde Airflow ursprünglich 2014 bei Airbnb, dem kalifornischen Gemeinschafts-Marktplatz für die Buchung und Vermietung von Unterkünften. Es wurde 2016 an die Apache Foundation übergeben und dort zur Überarbeitung im Inkubator platziert.
Airflow kommt in rund 200 Unternehmen und Organisationen zum Einsatz, darunter unter anderem Adobe, Airbnb, Etsy, Google, ING, Lyft, PayPal, Reddit, Square, Twitter und United Airlines. Es dient dort als flexibles, skalierbares Workflow-Automatisierungs- und Planungssystem für die Erstellung und Verwaltung von Big-Data-Verarbeitungspipelines mit Hunderten von Petabytes an Daten. Wie Bolke de Bruin, Vizepräsident von Apache Airflow, im Blog erläutert, sei die Software nach ihrer Einführung schnell zum Standard für Workflow-Orchestrierung geworden und habe sich bei Entwicklern und Datenwissenschaftlern gleichermaßen durchgesetzt.
Airflow, selbst in Python geschrieben, ist in der Lage, Aufgaben auszuführen, die in verschiedenen Sprachen geschrieben sind, was es ermöglicht, sich gut in gängige Architekturen und Projekte wie AWS S3, Docker und Apache Hadoop-HDFS zu integrieren, erklärte die ASF. Arbeitsabläufe in Airflow sind als Sammlungen von Aufgaben, die richtungsabhängige Abhängigkeiten aufweisen, organisiert. Sie werden als DAGs verarbeitet. DAG steht dabei für »Directed Acyclic Graph«.
Airflow verfügt über einen Scheduler, der Aufgaben nach definierten Bedingungen ausführt und über eine Benutzeroberfläche, die die Zustände der aktuell aktiven und vergangenen Aufgaben anzeigt, Diagnoseinformationen zur Aufgabenausführung anzeigt und es dem Benutzer ermöglicht, die Ausführung und den Status der Aufgaben auch manuell zu verwalten.
Der Apache Inkubator ist eine Durchgangsstation für Projekte, die zum vollwertigen Toplevel-Projekt der ASF werden möchten. Dabei stehen neben legalen und fiskalischen Aspekten vor allem die Qualität der Code-Entwicklung als auch die Bildung einer tragfähigen Gemeinschaft im Fokus.
){kind=logo}
