Software::Systemverwaltung
ScoutFS: Freies Dateisystem für Archivierung
Versity Software hat ScoutFS, ein Dateisystem für Archivierung, unter die GPLv2 gestellt und die Entwicklung geöffnet. Es ist das erste freie Dateisystem für Archivierung und ist für die Speicherung von extrem vielen Dateien in einem Cluster vorgesehen.
Mirko Lindner
ScoutFS ist ein Dateisystem, das von Versity Software gestartet wurde, um den Kundenwünschen nach einem Dateisystem, das bis zu einer Billion Dateien verteilt über tausende von Standardrechnern speichern kann, nachzukommen. ScoutFS ist POSIX-konform und speichert umfangreiche Metadaten zu den Dateien, die durch die verteilte Speicherung effizient gehandhabt werden.
Wie Versity jetzt mitteilte, steht ScoutFS ab sofort unter der GPLv2. Der Quellcode des Dateisystems und der zugehörigen Werkzeuge wurden auf Github publiziert und die weitere Entwicklung soll öffentlich erfolgen. Externe Beiträge sind erwünscht. Detaillierte Informationen, Mailinglisten und anderes findet man auf der Projektwebseite www.scoutfs.org.
Versity entwickelte ScoutFS nach eigenen Angaben, da es auf dem Markt kein Dateisystem gab, das die Anforderungen für den Einsatz im Produkt VSM2 erfüllen konnte, und erst recht keines unter der GPLv2. Eine der wichtigsten Eigenschaften von ScoutFS ist, dass es auf einem Cluster von Standard-Hardware unter Linux läuft. Zur Sicherung der Hochverfügbarkeit wird dabei Pacemaker eingesetzt. Das Dateisystem verwaltet einen Index von Metadaten- und Datentransaktionsnummern, was es Anwendungen ermöglicht, Dateien grob in der Reihenfolge ihrer letzten Änderung zu lesen. So kann eine Anwendung leicht alle Dateien ermitteln, die seit einer bestimmten Indexnummer geändert wurden. Wichtig ist das beispielsweise, um Daten zwischen verschiedenen Speichermedien zu verschieben. Denn in großen Archiven sind Bänder immer noch die kostengünstigste Lösung, so dass Dateien auf Bänder ausgelagert werden. Neben Festplatten und Bändern unterstützt ScoutFS auch Objekt- und Cloud-Speicher.
In ScoutFS kann jeder Knoten auf jede Datei zugreifen, wobei die Kommunikation im Cluster minimiert werden soll. Da sich Archiv-Dateisysteme nicht darauf verlassen können, dass Speicher eine fehlerfreie Datei zurückliefern, berechnet ScoutFS Prüfsummen auf der Blockebene für alle Daten und Metadaten.
Da ScoutFS erst seit zwei Jahren entwickelt wird, ist es nicht verwunderlich, dass es noch nicht die Produktionsreife erreicht hat. Versity deklariert die jetzt freigegebene Version 0.0.1 ausdrücklich als Alphaversion, die stark in Entwicklung ist. Die Grundzüge des Systems seien ausgearbeitet, vieles aber noch nicht komplett. Vieles könne sich noch ändern, »in Stein gemeißelt« sei noch nichts. Die Veröffentlichung erfolge, um der Gemeinschaft Gelegenheit zu geben, Einfluss auf das Design und die Implementation zu nehmen. Interessenten finden den Quellcode auf Github: das Dateisystem ScoutFS selbst und die scoutfs-utils, die über das Kommando scoutfs angesprochen werden. Zum Testen eignet sich momentan offenbar CentOS am besten.
){kind=small}
