Login
Newsletter
Werbung

Fr, 11. Dezember 2009, 19:30

Software::Systemverwaltung

Verteiltes Dateisystem Ceph vor der Aufnahme in den Standard-Kernel

Nachdem Linux 2.6.32 ausnahmsweise kein neues Dateisystem enthielt, steht für Kernel 2.6.33 schon wieder ein Kandidat bereit.

Ceph ist ein hochverfügbares verteiltes Dateisystem, das problemlos bis in Petabyte-Bereiche skalieren soll.

Betreiber größerer Installationen kennen das Problem: Ein Dienst erzeugt so viel Last, dass er nicht mehr durch einen einzelnen Server erbracht werden kann, Nutzerdaten müssen aber gleichzeitig auf allen Systemen verfügbar und konsistent sein. Remote-Dateisysteme wie NFS und SMB stellen einen Single Point of Failure dar und skalieren nicht, Cluster-Dateisysteme wie OCFS2 und Lustre setzen ein gemeinsames Block-Device voraus, auf das alle Knoten - z.B. über ein teures Storage Area Network (SAN) - Zugriff haben.

Eine Weiterentwicklung der letzten Jahre stellt Object Storage dar: Der Client kommuniziert mit einem Metadata-Server (MDS), um Operationen auf Ebene von Verzeichnissen und Dateinamen (Umbenennen, Löschen etc.) durchzuführen, die eigentlichen Nutzdaten liegen auf separaten Object Storage Devices (OSD). Da ein Metadata-Server viele Object Storage Devices verwalten kann, erhöht sich potentiell der Gesamtdurchsatz, wenn die Clients auf verschiedene Objekte zugreifen. Der zentrale MDS wird allerdings zum Flaschenhals.

Das am Storage Systems Research Center der Universität von California in Santa Cruz entwickelte und auf der USENIX 2006 in Boston erstmals vorgestellte Ceph beruht auf dem Konzept der Object Storage, ist aber auf möglichst hohen Durchsatz und Fehlertoleranz ausgelegt: Sowohl die Verwaltung der Metadaten als auch die Speicherung der Objekte wird in zwei getrennten Clustern organisiert. Im gesamten Netz darf kein Single Point of Failure existeren. Aus Sicht des Clients verhält sich Ceph wie NFS oder SMB. Durch die POSIX-Kompatibilität erscheint das gemountete Dateisystem wie ein gewöhnlicher UNIX-Verzeichnisbaum. Innerhalb des Clusters werden die Metadaten ständig passend zur aktuellen Auslastung ausbalanciert, die Nutzdaten mehrfach redundant auf die verfügbaren OSDs verteilt. Werden Knoten entfernt oder hinzugefügt, stößt der Cluster sofort eine Neubalancierung an. Zu den erweiterten Funktionen gehören Snapshots (auch auf einzelne Verzeichnisse), Accounting und ein Kerberos-ähnlicher Authentifizierungs-Mechanismus.

Als Basis für die Objektspeicherung kommen derzeit sowohl Festplattenpartitionen, Datei-Images als auch existierende Dateisysteme in Frage. Sämtliche Server-Prozesse laufen im Userspace. Der bislang verfügbare FUSE-Client soll unter Linux nun durch einen kleinen Kernel-Client ersetzt und in Linux 2.6.33 aufgenommen werden. Entsprechende Anstrengungen hat Sage Weil vor einigen Tagen unternommen.

Werbung
Kommentare (Insgesamt: 19 || Alle anzeigen )
Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung