Login
Newsletter
Werbung

Do, 2. Februar 2017, 10:58

Software::Entwicklung

GitLab nach Totalausfall wieder erreichbar

Der Service-Provider GitLab ist knapp zwei Tage nach einem Totalausfall wieder erreichbar. Wie das Unternehmen allerdings eingestehen musste, sind etliche Projekte verloren und viele Stunden an Arbeit der eigenen Kundschaft unwiderruflich zerstört.

GitLab 8: Dashboard des Systems

gitlab.com

GitLab 8: Dashboard des Systems

GitLab ist eine Webanwendung und ein Dienst für Software-Entwicklungsprojekte. Die hinter dem Dienst stehende Software wurde 2011 als Open Source-Projekt durch Dmitri Saparoschez und Valery Sizov mithilfe von Ruby on Rails entwickelt und 2013 um eine geschlossene Enterprise Edition (EE) erweitert. Zusammen mit Partnern gründete Saparoschez 2014 die Firma GitLab B.V. mit Sitz in Utrecht. Das Startup besteht laut eigener Aussage aus über 160 Mitarbeitern und ist die Heimat für eine Vielzahl von Projekten. Wie GitHub generiert auch GitLab Einnahmen durch Zusatzdienste für zahlende Kunden.

Ein paar der Kunden dürften aber dieser Tage mehr als verärgert sein. Wie der Anbieter gestehen musste, hat das Unternehmen etliche Stunden an Arbeit und Know-How der Kunden durch einen Fehler unwiderruflich verloren. Demnach habe ein Mitarbeiter des Unternehmens bereits am Dienstag Teile der Datenbank gelöscht, von denen es offenbar keine Sicherung gibt.

Laut einer Auskunft von GitLab hat ein Techniker am Dienstagnachmittag an der Datenbank des Dienstes gearbeitet. Nachdem er seine Arbeit durch Angriffe auf den Dienst unterbrechen musste, entschloss er sich, ein leeres Verzeichnis nach einer missglückten Replikation der Datenbank zu löschen. Das fragliche Verzeichnis war allerdings weder leer noch auf dem gewünschten Cluster, sondern befand sich auf dem Hauptsystem und beinhaltete die Produktivdaten der Datenbank. Zwei Sekunden später hatte der irrtümlich abgesetzte Befehl den größten Teil der Daten gelöscht. Knapp 310 der insgesamt 315 GByte der Daten waren Geschichte. GitLab nahm daraufhin den Dienst komplett vom Netz.

Da offenbar keine funktionierenden Backups des Dienstes existieren, musste die Wiederherstellung der Datenbank anhand eines zuvor manuell erstellten Schnappschusses durchgeführt werden. Die Resultate der Wiederbelebung könnten für einen Dienstleister kaum verheerender sein. Insgesamt seien laut GitLab sechs Stunden Arbeit und Daten unwiderruflich verloren. Knapp 4600 Projekte, 74 Forks, 350 Importe, 707 Nutzernamen und zahlreiche Kommentare sind von dem Ausfall betroffen. Git-Repositorien sind allerdings nicht zerstört worden, da sie nicht in der Datenbank gespeichert wurden.

Mittlerweile ist GitLab wieder erreichbar und versucht, aus dem Vorfall entsprechende Lehren zu ziehen. So habe keine der Backup- und Wiederherstellungsmechanismen korrekt funktioniert. Wie der Auskunftsseite entnommen werden kann, waren alle Backups ungenügend. So existieren weder Benachrichtigungen bei fehlgeschlagenen Backups noch werden die Administratoren über Probleme informiert. Die Replikation der Datenbankstruktur sei fehleranfällig, schlecht dokumentiert und basiere auf einer Reihe von Skripten. Nun gelte es, die aufgetretenen Unzulänglichkeiten zu eliminieren, damit ein solcher Ausfall künftig zumindest weniger Schaden anrichten kann.

Werbung
Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung