Login
Newsletter

Thema: Welches Kompressionsformat nutzen Sie bevorzugt?

5 Kommentar(e) || Alle anzeigen ||  RSS || Kommentieren
Kommentare von Lesern spiegeln nicht unbedingt die Meinung der Redaktion wider.
0
Von klopskind am Di, 12. November 2019 um 10:28 #

zur Komplexität:
Wie stellen Sie sich weniger komplexe Lösungen vor? Wie sagt man im englischsprachigen Raum so gern... "You can't have your cake and eat it too."

zur Plattform(un)abhängigkeit:
a) Zunächst sei gesagt, dass ich aus Ihrem Eingangskommentar die Anforderung der Plattformunabhängigkeit nicht herauslesen konnte. Ich lese da sogar eher das Gegenteil heraus. Zudem sind wir hier auf "Pro-Linux"...

b) Was verstehen Sie unter "plattformunabhängig" genauer? Reicht Ihnen eine Unterstützung gepflegter Versionen von Linux, BSD, macOS oder Windows aus?
Falls ja, kann ich Ihren Einwand der Plattformabhängigkeit in Punkt 2 nicht teilen: Borg und restic laufen auf diesen Plattformen. rdiff-backup auch, aber die Unterstützung für Windows ist laut Internetpräsenz nur wenig getestet worden. Duplicati läuft auf diesen Plattformen, allerdings ist keine explizite Unterstützung für BSD genannt. Da es aber auf C#, sprich Mono, basiert, wird es zumindest auch unter FreeBSD lauffähig sein.

zu 4)
Neben der ZFS-Referenz Solaris stehen inzwischen Ports verschiedener Qualität von ZFS auf die Plattformen illumos, FreeBSD, OSX, Linux, Windows und NetBSD zur Verfügung (die Ports für Windows und NetBSD sind noch experimentell). Soviel zur Plattform(un)abhängigkeit.

Einen anderen Teil Ihres Einwands kann ich nicht nachvollziehen. Das Problem der Deduplikation wird auf der Blockebene des Dateisystems und entsprechender Snapshots gelöst. Die Snapshots können Sie beliebig verpacken, z.B. mit tar, cpio, pax oder zip (ggf. ohne Kompression, d.h. Kompressionsstufe 0). Das Archivformat kann generisch sein, es muss weder Deduplikation noch Dateiattribute etc. kennen. Es wäre sinnvoll, aber nicht notwendig, wenn es ein nachträgliches Anhängen von Dateien unterstützen würde.
Danach hätten Sie eine einzelne Datei, die die Dateisystemzustände in deduplizierter Form enthält.
Eine geeignete Kompression können Sie hinterher durchführen oder, vermutlich besser, bereits vorher auf Dateisystemebene (schnellere Sicherung & Widerherstellung).

Das Gesamtproblem wird also mittels zwei bzw. drei strikt getrennter Schichten gelöst (im Fall von btrfs oder ZFS verbindet die Dateisystemebene die Schicht der Blockdeduplikation mit der Schicht der Schanppschüsse, siehe Lösungen à la LVM; ggf. kommt noch die Schicht der transparenten Verschlüsselung hinzu). Das ist doch prima, oder nicht?

  • 0
    Von Ghul am Mi, 13. November 2019 um 00:58 #

    Übliche Paketformate wie zip und Co sind recht einfach zu handhaben.
    In dieser Richtung stelle ich mir das vor. Das es das nicht gibt, ist bedauerlich, aber ist halt wohl so. Deswegen wähle ich aber keine komplexe Lösung, die dann nur zu noch mehr Problemen führen. Dann ist es besser, die Leute laden sich die recht ähnlichen ISOs beide runter. Das Verursacht zwar mehr Traffic und sorgt für längere Downloads, aber dann ist das halt so, bis es mal ein entsprechendes Packprogramm gibt, dass auch das abdeckt.


    a) Als Linuxer ist man für Offenheit und denkt auch an andere Plattformen.
    Wären wir unter Windows auf einer Pro-Windows Seite ja, dann würde man daraus herauslesen, dass man sich um andere Systeme nicht kümmert.

    b) windows, mac und linux wären Pflicht. Möglicherweise auch FreeBSD.
    Haiku hat eine zu geringe Vebreitung um das derzeit ernsthaft in Betracht zu ziehen.

    4) Die Installation von zfs Support unter Windows ist für Ottonormalbürger viel zu kompliziert.
    Mit zwei Mausklicks muss er zum Ziel kommen. Entpacken, starten, fertig.

    Zur Deduplikation
    Es ist nicht ein System das gleichzeitig läuft, sondern zwei.
    Daher 2 Images, die sind nur leicht verscheiden.
    Mit Snapshots wird das ein gemurkse, da es bedeutet:
    1. Basissystem installieren
    2. Anpassung für System A vornehmen
    3. Snapshot erstellen.
    4. Anpassungen rückgängig machen und für System B anpassen.
    5. System sichern.

    Der Nutzer müsste jetzt:
    1. Datei downloaden
    2. Datei duplizierem
    3. System B starten und einmal via Snapshot zu System A zurück, das ist nun System A.
    4. zweite Datei starten und als System B nutzen.

    Viel zu umständlich und für Joe zu kompliziert.

    • 0
      Von klopskind am Mi, 13. November 2019 um 08:52 #

      zur Komplexität:
      Ihre Beschreibungen sind nicht besonders genau. Meine Argumentation läuft darauf hinaus, dass ich glaube, dass es keine Lösung gibt, die viel weniger komplex sein würde - vorausgesetzt, die IT-Landschaft ändert sich hier nicht bahnbrechend.
      Bedauerlich finde ich das nicht. Die Lösungsmöglichkeiten sind da, man müsste Sie lediglich automatisieren...

      Dann ist es besser, die Leute laden sich die recht ähnlichen ISOs beide runter.
      Und an diesem Punkt verstehe ich Ihren eigentlichen Anwendungsfall nicht mehr. So schrieben Sie eingangs doch noch:
      [Titel: ]Welches Kompressionsformat beherrscht den Deduplikation auf DiskImage Ebene

      Wenn ich zwei geringfügig abweichende Diskimages von bspw. einem Linuxsystem habe und beide Diskimages in eine Datei komprimiere, welches Kompressionsformat erkennt dann, dass innerhalb beider Diskimages viele Dateien doppelt vorkommen?

      zur Plattform(un)abhängigkeit:
      a) Naja, Menschen sind verschieden. Ich finde diesen Sachverhalt nicht so offensichtlich, wie Sie. Auch der Vergleich ist irgendwie unangebracht. Sie setzen hier eine gewisse Elitismus innerhalb der Linux-Community voraus, die in gewisser Form sicherlich existiert, die ich aber nicht gutheißen kann.

      Sagen wir einfach, dass hier ein Problem auf Kommunikationsebene vorliegt. Der Absender hat missverständlich geschrieben und der Empfänger hat "fehlinterpretiert", auch wenn ich dieses Wort nicht gerne benutze, weil nur die subjektiv wahrscheinlichste Interpretation des Empfängers nicht mit der Aussageintention des Absenders übereinspricht. Beim Ballsport ist auch der Passgeber für den Erfolg des Passes hauptverantwortlich...

      b) Na dann kämen ja ein paar der genannten Optionen unter Punkt 2 in Frage. Nix da "plattformabhängig".

      zu 4) Ja, da gebe ich Ihnen recht. Allerdings wusste ich zum Zeitpunkt des Verfassens meines Vorschlags auch nicht, dass überhaupt eine Unterstützung anderer Plattformen als Linux gewünscht war - zu Recht, wie ich finde.

      zur Deduplikation:

      Es ist nicht ein System das gleichzeitig läuft, sondern zwei.
      Ich verweise nochmals auf Ihren Eingangskommentar (Satz 1). Dort steht (Hervorhebungen gehören mir):
      Wenn ich zwei geringfügig abweichende Diskimages von bspw. einem Linuxsystem habe [...]
      Ändern Sie hier nicht stillschweigend die Prämisse bzw. den Anwendungsfall? Wie passt das zusammen?
      Mit Snapshots wird das ein gemurkse, da es bedeutet: [...]
      Das ist kaum verwunderlich, denn Sie betrachten hier Voraussetzungen, die von den ursprünglichen modifiziert wurden. Für diesen Fall wären andere Lösungen sinnvoller. Da wäre bspw. ein System- & Abbildgenerierung, Deploymentwerkzeuge und ggf. ein separates verteiltes Konfigurationsverwaltungssystem.
      Dabei möchte ich es aber belassen, denn das wäre ein ganz anderes Thema.

      Der Nutzer müsste jetzt:
      1. Datei downloaden
      2. Datei duplizierem
      3. System B starten und einmal via Snapshot zu System A zurück, das ist nun System A.
      4. zweite Datei starten und als System B nutzen.
      Wieso downloaden? Woher? Wohin? Wieso duplizieren? Warum das alles? Warum so kompliziert? Wofür? Ich glaube wir reden aneinander vorbei. Sind Sie noch in dem ursprünglichen Anwendungsfall "von bspw. einem Linuxsystem"?

      So ginge das: 1. ggf. Archiv entpacken. 2. Die Dateisystemabbilder werden korrekt eingehangen. 3. Der zu verwende Snapshot/Zustand wird gewählt. 4. Starten. 5. Profit.
      Wie soll es noch einfacher gehen? Schwebt Ihnen eine einknöpfige Bedienung à la iPhone vor?

      Viel zu umständlich und für Joe zu kompliziert.
      Hilfsbereit hatte ich Ihnen gutgemeinte Vorschläge zur Beantwortung Ihrer ursprünglichen Frage abgegeben. Ich bezweifle stark, dass es wesentlich einfachere Lösungen gäbe. Was fehlt, ist lediglich die Automatisierung/Integration.

      Außerdem schrieben Sie eingangs "Wenn ich [...]", d.h. es ging nie um "Joe". Oder sind Sie "Joe" und reden von sich in der dritten Person. Das wäre irgendwie ein wenig schräg.

Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten