Login
Newsletter
Werbung

Thema: ArchivistaBox 2020/V mit Multimedia-Verwaltung

22 Kommentar(e) || Alle anzeigen ||  RSS || Kommentieren
Kommentare von Lesern spiegeln nicht unbedingt die Meinung der Redaktion wider.
0
Von copy am Fr, 22. Mai 2020 um 19:27 #

Für die langfristige Lesbarkeit (PDF- und Office-Dateien bleiben nicht einfach ohne Weiteres über Jahrzehnte lesbar, dazu bedürfte es die damals verwendeten Reader-Programme)
Wieso gibt es keine Pdf/A Unterstützung? Vorallem zur Langzeitarchivierung ist doch die DIN 31644 oder ISO 16363 relevant, wie sieht es damit aus?

  • 1
    Von Pfister2 am Fr, 22. Mai 2020 um 20:58 #

    Natürlich können PDF/A in allen Varianten abgelegt werden, kein Problem. Nur, PDF/A bedeutet, dass pro Datei die Schriften einzubetten sind. Dies wiederum kann dazu führen, dass eine PDF-Datei, die ca. 20 KByte hat, dann ca. 400 KByte umfasst. Demgegenüber sind Rasterkopien kleiner und über die Dauer von 30 oder noch mehr Jahren auch pragmatischer.

    Vorallem zur Langzeitarchivierung ist doch die DIN 31644 oder ISO 16363 relevant

    Zunächst, PDF/A hat keinen direkten Bezug zur DIN 31644 (ISO 16363). Die Verfahrensgrundsätze von DIN 31644 sind zweifelsohne hilfreich, sie besagen aber nicht, welche Dateiformate und Technologien zur Anwendung gelangen. Vielmehr ist es der Versuch, abstrakt zu formulieren, wie Vertrauenswürdigkeit gegenüber Daten im Kontext der Langzeitarchivierung hergestellt werden kann. Dazu gibt es Zertifizierungen (Nestor-Siegel).

    Wir haben Zertifizierungen (diese gab es durchaus) immer zusammen mit Kunden bzw. im Rahmen von Kundenprojekten durchgeführt. Im Falle der obigen DIN 31644 erfordert dies aber erhebliche Ressourcen, siehe dazu Beispiel.

    Die ArchivistaBox verwendet seit 1998 für die Archivierung quelloffene (dokumentierte) Dateistrukturen. Ferner erfüllt die ArchivistaBox ISO 9660. Diese besagt sehr konkret, welche Anforderungen an langfristig aufzubewahrende Dateien gestellt werden.

    Die dortige Limite von 4 GB pro Datei mag heutzutage etwas antiquiert erscheinen. Damit ist jedoch sichergestellt, dass Daten beliebig zwischen Betriebssystemen austauschbar sind. Im übrigen wird diese Limite von faktisch allen Herstellern beim Aufzeichnen von Video-Inhalten (gerade aus obigem Grund) noch immer verwendet.

    • 0
      Von copy am Sa, 23. Mai 2020 um 06:43 #

      Zunächst, PDF/A hat keinen direkten Bezug zur DIN 31644 (ISO 16363).
      Kann sein habe die Vorschrift auch gerade nicht vorliegen, der Beuth Verlag verlangt schon ein exorbitanter Preis. Aber die BSI TR-03125 empfiehlt u. a. das Format.

      Das IT-Grundschutzbuch (OPS.1.2.2.A9) schreibt dazu:

      Für die Archivierung MUSS ein geeignetes Datenformat ausgewählt werden. Es MUSS gewährleisten, dass sich Archivdaten sowie ausgewählte Merkmale des ursprünglichen Dokumentmediums langfristig und originalgetreu reproduzieren lassen.

      Es läßt sich also darauf schließen, das nur PDF/A, SGML, XML, JPEG und TIFF, gegebenenfalls ASCII in-frage kommen.

      Wir haben Zertifizierungen (diese gab es durchaus) immer zusammen mit Kunden bzw. im Rahmen von Kundenprojekten durchgeführt. Im Falle der obigen DIN 31644 erfordert dies aber erhebliche Ressourcen
      Das eine Zertifizierung, Geld und auch entsprechende Ressourcen kostet sollte klar sein. Wem das fremd ist, ist meiner Meinung nach für Langzeitarchivierung nicht geeignet.

      […] werden zudem von allen eingehenden Daten Bildkopien (Bitmaps) erstellt
      Welches Format wird verwendet und in welcher Auflösung?

      Was ich auch vermisse bzw. nicht erwähnt wird:
      - Umkopieren (empfohlen alle fünf Jahre) und Überprüfung der Metadaten
      - Vorteile gegenüber einer Cloud Lösung (nach ISO 27001)
      - Anbindung externer Speicherlösungen WORM, Tape…
      - Sicherstellung gegenüber Verfälschung der Daten
      - Verschlüsselungsmöglichkeiten, bzw. verschlüsselter Datentransport
      - Gibt es ein Zugriffschutz?

      • 1
        Von Pfister2 am Sa, 23. Mai 2020 um 11:38 #

        der Beuth Verlag verlangt schon ein exorbitanter Preis. Aber die BSI TR-03125 empfiehlt u. a. das Format.

        Treffend ausgedrückt.

        Es läßt sich also darauf schließen, das nur PDF/A, SGML, XML, JPEG und TIFF, gegebenenfalls ASCII in-frage kommen.

        Das eine Zertifizierung, Geld und auch entsprechende Ressourcen kostet sollte klar sein. Wem das fremd ist, ist meiner Meinung nach für Langzeitarchivierung nicht geeignet.

        Nichts gegen Zertifizierungen (ist mit der ArchivistaBox jederzeit machbar). Sie muss aber projektspezifisch erfolgen, ansonsten bringt sie nichts. Und ja, es gibt Projekte, wo dazu die Ressourcen fehlen. Sollen wir deswegen keine Lösungen anbieten und realisieren? Soll langfristige Archivierung bereits am "Eintrittspreis" scheitern?

        Welches Format wird verwendet und in welcher Auflösung?

        Bei den Rasterkopien werden JPEG und TIFF verwenden, Standadauflösung beträgt 300dpi. Kann bei Bedarf aber auch erhöht werden, Quelldateien werden mitarchiviert, wenn sie nicht explizit deaktiviert werden. So ergibt die Archivierung von multimedialen Inhalten, wie es mit der ArchivistaBox seit geraumer Zeit möglich ist, ohne die originären Daten keinen Sinn. Und wenn ambitionierte Fotografen auf das RAW-Format schwören, so stellen wir sicher, dass sie auch dieses Format (inkl. automatisch generierte JPEG-Datei) archivieren können.

        - Umkopieren (empfohlen alle fünf Jahre) und Überprüfung der Metadaten

        Bei der ArchivistaBox werden alle Daten langfristig sauber in das ISO 9660 Format übertragen. Die entsprechenden Datrenträger werden automatisch generiert. Wir empfehlen das M-Disk-Format (BD XL mit 93 GByte), siehe dazu: ArchivistaBox 2020/II

        Darüber hinaus werden die ArchivistaBoxen ab Modellstufe Titlis (Archive ab 100 GByte) immer redundant ausgeliefert. Periodische (automatische) Sicherungen sorgen dafür, dass Daten, die noch nicht "archiviert" bzw. ausgelagert wurden immer auch im Gesamtumfang ab Festplatten vorliegen (Kurzzeit-Sicherung).

        - Vorteile gegenüber einer Cloud Lösung (nach ISO 27001)

        Die Vorteile einer Open Source Lösung, welche die Daten lokal speichert und automatisiert ISO 9660 komaptible Datenträger erstellt, liegen gegenüber einer Cloud-Lösung, bei der die Hoheit der Daten an Dritte übertragen ist, auf der Hand. Das schliesst nicht aus, dass die Daten im Intranet verfügbar sein dürfen, die ArchivistaBox arbeitet seit mehr als 15 Jahren webbasiert. Und wollte jetzt jemand einbringen, der Betrieb einer lokalen Lösung sei (zu) komplex, so sei hier gesagt, ich wüsste nicht, was an einer Lösung, die sich automatisiert in ca. 10 Sekunden einrichtet, komplex sein soll,

        - Anbindung externer Speicherlösungen WORM, Tape…

        Ich verweise gerne nochmals auf obigen Link: ArchivistaBox 2020/II

        - Sicherstellung gegenüber Verfälschung der Daten

        Die sicherste Lösung, Daten vor Verfälschung zu bewahren, besteht darin, diese auf nicht wiederbeschreibbare Datenträger auszulagern. Daten auf wiederbebechreibbaren Datenträgern (Festplatten) lassen sich in der Natur der Technologie verändern.

        - Verschlüsselungsmöglichkeiten, bzw. verschlüsselter Datentransport

        Falls jemand Daten verschlüsselt abgelegt haben möchte, so steht bei den Datenträgern der gesamte Linux-Stack zur Verfügung. Beim Standardzugriff über ArchivistaDMS steht selbstverständlich HTTPS zur Verfügung. Dabei können eigene Zertifikate oder automatisch generierte Zertifikate mit LetsEncrypt verwendet werden..

        - Gibt es ein Zugriffschutz?

        Ja natürlich, es wäre ja jetzt auch etwas sehr naiv, eine webbasierte Lösung ohne Zugriffsschutz anzubieten. Zugriffschutz ist überdies auf Stufe bis hinunter zu jedem einzelnen Dokument und jedem einzelnen Feld gewährleistet. Das Management der Rechte erfolgt ebenfalls webbasiert.

        • 0
          Von copy am Sa, 23. Mai 2020 um 13:58 #

          Ich habe mal den Artikel von Dir durchgelesen, dort schreibst Du:

          Wie oben erwähnt, selbst gebrannte DVD-Datenträger wurden intern nur wenige erstellt, doch auch diese ca. 15 Jahre alten DVDs konnten ohne Schwierigkeiten gelesen werden
          Im Nestor Handbuch (Version 2.3, Kapitel 10:17) wird eine Haltbarkeit von 10 bis 30 Jahren angegeben, wenn der Datenträger selbst beschrieben wird.

          Wären die Daten mit Festplatten, Bandlaufwerken und/oder WORM-Datenträgern erstellt worden (alle drei Formate galten damals als das Mass aller Dinge in der Branche), so wären diese Daten kaum derart einfach verfügbar
          Bei HDD stimmt das mit Nestor überein, Bandlaufwerke gelten aber über den Zeitraum von 30 bis 50 Jahren als zuverlässiges Medium.

          […] Bei einer Datenmigration - die in Abhängigkeit von den Archivierungsdatenformaten regelmäßig im Abstand von drei bis 10 Jahren durchgeführt werden sollten. (Nestor-Handbuch, Ver. 2.3, Kap.10:19)
          Das habe ich mit „Umkopieren“ gemeint, wie wird das bei Dir umgesetzt? Ich suche eine Lösung, die das zuverlässig macht und dabei auch meine alten MOD und UDO-Disks miteinbezieht.

          Erstere sind günstiger, letztere bieten eine deutlich längere Lebensdauer. Gemäss Herstellerangaben wird die Haltbarkeit auf bis zu 1000 Jahre angegeben (M-Disk=Millenium-Disk)
          Sind nur Herstellerangaben, Mikrofitch gilt als sehr zuverlässig für eine Lagerung bis 500 Jahren.

          Sollen wir deswegen keine Lösungen anbieten und realisieren? Soll langfristige Archivierung bereits am "Eintrittspreis" scheitern?
          Ich gehe von mir aus, was andere machen ist mir egal. Ob die nach 20 Jahren noch auf Konstruktionszeichnungen und Handbücher zurückgreifen können, ist denen Ihr Problem. Vielleicht brauchen die so etwas auch nicht.

          • 1
            Von Pfister2 am Sa, 23. Mai 2020 um 15:11 #

            Bandlaufwerke gelten aber über den Zeitraum von 30 bis 50 Jahren als zuverlässiges Medium.

            Tape-Sicherng hatten wir zwischen 2008 bis 2015, dabei wurden durch die Laufwerke leider einige Tapes geschreddert, die Nachfrage bei unseren Kunden war einfach nicht mehr vorhanden. Wenn es ein Kunde aber haben möchte, so liesse sich dies sicher machen, kein Problem.

            Das habe ich mit „Umkopieren“ gemeint, wie wird das bei Dir umgesetzt?

            Das Archivformat (ISO 9660-Schicht) ist seit 1998 abwärtskompatiblel gehalten. Du kannst jederzeit die alten Medien verwenden bzw. diese auch umkopieren. Auf diese Schicht geben wir 30 Jahre -- und die haben wir mittlerweile auch bald erreicht.

            dabei auch meine alten MOD und UDO-Disks miteinbezieht.

            Solange es Treiber für Linux gibt (was aktuell der Fall ist), gibt es nichts dagegen einzuwenden. Dies gilt im übrigen für alle Hardware. Und weil wir die Linux-Kernel ja selber bauen, ist das auch schnell nachgerüstet, wenn es fehlen sollte.

            Sind nur Herstellerangaben, Mikrofitch gilt als sehr zuverlässig für eine Lagerung bis 500 Jahren.

            Es gibt physikalische Eigenschaften der Scheiben. Unbestreitbarerweise sind Gold CDR viel länger haltbar als die übrigen CDR. Das gleiche gilt auch bei BlueRay bzw. M-Disk. Mikrofilm ist ein anderes Thema, die 500 Jahre sind allerdings auch eher als Herstellerangabe zu betrachten denn gelebte Realität. Stellvertretend für einige, siehe hier: Rolle vorwärts, Thesen 2012.

            Ich gehe von mir aus, was andere machen ist mir egal. Ob die nach 20 Jahren noch auf Konstruktionszeichnungen und Handbücher zurückgreifen können, ist denen Ihr Problem. Vielleicht brauchen die so etwas auch nicht.

            Da hast Du natürlich recht. Und ich muss eingestehen, das Bewusstsein für langfristige Verfügbarkeit der Daten tendiert vielerorts gegen Null. Aber, wo eine ArchivistaBox draufsteht, ist auch eine ArchivistaBox drinnen. Es ist schlicht und einfach unser Job dafür zu sorgen, dass die Daten unserer Kunden langfristig verfügbar bleiben.

            Dazu gehörte für uns 1998 beispielsweise, keine patentbehafteten Formate zu verwenden und die Datenstrukturen von Anfang an offenzulegen. Zwischen 2005 und 2010 wechselten wir zo Open Source, weil damit die Verifizierbarkeit der Software für unsere Kunden, aber auch für uns selber möglich ist (ich hatte sowas die Schnauze voll von Buggy-Closed-Source-Bibliotheken) und die letzten Jahre machten wir die ArchivistaBox fit für multimediale Datenbestände in erklecklichem Umfang und Speed, weil diese Daten immer häufiger z.B. auch im geschäftlichen Verkehr verwendet werden. Und auch dabei ist uns die langfristige Verfügbarkeit dieser Daten zentral wichtig.

            • 0
              Von copy am Sa, 23. Mai 2020 um 16:28 #

              Wenn es ein Kunde aber haben möchte, so liesse sich dies sicher machen, kein Problem.
              Die Frage für mich war nur, kann ich das einbinden, das als zusätzliche Sicherung auf Tape, MOD oder UDO gespeichert wird, wenn die entsprechenden Laufwerke schon vorhanden sind.

              Mikrofilm ist ein anderes Thema, die 500 Jahre sind allerdings auch eher als Herstellerangabe zu betrachten denn gelebte Realität
              Bezüglich Mikroverfilmung ist ein bekanntes Archivierungssystem, seit fast 150 Jahre wird es benutzt, da kann kein anderes Speichermedium mithalten. Es wird zur Langzeitarchivierung eingesetzt, vorallem im Kulturgüterschutz. Siehe BABS oder im Barbarastollen in Deutschland, es muß nur richtig gelagert werden und man muß wissen wie damit umgegangen werden muß, das der Film oder die Platte nicht reißt oder zerkratzt.

              Dagegen ist eine M-Disc auf lange Sicht immer noch nicht erforscht, schon allein weil es das Format noch nicht solange gibt. Selbst eine MOD und UDO-Disc ist dem überlegen, dieses Speicherformat gibt es schon länger und auch die Datenträger sind viel robuster, es hat sich nur nicht durchgesetzt. Wer heute ein MOD-Laufwerk hat kann glücklich sein, da dies nicht mehr produziert wird. Wogegen die Discs immer noch zu kaufen sind.

              Da hast Du natürlich recht. Und ich muss eingestehen, das Bewusstsein für langfristige Verfügbarkeit der Daten tendiert vielerorts gegen Null.
              Gut ich gebe zu bei mir ist es beruflich bedingt, das ich mich über so etwas Gedanken mache.

              • 1
                Von Pfister2 am Sa, 23. Mai 2020 um 19:32 #

                Die Frage für mich war nur, kann ich das einbinden, das als zusätzliche Sicherung auf Tape, MOD oder UDO gespeichert wird, wenn die entsprechenden Laufwerke schon vorhanden sind.

                Die Grösse der Auslagerungsmedien lässt sich anpassen. Wir haben von Anfang an Wert darauf gelegt, nicht an bestimmte Archivmedien gebunden zu sein. Für mich persönlich war es 1995 die Initalzündung, Archivista überhaupt zu erschaffen, weil mir damals alle Anbieter entweder Festplatte oder Jukeboxen "unterjubeln" wollten.

                Tape kann jederzeit wieder reaktivieren werden, bei MOD/UDO braucht es die richtigen Kernel-Treiber. Soweit ich es abschätzen kann, geht es um SCSI-Treiber. Du darfst gerne eine AVMultimedia ISO ziehen, sie über USB-Stick hochfahren, Gerät anhängen und eine SSH-Leitung legen, dann kümmere ich mich darum. Du darfst aber auch gerne am Montag anrufen, dann können wir es ebenfalls besprechen.

                Mikroverfilmung ist ein bekanntes Archivierungssystem, seit fast 150 Jahre wird es benutzt, da kann kein anderes Speichermedium mithalten. Es wird zur Langzeitarchivierung eingesetzt, vorallem im Kulturgüterschutz. Siehe BABS oder im Barbarastollen in Deutschland

                Ich finde es enorm wichtig, dass im Kulturgüterschutz das gemacht wird, ganz klar. Die wenigsten verfügen aber über die entsprechenden Ressourcen (und oft wird es derart hemdsärmlig gemacht, dass es dann nichts bringt). Mir ist wichtig, dass langfristige Archivierung erschwinglich und einfach zugleich gehandhabt werden kann. Kompromisse bei der Qualität muss es deswegen nicht geben. Jeder ArchivistaBox-Kunde verfügt über die gleiche Technologie, ganz egal, ob es ein paar Ordner pro Jahr oder um Archive weit über 10 Mio geht.

                Dagegen ist eine M-Disc auf lange Sicht immer noch nicht erforscht, schon allein weil es das Format noch nicht solange gibt. Selbst eine MOD und UDO-Disc ist dem überlegen, dieses Speicherformat gibt es schon länger und auch die Datenträger sind viel robuster, es hat sich nur nicht durchgesetzt. Wer heute ein MOD-Laufwerk hat kann glücklich sein, da dies nicht mehr produziert wird. Wogegen die Discs immer noch zu kaufen sind.

                CDR Gold sind sehr robust, mit M-Disk erhalte ich noch immer Laufwerke, die kompatibel dazu sind. Ich habe viele optische Formate kommen und gehen gesehen, wenn sie keine Verbreitung finden bzw. die Laufwerke fehlen, dann ist dies archivtechnisch nicht einfach kein Problem. Letztlich geht es aber gar nicht primär um ein spezifisches Medium. Weit wichtiger sind Alternativen bei den Datenträgern und Spezifikationen bzw. Standards bei den Dateiformaten.

                Gut ich gebe zu bei mir ist es beruflich bedingt, das ich mich über so etwas Gedanken mache.

                Leider mache ich die Erfahrung, dass sehr viele, die sich beruflich Gedanken machen müssten, sich diese in keinster Weise machen. Abgesehen davon, das Thema geht uns alle an. In diesem Sinne danke für die Auseinandersetzung. So, nun wünsche ich schönes Wochenende.

                • 0
                  Von Pfister2 am Sa, 23. Mai 2020 um 19:51 #

                  Eine Frage hätte ich noch (so fürs Wochenende). Sind die hier angebotenen Laufwerke alles Drives, die aus "Altbeständen" stammen?

                  Aktuelle Preisliste UDO-Laufwerke

                  • 0
                    Von copy am Sa, 23. Mai 2020 um 22:08 #

                    Also ich weiß nicht welches aktuelle Motherboard noch eine SCSI-Schnittstelle bietet. Ohne diese wird es schwer solch ein internes Laufwerk einzubauen. Ich frag' mich sowieso wer so ein Heizwerk intern eingebaut hat.

                    Oder gib' mal "laufwerk udo" bei Google Shoping ein, wieviel Anbieter gibt es neben eBay und wieviel sind davon überarbeitet?

                    • 0
                      Von Pfister2 am Mo, 25. Mai 2020 um 10:21 #

                      Wer sagt denn, dass die Laufwerke intern verbaut werden müssten? Es gibt unter dem Link UDO-Preisliste auch externe USB-Laufwerke. SCSI-Schicht unter Linux heisst nicht, dass dies nicht über USB ginge. Sowohl Laufwerke (ca. 2000 Euro) wie Scheiben (30 GB ca. 80, 60 GB ca. 90 Euro) sind nicht ganz günstig. Dazu Vergleich bei 2facher Speicherung von 20 TByte:

                      MOD/UDO (bei 60 GByte)
                      2xLaufwerke: 4000 EURO:
                      684 Scheiben: 61560 EURO: (90 Euro Stück)
                      GESAMT: 65560 EURO

                      BD-XL (bei 93 GByte)
                      2xLaufwerk: 200 EURO
                      440 Scheiben: 2200 EURO (5 Euro Stück)
                      GESAMT: 2400 EURO

                      M-Disc (bei 93 GByte)
                      2xLaufwerk: 200 EURO
                      440 Scheiben: 6600 EURO (15 Euro Stück)
                      GESAMT: 6800 EURO

                      Die physikalischen Unterschiede sind marginal, siehe dazu Vergleich 2009 von BD-XL zu UDO.

                      Nach M-Disc-Test halten M-Disc deutlich länger als normale BlueRay (BD-XL). Ich sehe darum nichts, was gegen den Einsatz von BD-XL, vorallem aber nicht bei M-Disc, im Vergleich zu UDO spricht. Trotzdem kann UDO in die ArchivistaBox eingebunden werden, no problem -;)

                      • 0
                        Von copy am Mo, 25. Mai 2020 um 11:24 #

                        Ich sehe darum nichts, was gegen den Einsatz von BD-XL, vorallem aber nicht bei M-Disc, im Vergleich zu UDO spricht.
                        - Erstens MOD und UDO sind in einem Cartridge, dagegen hat eine Blueray-Disc nur ein zusätzlicher Kratzschutz bekommen, war ursprünglich anders geplant.
                        - Zweitens MOD ist 1.000.000x (andere meinen mehrere 100 Millionen mal) und UDO ist 10.000 mal wieder beschreibbar.
                        - Drittens gibt es diese auch als WORM-Medien
                        - Viertens ein mechanischer Schreibschutz.
                        Darüber-hinaus ist für den mobilen Einsatz eine MO-Disc einer CD, DVD oder BD überlegen, da der Datenträger nicht zerkratzen kann. hitzebetändiger ist, gegen Magnetfelder unempfindlich (Vorteil gegenüber einer Speicherung auf HDD) und Schutz gegen UV-Strahlung bietet. Schon mal eine selbst gebrannte CD oder DVD im Sommer im Auto liegen lassen? Dann weißt Du wovon ich spreche.

                        UDO ist eigentlich auch nur ein billiger Ersatz für eine MOD, leider hat sich der Standard nicht Durchgestzt aber für HAMR wird er wieder verwendet.

                        Dazu Vergleich bei 2facher Speicherung von 20 TByte [...]
                        Bei einem Vergleich der Kosten müßtest Du schon BD-RAM gegenüber RDX und LTO stellen. MOD oder UDO wird auch eher für Produktivdaten genommen. Eignet sich natürlich für Langzeitarchivierung, aber für große Datenmengen wird es einfach zu teuer, wie Du es selber auch schon ausgerechnet hast.

                        • 0
                          Von Pfister1 am Mo, 25. Mai 2020 um 12:17 #

                          Zweitens MOD ist 1.000.000x (andere meinen mehrere 100 Millionen mal) und UDO ist 10.000 mal wieder beschreibbar.

                          - Viertens ein mechanischer Schreibschutz.

                          Ich möchte langfristig zu archivierende Daten jetzt nicht primär wiederbeschreiben, am liebsten ist mir, es geht genau einmal, und damit hat es sich.

                          In dem Skript im Link (danke, stammt es von Dir?) wird Sony Archivial Disc vorgestellt. Aktuell liegen die bei bis zu 3.3 TB, jedoch sind die Laufwerke (ca. 6000 Euro) schon deftig teuer. Was hälst Du von dieser Technologie?

                          MOD oder UDO wird auch eher für Produktivdaten genommen. Eignet sich natürlich für Langzeitarchivierung, aber für große Datenmengen., aber für große Datenmengen wird es einfach zu teuer.

                          Das ist aber eben doch der Punkt. Langzeitarchivierung muss auch finanzierbar sein, und zwar für erkleckliche Datenmengen. Es bringt wenig ein MMS (Multimedia Management System) mit Dutzenden von TBytes aufzubauen, wenn die Daten nicht langfristig kosteneffizient gesichert werden können.

                          • 0
                            Von copy am Mo, 25. Mai 2020 um 14:41 #

                            Wir reden aneinander vorbei, bei mir gibt es Daten wovon ich ein Backup machen will, das kommt auf MOD oder UDO. Nachdem 3-2-1 Prinzip auch auf eine DVD-RAM und einem USB-Stick. Diese kommen auch nie in ein Cloud oder irgendein SaaS-System. Da ich mit denen auch noch arbeite, liegen die in einem RAID-1 und werden stündlich auf einem externen Festplatte gesichert.

                            Wo ich noch keine gute Lösung habe, ist für die größere Datenmenge (Filme, Bilder, eBooks, Musik, Software und Dokumente). Die in zig verschiedenen Formaten vorliegen und am besten in ein nicht proprietäres Format archiviert werden sollten.

                            In dem Skript im Link (danke, stammt es von Dir?) wird Sony Archivial Disc vorgestellt. Aktuell liegen die bei bis zu 3.3 TB, jedoch sind die Laufwerke (ca. 6000 Euro) schon deftig teuer. Was hälst Du von dieser Technologie?
                            Zum Script: Es gibt Menschen, die arbeiten in der Forschung und andere die auf deren Wissen wie ich zurückgreifen, also kann das nicht von mir kommen.
                            Zur „Archivial Disc“: Wir sprechen hier doch über Langzeitarchivierung oder? Wie die Technologie sich auszeichnet wird sich zeigen lassen, MOD wurde auch groß angekündigt und wie verbreitet ist es jetzt? Auch das viel propagierte Tape hat seine Grenzen, wenn diese zwar richtig gelagert werden, aber es keine Laufwerke mehr gibt, bei denen man es wieder auslesen kann (siehe NASA-Daten).

                            An den allgemeinen Empfehlungen, die
                            darauf hinauslaufen, Veränderungen offen gegenüber zu stehen, aber nicht sogleich jedem
                            Trend zu folgen, hat sich wenig geändert.

                            Kleiner Ratgeber zur Bewahrung digitaler Daten
                            Sollte die richtige Antwort sein.

                            • 0
                              Von Pfister2 am Mo, 25. Mai 2020 um 19:42 #

                              Wir reden aneinander vorbei, bei mir gibt es Daten wovon ich ein Backup machen will, das kommt auf MOD oder UDO.

                              Ich versuche nur zu verstehen. Alernativen bei der Sicherung sind immer eine gute Sache. Nur sagst Du ja selber:

                              MOD wurde auch groß angekündigt und wie verbreitet ist es jetzt?

                              Das ist für mich der Punkt, gerade weil CDR und M-Disc verbreitet sind, erachte ich den Einsatz letztlich für sicherer, auch wenn es etwas einfacher sein mag, die Scheiben zu zerstören (wer Daten an der Sonne lagert, ist jetzt echt selber schuld). Das heisst aber nicht, dass ich gegen andere Formate/Devices bin. Und es heisst auch nicht, dass ich DIE Wahrheit "gefressen" hätte, nur erwarten Interessenten wie Kunden einer Lösung zur Langzeitarchivierung auch Empfehlungen, und hier bleibe ich bei CDR (seit 25 Jahren) und M-Disc.

                              RAID-1 und werden stündlich auf einem externen Festplatte gesichert.

                              Problem ist nur, dass beim Blitschlag, Stromstoss oder Netzteilkrachern die Daten auf allen drei Devices hin sein können. Wir speichern bei der ArchivistaBox auf zwei redundaten Boxen, die räumlich (besser örtlich) getrennt sind. Zusätzlich werden auf diesen die Daten zweifach verschieden (Binlog) und Datenbank gesichert. Wer darüber hinaus noch RAID1x haben möchte, auch kein Problem. Intervall der Sicherung ist einstellbar.

                              Zur „Archivial Disc“: Wir sprechen hier doch über Langzeitarchivierung oder?

                              Habe ich gesagt, ich würde es empfehlen?

                              Zum Script: Es gibt Menschen, die arbeiten in der Forschung und andere die auf deren Wissen wie ich zurückgreifen, also kann das nicht von mir kommen.

                              Das Skript ist auf Stufe gute Seminararbeit angesiedelt, als Forschungsarbeit taugt es nicht. Ferner zur Deiner Nestor-Empfehlung:

                              Kleiner Ratgeber zur Bewahrung digitaler Daten

                              Gut, aber veraltet (2009), gerade zum Thema Archivierung von Ton und Filmen bringt das Skript nichts bzw. gar die falschen Antworten. Aktuell gehen bei Ton OGG wie MP3 (Patente sind seit 2017 abgelaufen).

                              Bei Film sind wir heute bei MP4 und webM. Bei der ArchivistaBox kommt ffmpeg zum Einsatz, siehe dazu EU-Patente ffmpeg abgelaufen. Andere Quellen sprechen bei MP4 davon, dass 2021 Schluss ist.

                              Wo ich noch keine gute Lösung habe, ist für die größere Datenmenge (Filme, Bilder, eBooks, Musik, Software und Dokumente). Die in zig verschiedenen Formaten vorliegen und am besten in ein nicht proprietäres Format archiviert werden sollten.

                              Dafür ist die ArchivistaBox wie gemacht. Wir verwenden seit 1998 nur dokumentiere Formate und auch bei Patenten sind wir sehr restriktiv. Wer noch Vorbehalte gegen MP4 hat, nehme einfach webM (siehe Ausführungen oben zu MP4 bzw. ffmpeg).

                              • 0
                                Von copy am Mo, 25. Mai 2020 um 22:10 #

                                Problem ist nur, dass beim Blitschlag, Stromstoss oder Netzteilkrachern die Daten auf allen drei Devices hin sein können.
                                Blitzschlag gibt es, wahrscheinlicher ist erstmals Überspannung, dafür gibt es einen Überspannungsschutz und für einen Blitzschlag der unwahrscheinlicher ist sollte es einen funktionierende Blitzschutzanlage geben. Stromstoß wird hoffentlich von einem Überspannungsschutz aufgefangen. Auch ein redundantes Netzteil kann kaputt gehen, aber eher unwahrscheinlich. Ein plötzlicher Stromausfall fängt hoffentlich die USV auf und der RAID Controller wird hoffentlich lang genug durch eine MFBU versorgt.

                                hier bleibe ich bei CDR (seit 25 Jahren) und M-Disc.
                                Ich bei DVD-RAM, MOD und UDO. :D

                                Das Skript ist auf Stufe gute Seminararbeit angesiedelt, als Forschungsarbeit taugt es nicht. Ferner zur Deiner Nestor-Empfehlung
                                Ach so, ich dachte Du meinst das Nestor Handbuch, die Arbeit kommt aber auch nicht für mich.

                                Gut, aber veraltet (2009), gerade zum Thema Archivierung von Ton und Filmen bringt das Skript nichts bzw. gar die falschen Antworten.
                                Archivierung von Ton geht am Besten auf Notenblätter und Filme am Besten auf Zelluloid. ;-)
                                KOST empfiehlt das WAVE-Format für Musik. Für Filme wird AVI oder MOV empfohlen (Analogen Film digitalisieren)

                                Wie sieht es mit einer Konvertierung in ein anderes Format aus, geht das auch mit Deinem System?

                                • 0
                                  Von Pfister2 am Mo, 25. Mai 2020 um 23:49 #

                                  Archivierung von Ton geht am Besten auf Notenblätter

                                  Ist etwas schwierig, wenn Du eine Ansprache bzw. eine Hörspielsendung archivierst ;-)

                                  Filme am Besten auf Zelluloid. ;-)

                                  Wenn es die Finanzen zulassen (z.B. bei staatlichen Archiven), dann ergibt eine zusätzliche Kopie auf Zelluloid schon Sinn, siehe dazu Filmarchiv Schweiz. Das Beispiel zeigt aber auch, dass in vielen (auch sehr grossen) Archiven eine Strategie für webbasierte bzw. dynamische Inhalte fehlt.

                                  Kost in Ehren, das Papier stammt aus 2013, ist zwar inhaltlich korrekt, erscheint mir trotzdem etwas praxisfremd (Zitat):

                                  Als Containerformat kann AVI oder MOV gewählt werden. Zu bedenken ist, dass sehr grosse Datenmengen anfallen, ungefähr 1 GB pro Minute Film. Für eine Gebrauchs- bzw. Zugangskopie empfiehlt sich MPEG-2 (DVD-Format) oder MPEG-4.

                                  Was kosteten 2013 Datenträger, wie gross waren diese? 1 GB pro Minute, ich würde es nicht mal heute hergeben. Praxisfremd ist es aber vor allem, weil doch heute fast alle Geräte in MP4 aufzeichnen. Was habe ich dann von einer Konvertierung nach AVI? Wie gesagt, wer MP4 (noch) nicht traut, nimmt webM und gut ist.

                                  Aber klar, die ArchivistaBox archiviert auch MOV und AVI. AVI z.B. wird dummerweise zuweilen von Kdenlive für kleine Schipsel erstellt, und ohne diese AVI-Schnipsel lassen sich die entsprechenden Projekte später nicht mehr 1:1 öffnen.

                                  Wie sieht es mit einer Konvertierung in ein anderes Format aus, geht das auch mit Deinem System?

                                  Du findest auf jeder ArchivistaBox einen vollen Stack von Open Source Applikationen dazu, siehe AVMultimedia. Damit lassen sich Daten selbstverständlich einfach auch umkonvertieren. Tools wie ffmpeg, melt, lame, pdftk, libreoffice (und viele mehr), alles enthalten -- und ja, es wird auf der ArchivistaBox auch intensiv genutzt (z.B. für Bitmaps für die interne Voransicht).

                                  • 0
                                    Von copy am Di, 26. Mai 2020 um 00:22 #

                                    Was kosteten 2013 Datenträger, wie gross waren diese?

                                    Ich weiß daß das nicht unbedingt praxistauglich ist.

                                    Uncompressed Video, 2K, 16Bit, 444 ~ 1.7 TB
                                    Verlustfreie Komprimierung, 2K, 16Bit (FFV1 or MJPEG2000) ~ 700-800 GB Videoformate
                                    Für ein einstündigen Film, wo kommen wir da hin. ;)

                                    Trotzdem danke für die Diskussion.

                                    • 0
                                      Von copy am Di, 26. Mai 2020 um 08:43 #

                                      Es gibt übrigens eine Lösung die WORM auf Softwarebasis mit einem 512bit Hash anbieten, wird aber proprietär sein.

                                      • 0
                                        Von Pfister2 am Di, 26. Mai 2020 um 11:50 #

                                        WORM mit Festplatten???

                                        Ok, die Dinger enthalten eine Lösung auf der Basis von Festplatten und damit nicht Kreti und Pleti schreiben können, wird das ganze in einen proprietären Kasten gepackt. Ernsthaft jetzt?

                                        Das Einstiegslaufwerk kostet als "WORM" 8480 Euro, dies bei einer Kapazität von 8 TByte. Dazu kommen noch 5x1.243 für die Wartung, ergibt 6245, d.h. über fünf Jahre zahlst Du 14725 Euro für ein softwarebasiertes WORM. Ernst jetzt, das möchtest Du haben? Ich mein, bei schlappen 8 TB für einmal beschreibbar über fünf Jahr, da ist dann gar nix mit Langzeitarchivierung. Und wenn Du Redundanz (z.B. zwei Standorte) haben möchtest, sind wir schon mal bei 29450 Euros, dies für eine Sicherung von 8 TByte über fünf Jahre auf einer softwaretechnisch gesperrten Platte.

                                        Für den Preis kriegst Du immerhin 150 HDD à 8 TB!!!

                                        Die Archivierung auf M-Disk kostet Dich keine 1000.-- Euro, und länger als 5 oder 10 Jahre halten die Daten ganz bestimmt -- und wir bleiben immer schön bei ISO9660.

                                        Nur so als Beispiel das gesamte Multimedia Management System (MMS) mit der ArchivistaBox:
                                        ArchivistaBox Eiger (2 redundnate Boxen): 6500.--
                                        Option mit 14 TB (2 fach): 1600.--
                                        Wartung (4. Jahre, erste 12 Monate inkludiert): 4860.--
                                        M-Disk (2fach für 14 TByte): 4000.--
                                        Gesamtkosten: 16960.--

                                        Mit der ArchivistaBox Eiger kannst Du immerhin ca. 1'000 Stunden 4K-Movies archivieren, quelloffen, nicht proprietär und Open Source.

                                        • 0
                                          Von copy am Di, 26. Mai 2020 um 12:16 #

                                          Für den Preis kriegst Du immerhin 150 HDD à 8 TB

                                          Wird per RAID betrieben (können zumindestens 4 Festplatten gleichzeitig ausfallen) also schon weniger nutzbarer Festplattenplatz. Bietest Du eine 19'' Rack Lösung mit dual 10G Ethernet, und so einen Wartungsvertrag?

                                          softwarebasiertes WORM
                                          Stimmt habe ich falsch gelesen ist ein Hardware WORM.

                                          Wenn Du die Hardware vergleichen willst mußt Du glaub' ein Silent Cube als Grundlage nehmen.

                                          Bei den Referenzen kannst Du bestimmt auch nicht mithalten. ;)

                                          • 0
                                            Von Pfister2 am Di, 26. Mai 2020 um 16:31 #

                                            Bietest Du eine 19'' Rack Lösung mit dual 10G Ethernet, und so einen Wartungsvertrag?

                                            Leeres Rack kostet ca. 300 Euro, 10 GBit ca. 50 (Dual = 100) Euro,, selbst eine 40 GBit-Karte (aktuell bei mir im Einsatz mit BRDB) kostet nicht mehr als 600 Euro, siehe dazu:

                                            ArchivistaMini

                                            Bestellen kannst Du hier:

                                            ArchivistaVM Universal

                                            Für das Rack darfst Du (musst nicht) 300 Euro dazuzählen, bist noch immer deutlich unter 4000 Euro. Damit hast Du eine clusterfähige Lösung zur Virtualisierung mit KVM (Daten drei- oder vierfach redundant) über zwei Standorte.

                                            Bei den Referenzen kannst Du bestimmt auch nicht mithalten. ;)

                                            Na ja, Radsport bei der ARD steht wohl für ne Weile gerade still... ;-). Du kannst aber jede Liste bringen, max. 10 Jahre Wartung auf Disks ist ein NO-GO für Langzeitarchivierung. So, bin dann mal weg, wünsche Dir alles Gute.

Pro-Linux
Pro-Linux @Facebook
Neue Nachrichten
Werbung