In Promox 4 wurde OpenVZ durch LXC ersetzt. Die Gründe leuchten mir durchaus ein aber LXC geht mir auf die Nerven mit seinem App Armor. Das bringt dann so Aktionen wie z.B. das mailq einen Fehler wirft wenn keine Emails in der Warteschlange sind weil App Armor dazwischen geht und den Zugriff auf die Sockets von Postfix verhindert.
OpenVZ hatte zwar den Nachteil von dem älteren Kernel aber dafür war das Resourcenmanagement besser als es aktuell bei LXC ist.
Ich hoffe sie haben in Version 4.2 endlich den Bug behoben das LXC Maschinen grundsätzlich mit ACL Support gemountet werden. Das macht vor allem bei älteren Debian Versionen Probleme.
Ich habe mein Prox auf 2 SSDs im Raid Z1 (Mirror) auf ZFS installiert. Was mich stört, dass der Installer nur den gesamten Plattenplatz nimmt. Partitionieren ist nicht. Da auch meine virt. Maschinen auf denselben Platten/SSDs liegt, muss ich bei einem Update (= Neuinstallation) immer erst alle virt. Maschinen sichern und später zurückkopieren. Ich überlege, ob es nicht besser ist, Proxmox nur auf einen USB Stick zu inst. und die virt. Masch. auf das Raid Z1. Das wäre Update freundlicher. Schön wäre auch eine Möglichkeit, in der Gui die gesamte Config schnell zu sichern.
Ich mache immer eine Debian Installation und packe Proxmox erst danach drauf. Die meisten Updates laufen innerhalb der gleichen Debian Version und sind mit einem apt-get update && apt-get dist-upgrade erledigt.
Zudem habe ich so mehr Freiheiten bei der Installation was die Partitionierung und anderes angeht.
Normalerweise installiert man einen Hypervisor (egal ob VMware und Proxmox) auf eine SD-Karte - Hat schonen einen Grund warum alle HP Pro Liant bis runter zum Microserver einen SD-Slot direkt am Mainboard haben
Partitionierung macht einfach keinen Spass wenn es um grossen, hochverfügbaren Storage geht, abgesehen davon dass eine Umgebung ohne Cluster-FS wo auch mal ein Node ausfallen darf witzlos ist
Partitionierung macht einfach keinen Spass wenn es um grossen, hochverfügbaren Storage geht,
Hmm, wie meinst Du das? Der Storage, den Du da ansprichst, hat ja zunächst einmal nichts mit dem Hypervisor selbst zu tun. Dieser ist ja sozusagen nur das OS. Was Du mit hochverfügbaren Storage evtl. meinst, betrifft wahrscheinlich den Storage für die virt. Maschinen selbst. Und dieser kann ja irgendwo liegen. Hier gehts ja nur um den Speicherort für den Hypervisor an sich, also das OS.
Den Hyperv. installiere ich also besser auf ein Flashdrive, Stick, SD, etc.? Ja, schon. Aber das hat auch Nachteile. Also der Prox Installer bietet ja an, Proxmox selbst auf ein ZFS Raid Z1, Z2, Z3, ... zu installieren. Sowas ist ja mit "einem" Flashdrive nicht gut möglich. Also hatte ich gedacht, ich nehme 2 SATA SSDs im Raid-Z1, also ZFS Mirror, und installiere darauf Proxmox. Durch den Mirror kann auch mal eine SSD defekt gehen und ich habe immer noch die komplette Prox Config auf der anderen SSD (habe hier nur einen Prox-Node, bei Node-Ausfall also keine Übernahme durch einen anderen Node). Hätte ich als Target nur einen USB-Stick und dieser würde kaputt gehen, dann ist auch die aktuelle Config weg. Ich glaube bei ESXi ist sowas nicht möglich. Dumm finde ich nur, dass der Installer den gesamten Platz für sich reserviert. Also müsste man tatsächlich ein Debian installieren, manuell part. und danach Prox installieren. Dieses Setup wird allerdings nicht offiziell supported.
Also irgendwie kling das komisch. Ein Raid Mirror über 2 USB Sticks. Oder wie wärs mit Raid5? Dann nehm ich halt 3 Sticks... lol Und dann noch mit ZFS. Mein Supermicro hat auch nur eine USB Buchse auf der Platine. Der zweite, dritte... Stick wäre dann aussen. Hab gestern von 4.1 auf 4.2 geupdatet, also Neuinst. Hat ganze 4 Stunden gedauert. Config zusammensuchen, Backup der Gäste, etc. Frage mich, wozu der Iso-Installer anbietet, Proxmox selbst auf ein Raid zu installieren. Das ist sicherlich nicht für USB Sticks gedacht. Macht doch nur Sinn, wenn man neben Proxmox selbst dort auch die Gäste ablegt. Und gerade deshalb sollte der Installer auch partitionieren können. Ansonsten ist eine Neuinstallation sehr zeitaufwändig.
Hahaha, nein wie geil..... Dachte erst an Verarsche. War mir gar nicht so klar, dass ZFS die Reihenfolge der Sticks nach einem Export/Import selbst erkennen kann. Cool. Aber mal ehrlich: Da wird bei ZFS-Systemen, z.B. FreeNAS/TrueNAS oder Baremetals extrem hoher Aufwand betrieben, also USV, Raid-System, ZIL-Cache mit Mirror, Redundante Netzteile, ECC-Ram, etc.... Und dann soll das Hauptsystem auf nur einem USB-Stick laufen? Das mehrere USB-Sticks als Raid-System mit ZFS aufgesetzt werden, für das Basis-OS, also z.B. NAS für Storage oder Hypervisor, kann ich gar nicht glauben (meine damit nicht die Demo in dem Video). Ist das echt Standard im Enterprise Umfeld? OS nur auf USB-Stick bei z.B. einem Storage-Srv.? Und von so einem Gammel-Stick hängt dann ggf. ein kompletter Node ab? Zitat aus dem Blog:
Das liegt ganz einfach daran, daß USB-Sticks nun mal USB-Sticks sind und daher nicht immer zuverlässig.
Nun, wahrscheinlich werden nur LOG-files im Betrieb zurückgeschrieben, ansonsten wird nur gelesen. Aber manche Sticks werden richtig heiss. Habe noch keine gesehen, wie extra für 24/7 Betrieb ausgelegt sind. Ansonsten habe ich doch mehr Vertrauen zu SSDs und einem SATA Anschluss. Danke für das Video. Die Google-Version ist wohl länger.
Du scheinst nicht zu realisieren dass das OS selbst kaum Schreibzugriffe verursacht (Logs haben da nichts zu suchen) wenn es korrekt aufgesetzt ist und bei einem Ceph-Cluster für die VMs jeder deiner Hosts seine Platten als Storage bereitstellt die automatisch ausbalanciert werden
Genau deswegen macht es keinen Spass da ein Partition für das OS rauszuschneiden statt einfach alle lokalen Platten in den Ceph-Cluster einzubinden
Warum?
Weil deine Hosts, ja mehrere sonst brauchen wir überhaupt nicth weiterzudiskutieren so ausgelegt sind dass das wegsterben von einem oder mehreren keine Rolle spielt und du steckst die SD-Card oder deine(n) USB-Stick(s) einfach in das Ersatzgerät und fährst hoch
Wenn du meinst den Hypervisor auf einer SD-Card zu betreiben ist ungwöhnlich hast du echt noch nicht viel gesehen - Ich kann mich in 10 Jahren an keinen VMware-Host erinnern der das OS nicht auf einen USB-Stick DIREKT AM BOARD und genau dazu ist der Anschluss da oder von einer SD-Card direkt am Board startet
Und ja, ich habe mitbekommen dass du nur genau EINEN Host hast - Mit Verlaub dann ist aber das Boot-Medium dein kleinstes Problem weil das Setup ohnehin recht sinnbefreit ist wenn bei Ausfall einer Hardware-Komponente alles steht
Das ist nett daheim zum rumspielen, das wars aber dann auch, Virtualisierung/Konsolidierung ist gut und nett, aber nicht wenn am Ende "So und jetzt haben wir alles auf einem Blöech und Gande uns Gott da geht irgendwas den Bach runter" rauskommt
dass du nur genau EINEN Host hast - Mit Verlaub dann ist aber das Boot-Medium dein kleinstes Problem weil das Setup ohnehin recht sinnbefreit ist wenn bei Ausfall einer Hardware-Komponente alles steht
Totaler Quatsch. Ein Host soll bedeuten, dass ein Setup total sinnbefreit ist? Du kannst einen Host schon gut gegen Ausfall sichern: Gehäuse mit 2 Netzteilen, 2 Host-Bus Adapter (1 als Backup), Platten im RaidZ-x Verbund, ECC-Ram, ZIL-Cache als Mirror (ja, falls FreeNAS als VM installiert wird, auf demselben Host), USV. Man ist natürlich nicht 100% gegen Hardwareausfall geschützt. Aber wer stellt sich in kleineren Firmen so ein System dann auch noch doppelt hin und baut einen Cluster auf? Gibts sicherlich, aber deswegen sind 1 Host-Systeme bestimmt nicht sinnfrei.
Das ist nett daheim zum rumspielen, das wars aber dann auch, Virtualisierung/Konsolidierung ist gut und nett, aber nicht wenn am Ende "So und jetzt haben wir alles auf einem Blöech und Gande uns Gott da geht irgendwas den Bach runter" rauskommt
Du kannst viel machen, aber Nutzen und Aufwand muss man abwägen. Auf einem ZFS-Storage sind Daten schon gut aufgehoben. Wenn die Backup-Strategie passt und ich Ausfallzeiten tolerieren kann, dann brauche ich kein Cluster-System mit Failover.
Mit Ceph-Clustern hat das hier nix zun tun. Ausgangspunkt war der Installer von Proxmox, wo dieser den Hypervisor an sich installiert. Hat noch nichts mit Storage für die VMs zu tun. Habe gesagt, dass der Installer u.a. RaidZ1, 2, 3 anbietet. Meine Frage war, wieso das so ist, wenn man einen Hypervisor normalerweise auf einen USB-Stick installiert. Raid Z1 bedeutet, ich brauche schon mal 3 USB Sticks. Kannst mir viel erzählen, aber in der Praxis kommt das wohl nicht vor, auch wenn RaidZ über USB Sticks möglich ist. Also verwendet man üblicher Weise 1 Stick, auf dem der Hypervisor installiert wird. Ob Dues glaubst oder nicht, aber ich kannte das auch so. Die VMs kommen dann auf anderen Storage. Bei mir aber habe ich das System auf ein SSD-Mirror installiert.
Tatsächlich ist es so, dass die Minimum-Anforderung für Proxmox u.a. 1 Harddrive ist und kein USB-Stick. Bei VSphere verhält es sich so:
Speicheranforderungen für die ESXi 5.0-Installation: Zum Installieren von ESXi 5.0 ist ein Startgerät erforderlich, das mindestens 1 GB groß ist. Beim Starten von einer lokalen Festplatte oder einer SAN/iSCSI LUN ist eine 5,2-GB-Festplatte erforderlich, damit das VMFS-Volume und eine 4-GB-Scratch-Partition auf dem Startgerät erstellt werden kann. Wenn eine kleinere Festplatte oder LUN verwendet wird, versucht das Installationsprogramm, einen Scratch-Bereich auf einer anderen lokalen Festplatte zuzuteilen.
Hast Du also einen Stick und keine lokale HDD, kommt die Scratch Part. ins RAM, was aber nicht empfohlen wird. Also solltest Du auch bei ESXi eine HDD haben. ESXi interessiert mich hier aber nicht.
Zurück zu Prox: Natürlich gibt es Journal-Dateien. Das also nicht ständig auf einen Stick geschrieben wird, stimmt also so nicht. Aber egal, auch darum ging es nicht.
Wenn du meinst den Hypervisor auf einer SD-Card zu betreiben ist ungwöhnlich hast du echt noch nicht viel gesehen
Wo soll ich sowas geschrieben haben? Nochmal: Es geht um den Installer und ein Raid-System für den Hypervisor und nicht, ob man das OS auf ein Flashspeicher installiert.
"Also solltest Du auch bei ESXi eine HDD haben. ESXi interessiert mich hier aber nicht" - Ja weil du keine Ahnung davon hast sonst würdest du den Unterschied zwichen ESXi-Installable und ESXi-Embedded kennen (Hint: Das Installationsimage ist das gleiche)
"Natürlich gibt es Journal-Dateien" - Die müssen aber nicht auf dem Stick liegen - Mir ist es im Prinzip scheissegal was du machst aber ich habe die letzten 8 Jahre niemanden gesehen der den Hypervisor nicht auf SD-Card oder USB-Stick installiert hätte und der HP Microserver mit einem CentOS auf SD-Card und etwas Fachwissen wie man das OS dafür optimiert läuft hier auch nicht so schlecht, die 4x4 TB LUKS-Storage auch hier sinnvoll vom OS getrennt
Habe extra geschrieben, dass es mir nicht um ESXi geht, da ich Prox verwende. Auch habe ich nicht in Frage gestellt, dass man einen Hypervisor auf ein Flashmedium installiert. Von daher weiss ich nicht, was Du überhaupt meinst. Ausser das Du irgendwelche Annahmen über mich machst, beurteilst, dass mein Setup sinnfrei ist und Dich hier als IT Hero präsentierst kommt nichts, worum es mir eigentlich ging. Nämlich warum der Installer ein ZFS RaidZ-x anbietet, wenn man den Hypervisor eigentlich auf einen USB Stick installiert, wofür man kein ZFS Raid benötigt. Kannst Du nicht beantworten? Gut. Also belassen wir es dabei. Auch wenn ich es selbst so kenne, den Hyperv. auf einen Stick zu inst., ändert das nichts daran, dass in den Anforderungen HardDrive steht und auch bei ESXi empfohlen wird, Scratch auf eine HDD zu legen. Warum aber sollte ich Prox auf ein Stick installieren und die Logs bzw. Journal manuel auf eine zusätzliche lokale HDD legen? Macht ja viel Sinn. Dann kann ich auch gleich eine SSD für den Hyperv. nehmen, die zuverl. als ein Flashspeicher ist. Und dann auch gleich als RaidZ-1 Mirror, dann verringere ich bei Defekt die Ausfallzeit. Das wird wohl der Grund sein, warum der Installer für den Hyperv. bzw. das OS ein Raid anbietet. Und da genau macht ein Flashmedium entgegen Deiner Meinung kein Sinn mehr. Hab mir die Antwort also selbst gegeben. Belassen wir es dabei.
Lol. Was Du mir mit CentOS und dem getrennten mit Luks vrrschl. Storage sagen möchtest, weiss ich auch nicht. Hat mit meiner Sache nichts zu tun und ist eine andere Geschichte. Jaja Cent mit KVM oder Xen als Hxperv. Hier gehts aber nicht darum, sondern um den Prox ISO Installer.
Vielleicht wäre es an der Zeit dass ud mal von deinem "es geht um bla mit ISO installer" abrückst und versuchst dir etwas genrelles Wissen wie man im Jahre 2016 Dinge aufsetzt aneignest - Wozu war sonst deine Frage "Euer Setup" gut? Mach doch was du willst, ich muss niemandem etwas bewiesen nach 10 Jahren Vollvirtualisierung im Produktivbetrieb wo es nicht mal egal ist dass es eine Downtime gibt
Also bei Deinem Agro-Ton denke ich eher, dass Du überhaupt keinen Job hast. Man kann auch vernünftig diskutieren, oder sprichst Du auf diesem Niveau auch mit Kunden und Kollegen? Das würde dann Ersteres erklären.
Vielleicht wäre es an der Zeit dass ud mal von deinem "es geht um bla mit ISO installer" abrückst und versuchst dir etwas genrelles Wissen wie man im Jahre 2016 Dinge aufsetzt aneignest
Ich weiss wirklich nicht, was Du da redest. Wie kommst Du zu Deinen Annahmen? Du kennst nicht mal das Anforderungsprofil und meinst aber alles beurteilen zu können, ebenso was meinen Wissensstand angeht. Bisher bist Du nicht auf die Frage nach einem RaidZ für den Hypervisor eingegangen, sondern schwafelst nur daher. Dann sprichst Du auch noch von Downtime, gehst aber auf nichts genau ein. Wenn Dein Hypervisor Stick versagt, ist Deine Kiste erstmal im Eimer, es sei denn, Deine VMs liegen woanders und der Knoten mit dem Hypervisor ist redundant. Aber darum geht es doch hier nicht. Wenn ein Installer ein Raid5 also RaidZ1 anbietet, dann wird wohl kein USB Stick vorrausgesetzt, sondern HDDs oder SSDs. Eben so, wie es in den Systemanford. steht. Und das ist wohl Stand 2016, Du Schlauberger. Wir reden nicht von VMWare. Denke, Du willst nur trollen. Produktiv ist anders.
Kollegen und Kunden fragen ja auch nicht erst "Euer Setup" um dann dämlich zu widersprechen "Aber ich will doch" bzw. wenn sie es tun werde ich dafür bezahlt mir die Gülle anzuhören
"Downtime, gehst aber auf nichts genau ein. Wenn Dein Hypervisor Stick versagt, ist Deine Kiste erstmal im Eimer, es sei denn, Deine VMs liegen woanders und der Knoten mit dem Hypervisor ist redundant"
Ja deswegen hat ma einen Cluster du Schwachkopf - Nochmal: Niemand der klar im Kopf ist virtualisiert ohne Redundanz, schon alleine weil Updates an Software und Hardware unmöglich bis schwer gemacht werden während ich einfach mal alles auf den oder die anderen Hosts verteile und eine Node zu jeder Uhrzeit für Wartzungszwecke aus dem Netz nehme wie es mir gerade in den Tagesablauf passt
"Wir reden nicht von VMWare" - Spielt überhaupt keine Rolle, ich kenne auch Proxmox-Cluster die schön brav von USB booten und jeder Node ist gelichzeitig ein Teil des Ceph-Clusters - Es ist dir dann einfach scheissegal ob eine Node ausfällt, abgesehen davon dass bei einer normalen Nutzungsdauer von 3-5 Jahren für einen Virtualisierungsserver der Ausfall des USB-Sticks bzw. der SD-Karte höchst unwahrscheinlich ist
fragen ja auch nicht erst "Euer Setup" um dann dämlich zu widersprechen
Red nicht dumm daher, wo habe ich was wiedersprochen?
werde ich dafür bezahlt mir die Gülle anzuhören
Das sagt bereits alles über Deine Einstellung und Dein Auftreten aus.
Ja deswegen hat ma einen Cluster du Schwachkopf - Nochmal: Niemand der klar im Kopf ist virtualisiert ohne Redundanz
Schwachkopf, Mehr fällt Dir wohl nicht ein, als nur zu beleidigen. Deine armen Kunden, die ja anscheinend nur Gülle von sich geben. Leute wie Dich lässt man nicht auf Kunden los, die sperrt man in einen Keller ein.
Trotzdem: Gewünschte Redundanz hängt von der Anforderung ab. Deine pauschale Aussage hier ist nicht nur falsch, sondern auch dämlich. Redundanz ist wichtig für die Daten, dort wo z.B. VMs liegen. Bei mir auf einem FreeNAS mit RaidZ2. Ebenso ist das ZIL redundant, nämlich als Mirror. Zudem bietet ZFS weit mehr an Sicherheit, als andere DS oder Hardwarelösungen. Was Du wohl aber immer noch nicht begreifst, dass es nicht um die Datenspeicherung ging.
Natürich kannst Du die Knoten redundant auslegen, aber das hängt ja wohl vom Anforderungsprofil ab. Ich hab hier einen 3k€ Server stehen, wo ansich alles redundant ausgelegt ist. Natürlich kann der Srv durch HW Fehler ausfallen und ein redundanter Node könnte einspringen. Dann müsste ich bereits 2 Server für ein bestimmtes Einsatzgebiet haben. Wäre aber völliger overkill, da Downtime keine grosse Rolle spielt, wohl aber Datensicherheit. Pauschale Aussagen, wie Du sie triffst, sind gerade auf diesem Gebiet nicht machbar. Man kann sich sehr viel Sicherheit erkaufen, durch die Wahl eines guten Dateisystems, redundante Speicherung, ECC, Serverboards, redundante Netzteile, USVs, etc. Sind die Daten gegen Stromausfall und Plattenausfall gesichert, braucht man nur redundante Knoten, wenn es um Ausfallzeiten geht. Spielt hier keine Rolle.
ich kenne auch Proxmox-Cluster die schön brav von USB booten
So, aber warum ein RaidZ für die Installation angeboten wird, obwohl anscheinend nur auf USB Sticks installiert wird, konntest Du mir bisher immer noch nicht erklären. Darum ging es. Und das hat nichts mit Daten und VMs zu tun. Kein Supermicro Board hat mehrere USB Buchsen aufm Board. Also ist die gewollte vorgehensweise bei Proxmox anscheinend doch die Installation des Hypervisors auf HDDs/SSDs im Raid-Verbund. Oder?
r normalen Nutzungsdauer von 3-5 Jahren für einen Virtualisierungsserver der Ausfall des USB-Sticks bzw. der SD-Karte höchst unwahrscheinlich ist
Soso. Warum werden denn HBAs und Netzteile redundant ausgelegt? Ich hatte das noch nie, dass ein HBA ausgefallen ist. Dagegen hatte ich schon oft defekte USB Sticks. Und normale Nutzungsdauer von 3-5 Jahren? Meine Supermicro Boards haben einen Supportzeitraum von 7 Jahren. Deine Aussagen sind naja.
Was nutzt dir noch so viel Redundanz in deinem Server wenn du weder Software-Updates noch Firmware-Updates ohne Downtime fahren kannst und Gnade dir Gott danach läuft irgendwas nicht mehr wie es soll und du darfst Lösungen suchen während alle deine VM's down sind
Das ist doch einfach nur mehr lächerlich
Du fährst also alles nach dem Motto Glück weil Testumgebungen hast du auch keine für Updates auf deinem einen heiligen Host der nie verschwinden darf - Hättest du welche dann wärst du noch dämlicher das nicht in einem Cluster zusammenzufangen
In Promox 4 wurde OpenVZ durch LXC ersetzt. Die Gründe leuchten mir durchaus ein aber LXC geht mir auf die Nerven mit seinem App Armor. Das bringt dann so Aktionen wie z.B. das mailq einen Fehler wirft wenn keine Emails in der Warteschlange sind weil App Armor dazwischen geht und den Zugriff auf die Sockets von Postfix verhindert.
OpenVZ hatte zwar den Nachteil von dem älteren Kernel aber dafür war das Resourcenmanagement besser als es aktuell bei LXC ist.
Ich hoffe sie haben in Version 4.2 endlich den Bug behoben das LXC Maschinen grundsätzlich mit ACL Support gemountet werden. Das macht vor allem bei älteren Debian Versionen Probleme.
Wie ist denn euer Proxmox setup so?
Ich habe mein Prox auf 2 SSDs im Raid Z1 (Mirror) auf ZFS installiert. Was mich stört, dass der Installer nur den gesamten Plattenplatz nimmt. Partitionieren ist nicht. Da auch meine virt. Maschinen auf denselben Platten/SSDs liegt, muss ich bei einem Update (= Neuinstallation) immer erst alle virt. Maschinen sichern und später zurückkopieren. Ich überlege, ob es nicht besser ist, Proxmox nur auf einen USB Stick zu inst. und die virt. Masch. auf das Raid Z1. Das wäre Update freundlicher. Schön wäre auch eine Möglichkeit, in der Gui die gesamte Config schnell zu sichern.
Wie macht ihr das denn so?
Ich mache immer eine Debian Installation und packe Proxmox erst danach drauf. Die meisten Updates laufen innerhalb der gleichen Debian Version und sind mit einem apt-get update && apt-get dist-upgrade erledigt.
Zudem habe ich so mehr Freiheiten bei der Installation was die Partitionierung und anderes angeht.
Normalerweise installiert man einen Hypervisor (egal ob VMware und Proxmox) auf eine SD-Karte - Hat schonen einen Grund warum alle HP Pro Liant bis runter zum Microserver einen SD-Slot direkt am Mainboard haben
Partitionierung macht einfach keinen Spass wenn es um grossen, hochverfügbaren Storage geht, abgesehen davon dass eine Umgebung ohne Cluster-FS wo auch mal ein Node ausfallen darf witzlos ist
Den Hyperv. installiere ich also besser auf ein Flashdrive, Stick, SD, etc.?
Ja, schon. Aber das hat auch Nachteile. Also der Prox Installer bietet ja an, Proxmox selbst auf ein ZFS Raid Z1, Z2, Z3, ... zu installieren. Sowas ist ja mit "einem" Flashdrive nicht gut möglich. Also hatte ich gedacht, ich nehme 2 SATA SSDs im Raid-Z1, also ZFS Mirror, und installiere darauf Proxmox. Durch den Mirror kann auch mal eine SSD defekt gehen und ich habe immer noch die komplette Prox Config auf der anderen SSD (habe hier nur einen Prox-Node, bei Node-Ausfall also keine Übernahme durch einen anderen Node). Hätte ich als Target nur einen USB-Stick und dieser würde kaputt gehen, dann ist auch die aktuelle Config weg. Ich glaube bei ESXi ist sowas nicht möglich. Dumm finde ich nur, dass der Installer den gesamten Platz für sich reserviert. Also müsste man tatsächlich ein Debian installieren, manuell part. und danach Prox installieren. Dieses Setup wird allerdings nicht offiziell supported.
Ups, meinte natürlich ZFS-Raid1 und nicht Raid-Z1, also ZFS Mirror über 2 Platten
Na, dann nimm doch zwei USB-Sticks und machst das ZFS-Raid1 darüber.
Also irgendwie kling das komisch. Ein Raid Mirror über 2 USB Sticks. Oder wie wärs mit Raid5? Dann nehm ich halt 3 Sticks... lol Und dann noch mit ZFS. Mein Supermicro hat auch nur eine USB Buchse auf der Platine. Der zweite, dritte... Stick wäre dann aussen.
Hab gestern von 4.1 auf 4.2 geupdatet, also Neuinst. Hat ganze 4 Stunden gedauert. Config zusammensuchen, Backup der Gäste, etc.
Frage mich, wozu der Iso-Installer anbietet, Proxmox selbst auf ein Raid zu installieren. Das ist sicherlich nicht für USB Sticks gedacht. Macht doch nur Sinn, wenn man neben Proxmox selbst dort auch die Gäste ablegt. Und gerade deshalb sollte der Installer auch partitionieren können. Ansonsten ist eine Neuinstallation sehr zeitaufwändig.
Was ist daran komisch? In jedem Fall ist es nix neues
So macht man das mit 3 Hubs & 12 USB Sticks xD
Video
Blog
Hahaha, nein wie geil.....
Nun, wahrscheinlich werden nur LOG-files im Betrieb zurückgeschrieben, ansonsten wird nur gelesen. Aber manche Sticks werden richtig heiss. Habe noch keine gesehen, wie extra für 24/7 Betrieb ausgelegt sind. Ansonsten habe ich doch mehr Vertrauen zu SSDs und einem SATA Anschluss.Dachte erst an Verarsche. War mir gar nicht so klar, dass ZFS die Reihenfolge der Sticks nach einem Export/Import selbst erkennen kann. Cool.
Aber mal ehrlich: Da wird bei ZFS-Systemen, z.B. FreeNAS/TrueNAS oder Baremetals extrem hoher Aufwand betrieben, also USV, Raid-System, ZIL-Cache mit Mirror, Redundante Netzteile, ECC-Ram, etc.... Und dann soll das Hauptsystem auf nur einem USB-Stick laufen? Das mehrere USB-Sticks als Raid-System mit ZFS aufgesetzt werden, für das Basis-OS, also z.B. NAS für Storage oder Hypervisor, kann ich gar nicht glauben (meine damit nicht die Demo in dem Video). Ist das echt Standard im Enterprise Umfeld? OS nur auf USB-Stick bei z.B. einem Storage-Srv.? Und von so einem Gammel-Stick hängt dann ggf. ein kompletter Node ab?
Zitat aus dem Blog:
Danke für das Video. Die Google-Version ist wohl länger.
Du scheinst nicht zu realisieren dass das OS selbst kaum Schreibzugriffe verursacht (Logs haben da nichts zu suchen) wenn es korrekt aufgesetzt ist und bei einem Ceph-Cluster für die VMs jeder deiner Hosts seine Platten als Storage bereitstellt die automatisch ausbalanciert werden
Genau deswegen macht es keinen Spass da ein Partition für das OS rauszuschneiden statt einfach alle lokalen Platten in den Ceph-Cluster einzubinden
Warum?
Weil deine Hosts, ja mehrere sonst brauchen wir überhaupt nicth weiterzudiskutieren so ausgelegt sind dass das wegsterben von einem oder mehreren keine Rolle spielt und du steckst die SD-Card oder deine(n) USB-Stick(s) einfach in das Ersatzgerät und fährst hoch
Wenn du meinst den Hypervisor auf einer SD-Card zu betreiben ist ungwöhnlich hast du echt noch nicht viel gesehen - Ich kann mich in 10 Jahren an keinen VMware-Host erinnern der das OS nicht auf einen USB-Stick DIREKT AM BOARD und genau dazu ist der Anschluss da oder von einer SD-Card direkt am Board startet
Und ja, ich habe mitbekommen dass du nur genau EINEN Host hast - Mit Verlaub dann ist aber das Boot-Medium dein kleinstes Problem weil das Setup ohnehin recht sinnbefreit ist wenn bei Ausfall einer Hardware-Komponente alles steht
Das ist nett daheim zum rumspielen, das wars aber dann auch, Virtualisierung/Konsolidierung ist gut und nett, aber nicht wenn am Ende "So und jetzt haben wir alles auf einem Blöech und Gande uns Gott da geht irgendwas den Bach runter" rauskommt
Lieber verflucht:
Mit Ceph-Clustern hat das hier nix zun tun. Ausgangspunkt war der Installer von Proxmox, wo dieser den Hypervisor an sich installiert. Hat noch nichts mit Storage für die VMs zu tun. Habe gesagt, dass der Installer u.a. RaidZ1, 2, 3 anbietet. Meine Frage war, wieso das so ist, wenn man einen Hypervisor normalerweise auf einen USB-Stick installiert. Raid Z1 bedeutet, ich brauche schon mal 3 USB Sticks. Kannst mir viel erzählen, aber in der Praxis kommt das wohl nicht vor, auch wenn RaidZ über USB Sticks möglich ist. Also verwendet man üblicher Weise 1 Stick, auf dem der Hypervisor installiert wird. Ob Dues glaubst oder nicht, aber ich kannte das auch so. Die VMs kommen dann auf anderen Storage. Bei mir aber habe ich das System auf ein SSD-Mirror installiert.
Tatsächlich ist es so, dass die Minimum-Anforderung für Proxmox
Hast Du also einen Stick und keine lokale HDD, kommt die Scratch Part. ins RAM, was aber nicht empfohlen wird. Also solltest Du auch bei ESXi eine HDD haben. ESXi interessiert mich hier aber nicht.u.a. 1 Harddrive ist und kein USB-Stick.
Bei VSphere verhält es sich so:
Zurück zu Prox:
Wo soll ich sowas geschrieben haben? Nochmal: Es geht um den Installer und ein Raid-System für den Hypervisor und nicht, ob man das OS auf ein Flashspeicher installiert.Natürlich gibt es Journal-Dateien. Das also nicht ständig auf einen Stick geschrieben wird, stimmt also so nicht. Aber egal, auch darum ging es nicht.
Und das OS ist hier nun mal der Hypervisor..
"Also solltest Du auch bei ESXi eine HDD haben. ESXi interessiert mich hier aber nicht" - Ja weil du keine Ahnung davon hast sonst würdest du den Unterschied zwichen ESXi-Installable und ESXi-Embedded kennen (Hint: Das Installationsimage ist das gleiche)
"Natürlich gibt es Journal-Dateien" - Die müssen aber nicht auf dem Stick liegen - Mir ist es im Prinzip scheissegal was du machst aber ich habe die letzten 8 Jahre niemanden gesehen der den Hypervisor nicht auf SD-Card oder USB-Stick installiert hätte und der HP Microserver mit einem CentOS auf SD-Card und etwas Fachwissen wie man das OS dafür optimiert läuft hier auch nicht so schlecht, die 4x4 TB LUKS-Storage auch hier sinnvoll vom OS getrennt
Habe extra geschrieben, dass es mir nicht um ESXi geht, da ich Prox verwende. Auch habe ich nicht in Frage gestellt, dass man einen Hypervisor auf ein Flashmedium installiert. Von daher weiss ich nicht, was Du überhaupt meinst. Ausser das Du irgendwelche Annahmen über mich machst, beurteilst, dass mein Setup sinnfrei ist und Dich hier als IT Hero präsentierst kommt nichts, worum es mir eigentlich ging. Nämlich warum der Installer ein ZFS RaidZ-x anbietet, wenn man den Hypervisor eigentlich auf einen USB Stick installiert, wofür man kein ZFS Raid benötigt.
Kannst Du nicht beantworten? Gut. Also belassen wir es dabei.
Auch wenn ich es selbst so kenne, den Hyperv. auf einen Stick zu inst., ändert das nichts daran, dass in den Anforderungen HardDrive steht und auch bei ESXi empfohlen wird, Scratch auf eine HDD zu legen. Warum aber sollte ich Prox auf ein Stick installieren und die Logs bzw. Journal manuel auf eine zusätzliche lokale HDD legen? Macht ja viel Sinn. Dann kann ich auch gleich eine SSD für den Hyperv. nehmen, die zuverl. als ein Flashspeicher ist. Und dann auch gleich als RaidZ-1 Mirror, dann verringere ich bei Defekt die Ausfallzeit. Das wird wohl der Grund sein, warum der Installer für den Hyperv. bzw. das OS ein Raid anbietet. Und da genau macht ein Flashmedium entgegen Deiner Meinung kein Sinn mehr. Hab mir die Antwort also selbst gegeben.
Belassen wir es dabei.
Lol. Was Du mir mit CentOS und dem getrennten mit Luks vrrschl. Storage sagen möchtest, weiss ich auch nicht. Hat mit meiner Sache nichts zu tun und ist eine andere Geschichte. Jaja Cent mit KVM oder Xen als Hxperv. Hier gehts aber nicht darum, sondern um den Prox ISO Installer.
Vielleicht wäre es an der Zeit dass ud mal von deinem "es geht um bla mit ISO installer" abrückst und versuchst dir etwas genrelles Wissen wie man im Jahre 2016 Dinge aufsetzt aneignest - Wozu war sonst deine Frage "Euer Setup" gut? Mach doch was du willst, ich muss niemandem etwas bewiesen nach 10 Jahren Vollvirtualisierung im Produktivbetrieb wo es nicht mal egal ist dass es eine Downtime gibt
Also bei Deinem Agro-Ton denke ich eher, dass Du überhaupt keinen Job hast. Man kann auch vernünftig diskutieren, oder sprichst Du auf diesem Niveau auch mit Kunden und Kollegen? Das würde dann Ersteres erklären.
Ich weiss wirklich nicht, was Du da redest. Wie kommst Du zu Deinen Annahmen? Du kennst nicht mal das Anforderungsprofil und meinst aber alles beurteilen zu können, ebenso was meinen Wissensstand angeht. Bisher bist Du nicht auf die Frage nach einem RaidZ für den Hypervisor eingegangen, sondern schwafelst nur daher. Dann sprichst Du auch noch von Downtime, gehst aber auf nichts genau ein. Wenn Dein Hypervisor Stick versagt, ist Deine Kiste erstmal im Eimer, es sei denn, Deine VMs liegen woanders und der Knoten mit dem Hypervisor ist redundant. Aber darum geht es doch hier nicht. Wenn ein Installer ein Raid5 also RaidZ1 anbietet, dann wird wohl kein USB Stick vorrausgesetzt, sondern HDDs oder SSDs. Eben so, wie es in den Systemanford. steht. Und das ist wohl Stand 2016, Du Schlauberger. Wir reden nicht von VMWare.Denke, Du willst nur trollen. Produktiv ist anders.
Kollegen und Kunden fragen ja auch nicht erst "Euer Setup" um dann dämlich zu widersprechen "Aber ich will doch" bzw. wenn sie es tun werde ich dafür bezahlt mir die Gülle anzuhören
"Downtime, gehst aber auf nichts genau ein. Wenn Dein Hypervisor Stick versagt, ist Deine Kiste erstmal im Eimer, es sei denn, Deine VMs liegen woanders und der Knoten mit dem Hypervisor ist redundant"
Ja deswegen hat ma einen Cluster du Schwachkopf - Nochmal: Niemand der klar im Kopf ist virtualisiert ohne Redundanz, schon alleine weil Updates an Software und Hardware unmöglich bis schwer gemacht werden während ich einfach mal alles auf den oder die anderen Hosts verteile und eine Node zu jeder Uhrzeit für Wartzungszwecke aus dem Netz nehme wie es mir gerade in den Tagesablauf passt
"Wir reden nicht von VMWare" - Spielt überhaupt keine Rolle, ich kenne auch Proxmox-Cluster die schön brav von USB booten und jeder Node ist gelichzeitig ein Teil des Ceph-Clusters - Es ist dir dann einfach scheissegal ob eine Node ausfällt, abgesehen davon dass bei einer normalen Nutzungsdauer von 3-5 Jahren für einen Virtualisierungsserver der Ausfall des USB-Sticks bzw. der SD-Karte höchst unwahrscheinlich ist
Red nicht dumm daher, wo habe ich was wiedersprochen?
Das sagt bereits alles über Deine Einstellung und Dein Auftreten aus.
Schwachkopf, Mehr fällt Dir wohl nicht ein, als nur zu beleidigen. Deine armen Kunden, die ja anscheinend nur Gülle von sich geben. Leute wie Dich lässt man nicht auf Kunden los, die sperrt man in einen Keller ein.
Trotzdem: Gewünschte Redundanz hängt von der Anforderung ab. Deine pauschale Aussage hier ist nicht nur falsch, sondern auch dämlich. Redundanz ist wichtig für die Daten, dort wo z.B. VMs liegen. Bei mir auf einem FreeNAS mit RaidZ2. Ebenso ist das ZIL redundant, nämlich als Mirror. Zudem bietet ZFS weit mehr an Sicherheit, als andere DS oder Hardwarelösungen. Was Du wohl aber immer noch nicht begreifst, dass es nicht um die Datenspeicherung ging.
Natürich kannst Du die Knoten redundant auslegen, aber das hängt ja wohl vom Anforderungsprofil ab. Ich hab hier einen 3k€ Server stehen, wo ansich alles redundant ausgelegt ist. Natürlich kann der Srv durch HW Fehler ausfallen und ein redundanter Node könnte einspringen. Dann müsste ich bereits 2 Server für ein bestimmtes Einsatzgebiet haben. Wäre aber völliger overkill, da Downtime keine grosse Rolle spielt, wohl aber Datensicherheit. Pauschale Aussagen, wie Du sie triffst, sind gerade auf diesem Gebiet nicht machbar. Man kann sich sehr viel Sicherheit erkaufen, durch die Wahl eines guten Dateisystems, redundante Speicherung, ECC, Serverboards, redundante Netzteile, USVs, etc. Sind die Daten gegen Stromausfall und Plattenausfall gesichert, braucht man nur redundante Knoten, wenn es um Ausfallzeiten geht. Spielt hier keine Rolle.
So, aber warum ein RaidZ für die Installation angeboten wird, obwohl anscheinend nur auf USB Sticks installiert wird, konntest Du mir bisher immer noch nicht erklären. Darum ging es. Und das hat nichts mit Daten und VMs zu tun. Kein Supermicro Board hat mehrere USB Buchsen aufm Board. Also ist die gewollte vorgehensweise bei Proxmox anscheinend doch die Installation des Hypervisors auf HDDs/SSDs im Raid-Verbund. Oder?Soso. Warum werden denn HBAs und Netzteile redundant ausgelegt? Ich hatte das noch nie, dass ein HBA ausgefallen ist. Dagegen hatte ich schon oft defekte USB Sticks. Und normale Nutzungsdauer von 3-5 Jahren?
Meine Supermicro Boards haben einen Supportzeitraum von 7 Jahren. Deine Aussagen sind naja.
Und nun zurück in den Keller.
Was nutzt dir noch so viel Redundanz in deinem Server wenn du weder Software-Updates noch Firmware-Updates ohne Downtime fahren kannst und Gnade dir Gott danach läuft irgendwas nicht mehr wie es soll und du darfst Lösungen suchen während alle deine VM's down sind
Das ist doch einfach nur mehr lächerlich
Du fährst also alles nach dem Motto Glück weil Testumgebungen hast du auch keine für Updates auf deinem einen heiligen Host der nie verschwinden darf - Hättest du welche dann wärst du noch dämlicher das nicht in einem Cluster zusammenzufangen