Hardwareauswahl bei Serverhochrüstung

Post Reply
Message
Author
marc

Hardwareauswahl bei Serverhochrüstung

#1 Post by marc »

Hallo zusammen,
ich wollte mal eure Meinungen zu folgendem hören:

Wir haben einen Linux Server der zu 90% als Fileserver mit großen Datenmengen läuft und in der Restlichen Zeit große Dateinen zipt oder entpackt.
Auf dem Server läuft samba und ca 15 x86 Workstation (win nt) und 4 rs/6000 haben zugriff. Momentan haben wir einen RAID 5 verbund mit 9.1 G Platten
und 1 Intel 100Mbit Netzwerkkarte (Motherboard Tyan 2 x PIII 800).

So nun meine Fragen an die Experten:
1. Ich muß einen neuen RAID mit mind. 4 x 36 GB Platten aufbauen - was für einen RAID Controller ist zu empfehlen? - ich dachte an ICP
ist ein Controller mit 2 Kanälen mit je Kanal 2 Platten schneller als 1Kanal mit 4 Platten ?

2. Da wir große Datenmengen rumschaufeln schaute ich mich nach einer Netzwerkkarte mit 2 100Mbit Ports um (z.B. Intel proserver)
wie läuft das unter suse 7.3 ? hat dann jeder Port eine eigene ip oder alle die gleiche woher weiss der swich welcher port gerade schneller ist
und macht es überhaut sinn bei 2 Swiches die über eine daisychain verbunden sind ?

wir möchten unsern server so hochrüsten dass ich die nächsten 2-3 jahre hardwareseitig ruhe habe.
Spielt doch einfach durch wie ihr soeinen server aufbauen würdet
danke im vorraus marco

Rossi

Re: Hardwareauswahl bei Serverhochrüstung

#2 Post by Rossi »

1) Ein Raid Controller mit 2x2 PLatten könnte Probleme machen, da zwei Platten kein RAID5 bilden könnn (logo). Nicht jeder Kontrller kann ein RAID über mehrere anäle bieten. Geschwindigkeitsvorteile sind keine zu erwarten - zumindest nicht mit einem U160 Kontroller.
Welcher von Linux unterstützt wird ist eine Fage für die SuSE Datenbank oder eine andere "Hardwarekompatibilitätsliste" - sollte nicht zu jung sein, die Unterstützung. Habe hier einen IBM Servraid Kontroller (Mylex DAC960), der läuft einwandfrei, ist aber auch uralt und "nur" UW. Vergiß nicht, das der PCI Bus die Datenrate auch limitiert (außer Du hast 64/66 PCI) - auf theoretisch 133Mbyte/sec - die aber auh mit den anderen Karten (insbesondere Netzwerk) geteilt werden wollen und in der Praxis sowieso nie erreicht werden vom Chipsatz. Bei 4 Platten mit über 20Mbyte/sec und ner Gigabit Karte kommt der Bus schnell an seine Grenzen. Dafür ist er ja aber auch da :)

Zwei Netzwerkkarten machen nur Sinn, wenn beide Karten in unterschiedlichen Subnetzen liegen - oder anders - zwei Netzwerkkarten im gleichen Subnetz können zu Problemem führen. Da ist eine "schnelle" Karte (Gigabit) schon Sinnvoller - braucht aber vermutlich einen neuen Switch.
Die Intel Proserver kenn ich nicht, kann ich also nichs zu sagen - _glaube_ aber nicht, das das was anderes ist als zwei Netzwerkkarten auf einer Platine.

Zum Tuning - es macht bei Mehrprozesorsystemen Sinn, die Netzwerkkarte an eine CPU zu binden (bzw. den Interrupt der Netzwerkkarte). Das geht über /proc - wie genau, bin ich auch noch am Suchen, weil ich das gleiche "Problem" habe.

Weiterhin ist für Dateiserver Speicher wichtig. Wichtiger als Rechenleistung, die bei Dir ja so oder so Reichlich vorhanden ist. Auf jeden Fall genug, um eine Gigabit Karte zu bedienen. Die Dateisystemwahl ist sicherlich auch ein nicht zu unterschätzender Faktor und gibt immer einen Grund zu Flamen :) Ich persönlich schwöre auf XFS. Evtl. muß samba neu übersetzt werden, wenn Du auch unter NT die ACLS setzen können willst.

P.S.: Von den Adaptec Raid Kontrollern ist abzuraten. Langsam bei default und der Linuxtreiber ist wohl nicht der beste. Vortex läuft wohl seit Ewigkeiten gut auf Linux - muß man mal schauen, wie die neueren Modelle Unterstützt werden. ICP (Vortex) ist aber sicher eine gute, wenn nicht die sogar die beste, weil erprobteste, Wahl.

Ob Du damit 2-3 Jahre Ruhe hast, hängt natürlich von der Expansion des Netzes ab. Vermutlich reicht es performancemäßig aber auch, wenn Du einfach die 9GB Platten durch die 36er ersetzt, ohne viel zu investieren und einfach ein wenig SuSE tuning betreibst (neuer Kernel, überflüssige Pakete entfernen, Skripte entschlacken). Falls nocht nicht geschehen. Denn, ob der Preis für einen neuen Kontroller den vermutlich eher marginalen Geschwindigkeitszuwachs lohnt, ist doch recht fraglich.

odauter
Posts: 460
Joined: 17. Apr 2000 20:05
Location: Hamburg
Contact:

Re: Hardwareauswahl bei Serverhochrüstung

#3 Post by odauter »

FYI: Wir haben sehr erfolgreich einen ICP Vortex GDT4513RZ (1 Kanal - 160MB/sec - RAID 0, 1, 4, 5, 10) am laufen. Ist fix und wird mit super Tools geliefert.

> Zwei Netzwerkkarten machen nur Sinn, wenn beide Karten in unterschiedlichen Subnetzen liegen - oder anders - zwei Netzwerkkarten im gleichen Subnetz können zu Problemem führen.
Sorry, da bin ich anderer Meinung. Wenn die beiden Karten an einem Switch hängen und man auf die beiden verschiedenen IP-Adressen verschiedene Deamons verteilt macht das durchaus Sinn.
bye.olli
--
"Where's Oswald when we need him.."

Rossi

Re: Hardwareauswahl bei Serverhochrüstung

#4 Post by Rossi »

Dann mußt Du aber aufpassen, das samba nur auf eine IP (bzw. nicht auf der anderen ds gleichen Subnetzes) hört. Zumindest, wenn dieser PDC óder Masterbrowser spielt.
Weiterhin kann Namensauflösung Probleme machen, wenn der gleiche Hostname im gleichen Subnetz mit zwei Unterschiedlichen IP Adressen auftritt: bekommt nun der Client, der den Server mit Namen anspricht, die "falsche" IP zurückgeliefert, trifft er dort keinen Dienst an (zwei oder mehr gleiche Namen mit unterschiedlicher IP bewirkt bei neueren Bind eine Art Load-Balancing).
Weiterhin ist fraglich, wie Windows (oder NFS) Clients darauf reagieren, das eine Freigabe andauernd die IP wechselt. Zugegeben, bei NFS weniger ein Problem, da dort vermutlich eh die IP Adresse anstelle des Rechnernamens angegeben wird. Wie aber NetBIOS das handelt, ist fraglich - insbesondere, da NetBIOS Broadcastbasiert ist.
Bei anderen Diensten _kann_ es ebenfalls zu unvorhergesehenem Verhalten kommen, wenn nun ein Hostname im gleichen Subnetz mehrmals auftritt - ein Risiko, das ich nicht auf mich nehmen würde. Gibst Du der zweiten IP nun in der /etc/hosts oder im Bind einen anderen Namen, so kan es passieren, das ein Dienst sich nicht "lokal" auf der IP fühlt, weil der aufgelöste Name nicht zum Hostnamen passt. Miserabel ausgedrückt, aber ich denke, Du verstehst was ich meine.

Ergo, Du mußt mittelschwer aufpassen, bei so einem Vorhaben. Der Switch spielt da auch keine Rolle - der ist eh transparent. Lasse mich aber gerne über Gedankenfehler belehren.

odauter
Posts: 460
Joined: 17. Apr 2000 20:05
Location: Hamburg
Contact:

Re: Hardwareauswahl bei Serverhochrüstung

#5 Post by odauter »

> Dann mußt Du aber aufpassen, das samba nur auf eine IP (bzw. nicht auf der anderen ds gleichen Subnetzes)
> hört.
Jo, hatte ich ja gesagt, daß man die Deamons entsprechend konfigurieren muß, daß die nur auf einer Seite horchen.
Ich hatte da aber auch weniger Samba, als zB. Webserver im Hinterkopf. Ich verteile zB. verschiedene virtuelle Hosts und entsprechend deren Last auf verschiedene IP-Adresse bzw. Netzwerkkarten. Ähnliches ist auch mit zB. FTP-Hosts denkbar. Funktioniert bei mir bestens.

> Weiterhin kann Namensauflösung Probleme machen, wenn der gleiche Hostname im gleichen Subnetz mit zwei
> Unterschiedlichen IP Adressen auftritt
Schreibt Dir ja niemand vor, daß diese IP-Adresse alle mit dem selben Namen aufgelöst werden müssen.

> Miserabel ausgedrückt, aber ich denke, Du verstehst was ich meine.
<img src="http://www.pl-forum.de/UltraBoard/Images/Happy.gif" border="0" align="middle"> Jo, sicher. Ist, wie gesagt, eine reine Konfigurationsfrage. Aber da stecken schon Tücken im Detail, keine Frage...

> Der Switch spielt da auch keine Rolle - der ist eh transparent.
Switch nur, damit man auch wirklich einen Nutzen im Netz-Durchsatz hat und nicht an den Kollisionen verreckt.
bye.olli
--
"Where's Oswald when we need him.."

marco

Re: Hardwareauswahl bei Serverhochrüstung

#6 Post by marco »

danke für euren aufwand und hilfe,
ich habe mich nun entschlossen die orginal intel netzwerkkarte 100 Mbit drinzulassen, und einen ICP Vortex GDT8523RZ einzubauen.
Der Controller hat raid 0,1,4,5,10 und kann bis auf 256 MB Cache hochgerüßtet werden. damit hab ich den vorteil das wenn (in 2-3 Jahren) die
Kapazität nicht mehr aussreicht - einfach nur ein externes RAID Gehäuse mit einem neuen Verbund einhängen muss. Als Filesystem dachte ich an
Reiser (läuft seit genau einem Jahr ohne Probl.) - oder sind andere JFS (von IBM-AIX, HP ...) besser? es muss halt so leicht administrierbar sein
wie möglich sein aber auch schnell und stabil. Bringen mehrere kleine Paritionen mehr als 3 (swap-1Gb, /-4GB ,/daten-90GB) große Partitionen ?
Wenn interesse besteht kann ich ja hier von meinem Fortschritt im Serverbau und Installation berichten und auch nachfragen -)
Termin ist zwischen Weihnachten und Neujahr oder fals es schneit und ich im skiurlaub bin in der KW1.

marco

Rossi

Re: Hardwareauswahl bei Serverhochrüstung

#7 Post by Rossi »

Nur zur Info: Das Linux-JFS stammt von OS/2 ab, nicht von AIX. Was es absolut nicht schlchter macht. Auch das JFS für AIX5 kommt afaik von diesem und nicht von seinem Vogänger (steht irgendwo auf der IBM Seite). Ansonsten sind, wie schon bemerkt, Dateisysteme Religionsfragen.
Ich stehe auf XFS, weil es im Gegensatz zu Reiser (oder JFS?) mit verünftigen Werkzeugen (xfsrepair, xfsdump & co) kommt und ACLs kann - sehr von Vorteil mit samba, wenn Du ACls über NT einstellen willst (muß samba neu übersetzt werden mit --with-acl).
Qualitativ sind sie sicherlich alle gut. Mit ein wenig suchen findest Du Horrorstories zu jedem Dateisystem.
Laut XFS Mailingliste laufen einige wirklich große Systeme (mit mehreren TB) auf XFS. Das trifft aber sicherlich auch auf ext3, Reiser oder JFS zu. Reiser kommt allerdings ohne wirklich zuverlässiges Repair Tool daher (hat sich geändert ?). Keine Ahnung von JFS. ext3 kann afaik klassisches fsck benutzen. Der ACL patch für ext2 funktioniert glaube ich auch mit ext3, falls ACLs von Interesse sind. Selber überprüfen.
Und Benchmarks sind generell so aussagekräftig wie die Aussagen von Microsoft über Linux. Wenn Du Zeit hast: testen. Ansonsten muß Dein Gefühl entscheiden.

Kurz: Ob andere "besser" sind, mußt Du entscheiden. Da wird Dir sicherlich jeder was anderes sagen und genauso unrecht haben.

Ob mehrere kleine Partitionen was bringen als wenige Große, hängt von dem Zugriffsverhalten ab. Geschickt aufgeteilt, können mehrere kleinen einen leichten Vorteil bringen. Kann aber auch von Nachteil sein. Dramatische Auswirkungen sind aber eher nicht zu erwarten.

Ergo: Das gute (oder schlechte) ist, es gibt keine Genereallösung. Es hängt alles (bzw. vieles) von Deinem spezifischen Einsatszweck und Deinen Anforderungen ab.

Amen

Anno

Re: Hardwareauswahl bei Serverhochrüstung

#8 Post by Anno »

Hallo,

hast Du auch das Problem der Blockgröße, das die Dateien sehr große Blöcke belegen bzw mal drauf geachtet.
Ich betreibe auch Samba-Fileserver und habe dieses jetzt zufällig festgestellt, weil sich die Partition so schnell füllte. Bei einer 30 GB Partition werden pro Datei 512K belegt, 5GB-128K, 10GB-256K pro Datei. Wäre nett, wenn Du das mal testen könntest.

Der ICP-Controller läuft bei uns sehr stabil und zuverlässig, auch die Remote-Überwachung des Controllers ist sehr gut.

Gruß Anno

trinity
Posts: 821
Joined: 12. Oct 2001 10:04

Re: Hardwareauswahl bei Serverhochrüstung

#9 Post by trinity »

@Anno
XFS ist darauf ausgelegt, große Blöcke zu benutzen (z. B. sehr große DB´s etc.). Deswegen auch eher empfohlen bei vielen/kleinen Dateien eher ein anderes Fielsystem zu verwenden.
"Korrekt, Freundlich, Kostenfrei", wähle genau zwei. (Lutz Donnerhacke in dcsf)

marco

Re: Hardwareauswahl bei Serverhochrüstung

#10 Post by marco »

@rossi
ich kenn mich mit dem XFS garnicht aus wie läuft das mit dem Samba compilieren und wie sieht es aus wenn ich nach deinem GAU mit der suse cd boote
wird dann das FS automatisch erkannt? wass gibt es bei ReiserFS für tools und wie gut sind die?
- ich frage deshalb so aufdringlich weil mein wissen über Linux nicht das beste ist und wenn unser Fileserver platt ist ich ein riesenproblem hab.
habt ihr eine strategie bei einem totalausfall aller Platten oder beim ausbrennen des Serverraums ? wie sichert Ihr eure Server und wie lange dauert
die Herstellung ? bisher sichere ich nur unsere Arbeitsverzeichnisse auf DAT (jeden Freitag) und lege am Monatsende eins auserhalb der Firma ab.
Ab nächstem jahr hab ich nun das Probl. das ich mind 2-3 DDS4 Bänder brauche. Wie sichere ich das System (Linux ohne Nutzdaten) am besten ?
fragen über fragen ....

Danke Marco

trinity
Posts: 821
Joined: 12. Oct 2001 10:04

Re: Hardwareauswahl bei Serverhochrüstung

#11 Post by trinity »

@marco
war zwar nicht gemeint, trotzdem.
Suse unterstützt AFAIK xfs nicht. Du wirst also ein ziemlich blödes gesicht machen, wenn du mit ner SuSE CD bootest (und xfs verwendest).
Wieso willst du Samba kompilieren, liegt doch deiner distribution schon bei. Samba hat auch gar nichts mit XFS zu tun (wie kommst du darauf?)
Wenn du nach einem GAU booten könntest, was aber nicht geht (was sagt uns GAU nämlich?).

>habt ihr eine strategie bei einem totalausfall aller Platten oder beim ausbrennen des Serverraums?
beten. <img src="http://www.pl-forum.de/UltraBoard/Images/Happy.gif" border="0" align="middle">

>bisher sichere ich nur unsere Arbeitsverzeichnisse auf DAT (jeden Freitag) und lege am Monatsende eins auserhalb der Firma ab.
Das bedeutet im worst case hast du 30 Tage vergeudete Arbeit. Darüber solltest du vielleicht nochmal nachdenken.

>Ab nächstem jahr hab ich nun das Probl. das ich mind 2-3 DDS4 Bänder brauche.
Wie sicherst du überhaupt, hast du 2-3 Laufwerke oder musst du die von Hand Wechseln? Wenn von Hand, wie stellst du sicher, dass du die aktuellen Daten gesichert hast (ich gehe mal davon aus, dass du nicht Nachts arbeitest)?

>Wie sichere ich das System (Linux ohne Nutzdaten) am besten?
Ich persönlich sichere das Betriebssystem eigentlich gar nicht (bin der Ansicht, bei der einfachen konfiguration bin ich genauso schnell mit einer Neuinstallation). Alternativen dazu wären (was eigetnlich auch eine simple und effiziente Art ist) ein Image der Linuxpartition anzulegen.
Last edited by trinity on 14. Dec 2001 18:07, edited 1 time in total.
"Korrekt, Freundlich, Kostenfrei", wähle genau zwei. (Lutz Donnerhacke in dcsf)

Post Reply