Kannst Du mehr über dein Setup verraten? Wie viele Nodes mit wie vielen OSDs setzt Du ein? SATA oder SAS-Festplatten? Welche SSDs und wie sind die Server dimensioniert? Vor allem aber: wie performant ist das Setup? Ich habe einen kurzen Test mit mehreren alten PCs gemacht. Das waren vor allem Pentium Dual Core-Systeme mit 2GB RAM und jeweils einer 2TB SATA-Festplatte. Das Journal habe ich auf der gleichen Festplatte gehabt, für das System ist eine extra Festplatte vorhanden. Ich habe 5 Nodes, also 5 OSDs benutzt. Alle über 1GBit. Dann habe ich eine weitere, performantere Maschine benutzt um ein RBD zu testen. Mit den 5 Nodes konnte ich den GBit-Link nicht saturieren. Ich hatte starke Schwankungen bei sequentiellen Schreib- und Leseoperationen. 30MB/s war das maximum mit 100IOPS. Als Betriebssystem diente auf allen 6 Testmaschinen ein frisch installiertes Ubuntu 12.04 mit Ceph 0.72.
Über mehr Informationen würde ich mich sehr freuen! Viele Grüße!
ich versuche das mal zusammen zufassen ich habe 21 OSDs, 3MONs und 2 MDSs, insgesamt ca 21TB speicher. server 1, 16 cpus (2 *4 + virtuelle), 3 OSDs (jede auf einer eigenen platte), journal ist hier auch auf den Festplatten (normale Satas), 24 GB Ram,Intel Xeon, hier läuft noch ein MON mit. Server 2, 16 Cpus(wie oben) 32GB Ram, 2 SSDs (Intel SSDSA2CW16), LSI Raid Controller mit 8 Festplatten. Ein OSD pro Festplatte, 4 Platten lagern das Journal auf einer SSD. Ein MON und ein MDS läuft auf den normalen Festplatten. Festplatten sind alles normale SATAs (jeweils 1TB). Server 3, $Cpus, 16GB Ram, 2 SSDs wie bei Server 2. 8 * 1,5 TB Sata, zuweisung wie bei Server 2. Server 4, virtualisiert, nix wildes, hat nur einen MON.
Die drei echten Server haben alle nur Gigabit was momentan mein Flaschenhals ist. Das ganze läuft auf Centos 6 mit Ceph 0.72. Gespeichert wird alles dreimal.
radosbench von einer virtualisierten ksite mit 800mbit
rados -p rbd bench 60 write
Total writes made: 1284 Write size: 4194304 Bandwidth (MB/sec): 84.743
Stddev Bandwidth: 15.7669 Max bandwidth (MB/sec): 112 Min bandwidth (MB/sec): 0 Average Latency: 0.755054 Stddev Latency: 0.399712 Max latency: 3.26108 Min latency: 0.14129
Kannst Du mehr über dein Setup verraten? Wie viele Nodes mit wie vielen OSDs setzt Du ein? SATA oder SAS-Festplatten? Welche SSDs und wie sind die Server dimensioniert? Vor allem aber: wie performant ist das Setup? Ich habe einen kurzen Test mit mehreren alten PCs gemacht. Das waren vor allem Pentium Dual Core-Systeme mit 2GB RAM und jeweils einer 2TB SATA-Festplatte. Das Journal habe ich auf der gleichen Festplatte gehabt, für das System ist eine extra Festplatte vorhanden. Ich habe 5 Nodes, also 5 OSDs benutzt. Alle über 1GBit. Dann habe ich eine weitere, performantere Maschine benutzt um ein RBD zu testen. Mit den 5 Nodes konnte ich den GBit-Link nicht saturieren. Ich hatte starke Schwankungen bei sequentiellen Schreib- und Leseoperationen. 30MB/s war das maximum mit 100IOPS.
Als Betriebssystem diente auf allen 6 Testmaschinen ein frisch installiertes Ubuntu 12.04 mit Ceph 0.72.
Über mehr Informationen würde ich mich sehr freuen! Viele Grüße!
ich versuche das mal zusammen zufassen
ich habe 21 OSDs, 3MONs und 2 MDSs, insgesamt ca 21TB speicher. server 1, 16 cpus (2 *4 + virtuelle), 3 OSDs (jede auf einer eigenen platte), journal ist hier auch auf den Festplatten (normale Satas), 24 GB Ram,Intel Xeon, hier läuft noch ein MON mit.
Server 2, 16 Cpus(wie oben) 32GB Ram, 2 SSDs (Intel SSDSA2CW16), LSI Raid Controller mit 8 Festplatten. Ein OSD pro Festplatte, 4 Platten lagern das Journal auf einer SSD. Ein MON und ein MDS läuft auf den normalen Festplatten. Festplatten sind alles normale SATAs (jeweils 1TB). Server 3, $Cpus, 16GB Ram, 2 SSDs wie bei Server 2. 8 * 1,5 TB Sata, zuweisung wie bei Server 2. Server 4, virtualisiert, nix wildes, hat nur einen MON.
Die drei echten Server haben alle nur Gigabit
was momentan mein Flaschenhals ist. Das ganze läuft auf Centos 6 mit Ceph 0.72. Gespeichert wird alles dreimal.
radosbench von einer virtualisierten ksite mit 800mbit
rados -p rbd bench 60 write
Total writes made: 1284
Write size: 4194304
Bandwidth (MB/sec): 84.743
Stddev Bandwidth: 15.7669
Max bandwidth (MB/sec): 112
Min bandwidth (MB/sec): 0
Average Latency: 0.755054
Stddev Latency: 0.399712
Max latency: 3.26108
Min latency: 0.14129