ich versuche das mal zusammen zufassen ich habe 21 OSDs, 3MONs und 2 MDSs, insgesamt ca 21TB speicher. server 1, 16 cpus (2 *4 + virtuelle), 3 OSDs (jede auf einer eigenen platte), journal ist hier auch auf den Festplatten (normale Satas), 24 GB Ram,Intel Xeon, hier läuft noch ein MON mit. Server 2, 16 Cpus(wie oben) 32GB Ram, 2 SSDs (Intel SSDSA2CW16), LSI Raid Controller mit 8 Festplatten. Ein OSD pro Festplatte, 4 Platten lagern das Journal auf einer SSD. Ein MON und ein MDS läuft auf den normalen Festplatten. Festplatten sind alles normale SATAs (jeweils 1TB). Server 3, $Cpus, 16GB Ram, 2 SSDs wie bei Server 2. 8 * 1,5 TB Sata, zuweisung wie bei Server 2. Server 4, virtualisiert, nix wildes, hat nur einen MON.
Die drei echten Server haben alle nur Gigabit was momentan mein Flaschenhals ist. Das ganze läuft auf Centos 6 mit Ceph 0.72. Gespeichert wird alles dreimal.
radosbench von einer virtualisierten ksite mit 800mbit
rados -p rbd bench 60 write
Total writes made: 1284 Write size: 4194304 Bandwidth (MB/sec): 84.743
Stddev Bandwidth: 15.7669 Max bandwidth (MB/sec): 112 Min bandwidth (MB/sec): 0 Average Latency: 0.755054 Stddev Latency: 0.399712 Max latency: 3.26108 Min latency: 0.14129
ich versuche das mal zusammen zufassen
ich habe 21 OSDs, 3MONs und 2 MDSs, insgesamt ca 21TB speicher. server 1, 16 cpus (2 *4 + virtuelle), 3 OSDs (jede auf einer eigenen platte), journal ist hier auch auf den Festplatten (normale Satas), 24 GB Ram,Intel Xeon, hier läuft noch ein MON mit.
Server 2, 16 Cpus(wie oben) 32GB Ram, 2 SSDs (Intel SSDSA2CW16), LSI Raid Controller mit 8 Festplatten. Ein OSD pro Festplatte, 4 Platten lagern das Journal auf einer SSD. Ein MON und ein MDS läuft auf den normalen Festplatten. Festplatten sind alles normale SATAs (jeweils 1TB). Server 3, $Cpus, 16GB Ram, 2 SSDs wie bei Server 2. 8 * 1,5 TB Sata, zuweisung wie bei Server 2. Server 4, virtualisiert, nix wildes, hat nur einen MON.
Die drei echten Server haben alle nur Gigabit
was momentan mein Flaschenhals ist. Das ganze läuft auf Centos 6 mit Ceph 0.72. Gespeichert wird alles dreimal.
radosbench von einer virtualisierten ksite mit 800mbit
rados -p rbd bench 60 write
Total writes made: 1284
Write size: 4194304
Bandwidth (MB/sec): 84.743
Stddev Bandwidth: 15.7669
Max bandwidth (MB/sec): 112
Min bandwidth (MB/sec): 0
Average Latency: 0.755054
Stddev Latency: 0.399712
Max latency: 3.26108
Min latency: 0.14129