Langsames 1Gbit Netzwerk

Post Reply
Message
Author
Caipi

Langsames 1Gbit Netzwerk

#1 Post by Caipi »

Hallo,

bin seit ca. 4 Wochen an einem Netzwerkproblem zu gange bei dem ich nicht weiterkomme. Habe es auch schon mal in anderen Foren versucht leider ohne Erfolg, gibt es hier jemanden der mir helfen kann?

Habe zwei Systeme (eins Live-Server, eins zum testen)

1. Liveserver: Opteron auf einem Tyan K8S Pro, 3Ware-Raidcontroller an PCI-Bridge-A, 1Gbit 3com 3c966B-T an PCI-Bridge-B + 2x 1Gbit Onboardnetzwerkkarte (Broadcom). Gentoo 64bit-System

2. Test-Server: Athlon64 auf nforce4 mit 1Gbit Onboard Netzwerkkarte. Gentoo 64bit-System, aber auch schon mit Ubuntu 64bit und Gentoo 32bit getestet.

Bei der Übertragung großer Daten von einem Client zu einem der Server habe ich beim Download volle Bandbreite beim Upload nur die ersten 500MB ab dann gibt es fast keine Bandbreite mehr, wenn ich mir die Übertragung Grafisch anzeigen lasse (auf einem Client OSX oder WinXP) sehe ich, dass die Übertragung für 2-3 Sekunden komplett unterbrochen wird, dann eine Sekunde daten gesendet werden und dann wieder 2-3 Sekunden nichts usw. Stelle ich fest auf 100Mbit kann ich mit 10,5MB/s hoch- und runterladen.

- Jeder Rechner steht auf Autonegotation on, und wählt Automatisch 1Gbit Full duplex
- Habe die Protokolle Samba, FTP und NFS getesttet, keine großen Unterschiede
- Die Festplatten schaffen beim lokalen kopiern auf dem Server im Schnitt 50MB/s
- Bei direkter Verbindung (Crossoverkabel) gleiches Phänomen
- WinXP Pro auf Test-Server ergibt normale Übertragung (Up/Down ~35MB/s)
- OSX 10.3.9 mit Sambashare, ergibt auch normale Übertragung (Up/Down ~35MB/s)

Folgende Ausgaben habe ich mit ethtool:
liveserver caipi # ethtool -k eth1
Offload parameters for eth1:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp segmentation offload: off
habe es auch schon mit ethtool -K eth1 tso on versucht.
liveserver caipi # ethtool -g eth1
Ring parameters for eth1:
Pre-set maximums:
RX: 511
RX Mini: 0
RX Jumbo: 255
TX: 0
Current hardware settings:
RX: 200
RX Mini: 0
RX Jumbo: 100
TX: 511
liveserver caipi # ethtool -S eth1
NIC statistics:
rx_octets: 1498044470
rx_fragments: 0
rx_ucast_packets: 1153011
rx_mcast_packets: 0
rx_bcast_packets: 298
rx_fcs_errors: 0
rx_align_errors: 0
rx_xon_pause_rcvd: 0
rx_xoff_pause_rcvd: 0
rx_mac_ctrl_rcvd: 0
rx_xoff_entered: 0
rx_frame_too_long_errors: 0
rx_jabbers: 0
rx_undersize_packets: 0
rx_in_length_errors: 0
rx_out_length_errors: 0
rx_64_or_less_octet_packets: 65
rx_65_to_127_octet_packets: 135076
rx_128_to_255_octet_packets: 25394
rx_256_to_511_octet_packets: 458
rx_512_to_1023_octet_packets: 22109
rx_1024_to_1522_octet_packets: 970207
rx_1523_to_2047_octet_packets: 0
rx_2048_to_4095_octet_packets: 0
rx_4096_to_8191_octet_packets: 0
rx_8192_to_9022_octet_packets: 0
tx_octets: 1121310249
tx_collisions: 0
tx_xon_sent: 0
tx_xoff_sent: 0
tx_flow_control: 0
tx_mac_errors: 0
tx_single_collisions: 0
tx_mult_collisions: 0
tx_deferred: 0
tx_excessive_collisions: 0
tx_late_collisions: 0
tx_collide_2times: 0
tx_collide_3times: 0
tx_collide_4times: 0
tx_collide_5times: 0
tx_collide_6times: 0
tx_collide_7times: 0
tx_collide_8times: 0
tx_collide_9times: 0
tx_collide_10times: 0
tx_collide_11times: 0
tx_collide_12times: 0
tx_collide_13times: 0
tx_collide_14times: 0
tx_collide_15times: 0
tx_ucast_packets: 1243162
tx_mcast_packets: 0
tx_bcast_packets: 59
tx_carrier_sense_errors: 0
tx_discards: 0
tx_errors: 0
dma_writeq_full: 0
dma_write_prioq_full: 0
rxbds_empty: 0
rx_discards: 0
rx_errors: 0
rx_threshold_hit: 1153308
dma_readq_full: 0
dma_read_prioq_full: 0
tx_comp_queue_full: 0
ring_set_send_prod_index: 1243221
ring_status_update: 1367398
nic_irqs: 1334967
nic_avoided_irqs: 32431
nic_tx_threshold_hit: 86473
Leider kann ich mit der Ausgabe von ethtool nicht wirklich so viel anfangen. Kann mir jemand helfen?

Grüße

Caipi

Alex.MH

#2 Post by Alex.MH »

Bei der Übertragung großer Daten von einem Client zu einem der Server habe ich beim Download volle Bandbreite beim Upload nur die ersten 500MB ab dann gibt es fast keine Bandbreite mehr, wenn ich mir die Übertragung Grafisch anzeigen lasse (auf einem Client OSX oder WinXP) sehe ich, dass die Übertragung für 2-3 Sekunden komplett unterbrochen wird, dann eine Sekunde daten gesendet werden und dann wieder 2-3 Sekunden nichts usw. Stelle ich fest auf 100Mbit kann ich mit 10,5MB/s hoch- und runterladen.
Deine Netzwerkkarten-Statistik habe ich mir angeschaut und die sieht gut aus - keine Fehler, nichts. Das was du hier beschreibst klingt nach einem ganz anderen Problem. Da du anfangs ja die volle Geschwindigkeit bekommst, deuted das darauf hin, dass dein Netzwerk in Ordnung ist. Ab 500 MB fangen dann die Aussetzer an.

Das ganze klingt fuer mich voellig normal. 500 MB kann das Betriebssystem - bei ausreichend Speicher - locker erstmal wegcachen. Dann ist das RAM aber voll und die Daten muessen auf Platte geschrieben werden. Da sind aber idR nicht viel mehr als 8 - 20MB an Datentransfer pro Sekunde drin (besonders bei RAID) - zusaetzlich stehen noch 500 MB in der Queue, die ebenfalls geschrieben werden muessen. Das Betriebssystem muss jetzt also den Netzwerkverkehr immer kurz anhalten um die Daten rauszuschreiben und wieder Platz im Speicher zu bekommen.

Uebertraegst du die Daten dagegen mit 100MBit, dann reicht die Transferleistung der Festplatten aus, um die Daten schnell genug zu schreiben.

Gruss,
Alex

Caipi

#3 Post by Caipi »

So was in die Richtung dachte ich auch schon, aber ich bin mir ziehmlich sicher das ich mit einem Gigabit-Netzwerk und einem Raid5 aus 6 HD's mehr als 9MB/s schaffen sollte, weil wie gesagt, mit 100Mbit bekomme ich auch schon 10,5MB, sobald ich aber auf Gbit stelle habe ich soviele Unterbrechungen in der Datenübertragung, dass ich für ein 5GB-File 10min brauche. Das üble ist, dass OSX die Samba-Verbindungen überwacht und bei einem Timeout > 5sekunden die Verbindung trennt, und das passiert manchmal, so kann es sein das ich eine Datei gar nicht hochladen kann weil sie zwischendrin immer eine zu lange pause hat.

Bei lokalem Transfer von einem Raid auf das andere koemme ich auf fast 60MB/s, irgendwo haengt da der wurm drin, ich weiss nur noch nicht wo.

Post Reply