Viele Dateien verschieben führt zu Problemen

Post Reply
Message
Author
Rossi

Viele Dateien verschieben führt zu Problemen

#1 Post by Rossi »

Moin und frohes neues,

wollte gestern um die 11GB verschieben (von einer Partition auf ne andere).

cd verzeichnis
mv * /verzeichnis2/

Kam doch glatt die Meldung (nach unter einem GB), auf dem Ziel Laufwerk sei nicht mehr genügend Speicher frei, obwohl das nicht mal zu 10% belegt war.
Nun hab ich die neue Partition mit "mke2fs -T largefile" formatiert - allerdings sollten dann auch bei 50% Belegung die inoden nicht ausgehen, oder ?
Nun war ich am überlegen, da die Shell ja "*" interpretiert, ob Linux nicht versucht hat, alle Dateien parallel zu verschieben und deshalb meckert oder ob er trotzdem alle nacheinander verschiebt ?!
Das kuriose ist, die drei vorherigen Partitionen hat er anstandslos verschoben - die hatten allerdings auch weit weniger (und dafür größere) Dateien

Weiß jemand was genaues hierzu ? Ist xargs angeraten ? Meine ersten Gehversuche mit xargs gingen in die Grütze, vielleicht hat jemand einen Tip.

Nun zum zweiten, größeren Problem:

Ich habe nun festgestellt, das einige Dateien auf beiden Partitionen doppelt vorhanden sind (sie wurden quasi kopiert anstatt verschoben) und einige zum Teil auf der einen, ein anderer Teil schon auf der neuen Partition liegen.
Gibt es eine Möglichkeit herauszufinden, welche der doppelten Dateien unterschiedliche Größen haben und welche Dateien auf der neuen noch fehlen ?

Ein erneutes "mv *" brach mit der Fehlermeldung ab, das Verzeichnis xy könne nicht überschrieben werden. Sollte es auch nicht, es sollten einfach nur die fehlenden Dateien verschoben werden.

Bei 11GB ist eine "manuelle" Überprüfung aller Dateien eher unrealistisch (da es sich nicht um Filme oder andere, großen Dateien handelt, sondern um eine recht verzweigte Ordnerstruktur).

Danke für jede Erleuchtung

gewitter
Posts: 1354
Joined: 09. Apr 2001 9:03

Re: Viele Dateien verschieben führt zu Problemen

#2 Post by gewitter »

warum benutzt du nicht midnightcommander? kurz mc auf der konsole eingeben, bzw bei google danach suchen.

Rossi

Re: Viele Dateien verschieben führt zu Problemen

#3 Post by Rossi »

Weil das Kind jetzt schon in den Brunnen gefallen ist ? Hätte ich sicherlich machen sollen, aber "mv *" lohnt eigenlich nicht den Aufwand - zumal ich auch gerne die Ursache wüßte, so rein Verstädniß technisch.

trinity
Posts: 821
Joined: 12. Oct 2001 10:04

Re: Viele Dateien verschieben führt zu Problemen

#4 Post by trinity »

Ob dir die Inodes ausgehen oder nicht, hängt sehr stark von der Anzahl und größe der Files ab. Der Plattenplatz spielt keine Rolle mehr, wenn deine Dateien nur 1 Byte "groß" sind <img src="http://www.pl-forum.de/UltraBoard/Images/Wilk.gif" border="0" align="middle">

mv -i fragt ob du eine vorhandene Datei ersetzen willst.
"Korrekt, Freundlich, Kostenfrei", wähle genau zwei. (Lutz Donnerhacke in dcsf)

User avatar
hjb
Pro-Linux
Posts: 3264
Joined: 15. Aug 1999 16:59
Location: Bruchsal
Contact:

Re: Viele Dateien verschieben führt zu Problemen

#5 Post by hjb »

Hi,

ich weiß zwar nicht, was mv hier für ein Problem hat, aber wenn es um das Verschieben zwischen verschiedenen Partitionen geht, macht mv intern doch nichts anderes als ein cp und danach ein rm. Eigentlich dürfte es das gar nicht zulassen, weil es gegen die UNIX-Philosophie verstößt, daß weniger mehr ist. Wenn es zum Verschieben zwischen Partitionen schon cp (oder tar) und rm gibt, dann braucht man diese Funktion nicht in mv. Typisches Beispiel von GNU-Bloat.

Gruß,
hjb
Pro-Linux - warum durch Fenster steigen, wenn es eine Tür gibt?

Rossi

Re: Viele Dateien verschieben führt zu Problemen

#6 Post by Rossi »

@lutz: Kann ich irgendwo feststellen, wieviele freie Inodes ich noch hab ? Hab das Inode Prinzip nie Begriffen. Momentan hab ich eine pro MB - wenn mkfs.ext2 mich nicht besch*** hat. Heißt das, das ich bei 15GB 15000 Inodes hab ?

@hjb: Im Gegensatz zu "cp" behält "mv" die Eigentümer bei (ohne extra Argumente). Mit "tar" hast Du das Problem, das Du entweder extra Platz für das Archiv brauchst - oder unnötig Rechenleistung verbrätst, wenn Du ein tar gleich in ein untar "pipest". Und bei meinem "Server" braucht "mv" gerne mal 50% CPU Last bei Platte zu Platte kopien.
Also mv ist schon nicht verkehrt - wenn es denn _immer_ so funktionieren würde, wie ich wollte. Was mich vor allem wurmt, ist, warum bereits verschobene Dateien nicht gelöscht wurden - und zwar en masse (locker 2GB). Finde zu Hause ein sch*** Platten-Chaos vor, und das, wo ich doch Frühschicht hatte und eigentlich dringenst in die Heia müßte. Na gut, nicht euer Problem.

Die Grundfrage aber ist erstmal - ein "mv *" oder von mir aus auch ein "cp *" - werden hier alle Dateien nacheinander kopiert oder versucht die Shell alle Dateien gleichzeitig zu kopieren (bzw. eifrig Prozesse erzeugt) - weil die Shell "*" durch alle Dateien ersetzt.

O.T.: mir war neu, das "mv" eine Gnu Erfindung ist. Ohne Sarkasmus. Mal checken, ob Tru64 das auch hat. Nichtsdesto Trotz ziehe ich als alter Windowsfreak die komfortable bash der "klassischen" sh eindeutig vor. Und läge die bash nicht unter /usr/local/bin, würde sie vermutlich bei mir auch die tcsh als Wurzelmuschel unter BSD ersetzen :^)

Und natürlich danke an alle Antworter.

trinity
Posts: 821
Joined: 12. Oct 2001 10:04

Re: Viele Dateien verschieben führt zu Problemen

#7 Post by trinity »

@hjb
da aber *nix ohne Laufwerksbuchstaben auskommt, müsste man sich beim Verschieben jedesmal Gedanken darüber machen ob man nun über Partitionen hinweg kopiert oder nicht. Das sit nicht sonderlich angenehm, klar man kann auf die Fehlermeldung warten <img src="http://www.pl-forum.de/UltraBoard/Images/Happy.gif" border="0" align="middle">
Ich glaube aber, dass es bei mir tatsächlich (vor langer Zeit...) mal Fehlermeldungen beim Verschieben über Partitionen hinweg gab.

@Rossi
Anzahl der Inodes bestimmt die max. Anzahl der Dateien. Keine Inodes => keine neuen Dateien
Befehl für die Anzahl freier Inodes: df -i
Wenn du eine pro MB hast, und 15GB, dann hast du 15.360 Inodes <img src="http://www.pl-forum.de/UltraBoard/Images/Happy.gif" border="0" align="middle">

Die Dateien werden nacheinander verschoben. Zumindest habe ich in der Prozessliste vor kurzem nichts anderes entdecken können.
"Korrekt, Freundlich, Kostenfrei", wähle genau zwei. (Lutz Donnerhacke in dcsf)

gewitter
Posts: 1354
Joined: 09. Apr 2001 9:03

Re: Viele Dateien verschieben führt zu Problemen

#8 Post by gewitter »

selbst wenn das kind schon in den brunnen gefallen ist, lässt sich das problem immer noch mit mc lösen.

Rossi

Re: Viele Dateien verschieben führt zu Problemen

#9 Post by Rossi »

Moin (oder eher Nacht):

also: Ich habe beim "Rücksichern" mc benutzt. Einige Datien fehlen zwar (bzw. sind korrupt), aber das ist kein Problem von mc.

Ich habe also sämtliche Dateien zurück kopiert, und die Platte neu formatiert (ohne "-T largefile") und siehe da, es hat geklappt (allerdings auch mit mc - der aber wohl auch nur ein "mv" macht).

Hab auf die "neue" Freie Partition ein paar große Dateien kopiert, und es sieht tatsächlich so aus, als ob die Dateien Nacheinander kopiert werden.

Ergo: Ich hatte vermutlich zuwenig Inodes. Auf "man df" hätte ich selber kommen müssen - trozdem (oder gerade deswegen) vielen Dank. An alle. Werd die neue "freie" noch mal mit largefile formatieren, kopieren und dann mal sehen, ob es wirklich daran lag. Sieht aber ganz danach aus.

gewitter
Posts: 1354
Joined: 09. Apr 2001 9:03

Re: Viele Dateien verschieben führt zu Problemen

#10 Post by gewitter »

ich denke der mc macht nicht nur ein mv, er macht auch eine menge management drumrum und darum ist er für sowas erste wahl.

Post Reply