wget ..... ?

[Stormbringer]

Hallo,
ist es mit wget möglich, nicht eine komplette Website zu saugen, sondern nur bestimmte Unterverzeichnisse?
Wenn ich eingeben <i>wget http://xxx.yyy.com/verz1/ -R</i> wird nicht nur das Verzeichnis1 (verz1), sondern auch alles andere unter http://xxx.yyy.com heruntergeladen.
Gruß & Danke

[wd]

schau mal hier nach:

http://www.amigascene.com/deutsch/0x0078.html

http://www.pl-berichte.de/berichte/wget-doku.html


gruss
wd

[Stormbringer]

Danke soweit!
... bin aber leider an selbigen Punkt wie vorher ...
Habe selbstredend vorher auf Pro-Linux gesucht, und ebenfalls den Artikel gelesen - habe aber ggf. die Bilder nicht ordentlich genug studiert. Zumindest scheint es so, als wenn per wget tatsächlich nur einzelen Dateien, oder komplette Websites zu saugen sind ... mmh ... schade ... wird auch so auf der Amiga Site beschrieben.

Trotzdem Danke!

[ronny]

du bist sicher, das du auch die man page gelesen hast (das nehme ich mal)

--no-parent dürfte sein was du willst

[andib]

...und -l 1 ist auch ganz praktisch (wenn man keine Unterverzeichnisse will)

CU
Andi

[Stormbringer]

@Ronny
Ich habe die man Page gelesen, es aber so verstanden, daß -R nicht mit -no-parent zusammen nutzbar ist. Aber, daß muß ich zugeben, ich habe es dann nicht mehr weiter probiert .... mach' ich aber sogleich.

@Andi
nettes Feature, aber ich benötige alle Unterverzeichnisse ab einem bestimmten Unterverzeichnis, mit sämtlichen Dateien darin.

Anwendung:
es geht darum, daß wir einen automatischen Prozeß zum updaten unseres Produktkatalogs erstellen möchten. Die Daten für diesen Katalog (Produktbeschreibungen; Einsatzzwecke; etc.) liegen aufgrund der unterschiedlichen Produktfamilien auf verschiedenen Intranetsystemen im Firmennetzwerk - nämlich dort, wo dieses Produkt entweder erstellt, oder aber von Drittfirmen hinzugekauft wird. Somit benötige ich immer den kompletten Inhalt eines bestimmten Verzeichnisses. Sind diese Daten dann gesammelt, kann ich sie z. B. mit ftp auf den eigenen Server plazieren - und dort sind diese dann immer halbwegs aktuell (def acto erfolgt der update alle 24h).

Gruß

[Stormbringer]

... ups ..... vielleicht in Zukunft lieber einmal zu oft probieren, als frühzeitig eine Frage zu stellen ... <img src="http://www.pl-forum.de/UltraBoard/Images/Happy.gif" border="0" align="middle">
Siehe da, per <i>wget http://xxx.yyy.com/verz1/ -r --no-parent</i> funzt es.

Merci!

[Stormbringer]

Eine weitere Frage zu wget ....
per <i>-R</i> bzw. <i>--reject</i> können aufgelistet Dateierweiterungen übergangen werden (z. B. per <i>--reject=gif</i> werden keine *.gif Dateien abgerufen. Ähnliches funzt per <i>-D</i> bzw. <i>--domains</i> für Domains.
Gibt es das auch für Dateien?
Momentan werden unterschiedlichste index Dateien mit heruntergeladen (main.html, index.htm, index.html, main.asp, etc.). Gibt es auch für solch einen Fall eine Option? Gefunden habe ich keine ...
Oder kann ich diese später noch irgendwie loswerden?

Danke & Gruß

[Hägar]

Hi,

warum umständlich wenn es auch kompliziert geht?

Wenn es nur eine überschaubare Menge an Dateien handelt, warum nicht per ASCII-Datei downloaden?
Ein Beispiel gefällig.

wget -i x.txt (mit folgendem Inhalt)

ftp://ftp.cs.tu-berlin.de/pub/X/XFree86 ... 0src-3.tgz
usw.

CU
Hägar

[Stormbringer]

... weil vor dem download eigentlich niemand bei uns genau weiß, welche Daten (Dateien) ins Intranet gestellt wurden.
Von daher ist eine Vorauswahl der abzurufenden Daten, gelinde gesagt, gefährlich. <img src="http://www.pl-forum.de/UltraBoard/Images/Wilk.gif" border="0" align="middle">
Dies können *.html, *.doc, *.pdf Daten sein, aber urplötzlich auch *.xml. Von daher lieber erst alles saugen, und dann nachher nach festgelegten Kriterien (alle welche Apache auswertet) betreffende Dateien löschen.

Danke & Gruß