Hinweis: Das Forum wird geschlossen! Neue Registrierungen sind nicht mehr möglich!

 Zurück zu Pro-Linux   Foren-Übersicht   FAQ     Suchen    Mitgliederliste
Wget Seiten spiegeln

 
Dieses Forum ist gesperrt, Sie können keine Beiträge editieren, schreiben oder beantworten.   Dieses Thema ist gesperrt, Sie können keine Beiträge editieren oder beantworten.    Pro-Linux Foren-Übersicht -> Linux-Forum (alt)
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen  
Autor Nachricht
alx



Anmeldungsdatum: 20.01.2000
Beiträge: 64

BeitragVerfasst am: 24. Aug 2000 15:45   Titel: Wget Seiten spiegeln

Ich habe ein Problem beim spiegeln von Internetseiten. Mein kleines Skript soll über einen Cronjob ausgeführt werden und jeden Tag den download der in einer Datei angegebenen Seiten fortsetzte. Das Skript ist soweit fertig. Nur ich habe ein Problem, wenn ich Wget mit der Option "-k" ziehen lasse, damit ich auf dem lokalen Server die Links richtig habe, läuft das Skript beim zweiten Aufrufen auf einen Fehler, da es sich an den konvertierten (auf der lokalen Platte liegenden) HTML Seiten entlangangelt. Gebe ich Wget den Parameter -nc mit werden nur neue Dateien gezogen, da ich ja nicht jeden Tag neu beginnen möchte die Seiten zu laden. Im Moment läuft wget ohne -k --FRAGE--> Gibt es eine Möglichkeit nur alle html und htm Seiten neu aus dem Netz zu ziehen? Aber dann findet er die lokalen Seiten wahrscheinlich nicht mehr und der Hand beißt sich in den Schwanz. / Es gibt außerdem die Option -N für time-stamping wie verhält sich diese Option mit -k ? werden dann alle modifizierten HTML Dateien neu gezogen oder gibt das noch mehr CHAOS????
 
Benutzer-Profile anzeigen Private Nachricht senden E-Mail senden Website dieses Benutzers besuchen

alx



Anmeldungsdatum: 20.01.2000
Beiträge: 64

BeitragVerfasst am: 24. Aug 2000 16:09   Titel: Re: Wget Seiten spiegeln

Bei der Kombination von -N und -k geht alles drunter und drüber und die geladenen Daten sind so durcheinander, dass ich sie nicht mehr retten kann (schachtelt die Unterverzeichnisse noch einmal etc...)
Ich häng mal mein Skript an die mail vieleicht kann mir ja jemand einen Tipp geben
++++++++++++++++++++++++++++++
infile=/home/testix/down/seitenliste.txt
#

while read adresse tiefe
do
## wget Aufruf:
## -r =rekursive
## -l =Angabe der Tiefe
## -nc =existierende Dateien werden nicht noch einmal geladen
## -a =an logfile anhängen
## -q =quiet -nv =ausgabe wichtiger Infos
## -t =Anzahl für Ladeversuche
## -k =konvertiert non-relative Links in relatives
## -N =Checken des Datumstempels (Nur neue oder Neuere Daten herunterladen)
## -A =nur bestimmte Datentypen werden geladen
## -Q =max downloadmenge (1m = 1MB)
## --ignore-lenght =bei CGI Programmen gibt es sonst Probleme
## -P =Dir in welches die Downloads geschrieben werden

if [ $adresse != '#' ]
then
echo "Starte Download $adresse"

#wget -r -l $tiefe -nv -nc -t2 -k -A html,htm,gif,jpg,txt,css --ignore-length -P /home/httpd/html/down/ -Q 1m -a wget_logfile --proxy-user=Wget --proxy-passw=
xxxx(hier nat. richtige Passwd) $adresse


wget -r -l $tiefe -N -k -nv -t2 -A html,htm,gif,jpg,txt,css --ignore-length -P /home/httpd/html/down/ -Q 100k --proxy-user=Wget --proxy-passwd=xxxx(hier nat. richtige Passwd) $adres
se
else
echo "Skipping $tiefe" f
fi #

done < $infile

++++++++++++++++++++++

Der auskommentierte Ausdruck ist der richtige der andere haut mir die Daten durcheinander!

thanxx AlX
 
Benutzer-Profile anzeigen Private Nachricht senden E-Mail senden Website dieses Benutzers besuchen

Beiträge vom vorherigen Thema anzeigen:   
     Pro-Linux Foren-Übersicht -> Linux-Forum (alt) Alle Zeiten sind GMT + 1 Stunde
Seite 1 von 1

 
Gehen Sie zu:  

Powered by phpBB © phpBB Group
pro_linux Theme © 2004 by Mandaxy