Suchmaschinensoftware

Software besorgen und anwenden
Post Reply
Message
Author
Spooky__

Suchmaschinensoftware

#1 Post by Spooky__ »

Ich bin auf der Suche nach einer Suchmaschinensoftware, die tatsächlich Seiten im Internet crawlt (also nicht nur lokal/Intranet wie praktisch alle bei Freshmeat angebotenen) und evtl. sogar die robots.txt beachtet?

Bevor mir jetzt jemand gut gemeinte Ratschläge zum Traffic gibt: es geht um eine sehr spezielle Suchmaschine, ich habe nicht vor, Google Konkurrenz zu machen.

Alex.MH

#2 Post by Alex.MH »

Hi,

wenn du nur bestimmte Seiten indizieren willst, dann kannst du diese ja mit httrack (http://www.httrack.com/) herunterladen und dann mit htdig (http://www.htdig.org/) indizieren.

Nicht gerade die tollste Loesung, sollte aber funktionieren.

Gruss,
Alex

Spooky__

#3 Post by Spooky__ »

Nein, es ist etwas komplizierter: es sollen schon praktisch alle Inet-Seiten indizierbar sein, inklusive enthaltener Links (also wie bei einer "richtigen" Suchmaschine). Die Anpassung, dass letztenendes nur Seiten, die bestimmten Kriterien entsprechen, genommen werden, würde ich selber machen (wollen).

Post Reply