skip to Main Content

Welche Funktion hat ein WebCrawler?

Die Web-Crawler von den Suchmaschinen durchsuchen das gesamte World-Wide-Web, indem sie von Link zu Link springen und ihren zurückgelegten Weg im Index speichern. Diesen Vorgang nennt man Indexierung. Ein Crawler ist ein programmiertes Computerprogramm das selbstständig arbeitet. Der Crawling-Prozess wird fortlaufend erweitert und immer wieder aktualisiert. Webcrawler werden auch Spider, Searchbot oder Robot genannt.

Back To Top