Robots.txt
Auf Grundlage des Robots-Exclusion-Standard-Protokolls von 1994 – inzwischen allgemein anerkannt, eine Ergänzung wurde bereits veröffentlicht bzw. vorgeschlagen – besucht ein Webcrawler (robot, zum Beispiel googlebot) zuerst die robots.txt – Datei einer Webseite, die sich im Stammverzeichnis (root) befindet. Diese Datei ermöglicht dem Webmaster, den Crawlern individuelle Anweisungen zu geben. Dabei geht es zum Beispiel darum,…