Irgendwie ist das so 90er Jahre: Dass man Seiten in HTML strickte und dass man auch immer einen Blick auf die robots.txt-Datei warf (“Robots Exclusion Standard”) warf und überlegte, was man denn von der Erschließung durch Suchmaschinen-Roboter ausnehmen wollte. Ich kann mich noch an eine Diskussion auf inetbib-L erinnern, ob man Neuerwerbungslisten mit erfassen sollte oder eben nicht. Ich war für letzteres: Warum sollte man die Ergebnislisten von Suchmaschinen aufblähen? Irgendwie hat sich das mit der Einführung von Content Management-Systemen verlaufen, ich kenne ähnliche Überlegungen seitdem lediglich bei Weblogs mit der Frage, ob sie durch Suchmaschinen indexiert werden sollen oder nicht.
Heise.de hat einen Jubiläumsartikel verfasst und – siehe da! – diese Problematik kehrt mit den KI-Systemen wieder zurück …
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Plieninger (26. Februar 2024). 30 Jahre robots.txt. netbib. Abgerufen am 5. Oktober 2024 von https://doi.org/10.58079/vwnc
