Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

30 Jahre robots.txt

Irgendwie ist das so 90er Jahre: Dass man Seiten in HTML strickte und dass man auch immer einen Blick auf die robots.txt-Datei warf (“Robots Exclusion Standard”) warf und überlegte, was man denn von der Erschließung durch Suchmaschinen-Roboter ausnehmen wollte. Ich kann mich noch an eine Diskussion auf inetbib-L erinnern, ob man Neuerwerbungslisten mit erfassen sollte oder eben nicht. Ich war für letzteres: Warum sollte man die Ergebnislisten von Suchmaschinen aufblähen? Irgendwie hat sich das mit der Einführung von Content Management-Systemen verlaufen, ich kenne ähnliche Überlegungen seitdem lediglich bei Weblogs mit der Frage, ob sie durch Suchmaschinen indexiert werden sollen oder nicht.
Heise.de hat einen Jubiläumsartikel verfasst und – siehe da! – diese Problematik kehrt mit den KI-Systemen wieder zurück …


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Plieninger (26. Februar 2024). 30 Jahre robots.txt. netbib. Abgerufen am 23. Januar 2026 von https://doi.org/10.58079/vwnc


Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.