30 Jahre robots.txt

Irgendwie ist das so 90er Jahre: Dass man Seiten in HTML strickte und dass man auch immer einen Blick auf die robots.txt-Datei warf (“Robots Exclusion Standard”) warf und überlegte, was man denn von der Erschließung durch Suchmaschinen-Roboter ausnehmen wollte. Ich kann mich noch an eine Diskussion auf inetbib-L erinnern, ob man Neuerwerbungslisten mit erfassen sollte oder eben nicht. Ich war für letzteres: Warum sollte man die Ergebnislisten von Suchmaschinen aufblähen? Irgendwie hat sich das mit der Einführung von Content Management-Systemen verlaufen, ich kenne ähnliche Überlegungen seitdem lediglich bei Weblogs mit der Frage, ob sie durch Suchmaschinen indexiert werden sollen oder nicht.
Heise.de hat einen Jubiläumsartikel verfasst und – siehe da! – diese Problematik kehrt mit den KI-Systemen wieder zurück …



Diesen Blogbeitrag zitieren
Jürgen Plieninger (2024, 26. Februar). 30 Jahre robots.txt. netbib. Abgerufen am 29. Mai 2024, von https://doi.org/10.58079/vwnc

Autor: Jürgen Plieninger

Jürgen Plieninger, früher Bibliothekar in einer One-Person Library, Soziologe, Blogger in diversen Weblogs zu den Themen Bibliothek, OPL, Recherche, Fortbildung, Wissenschaftliches Arbeiten, Kurse in den Bereichen Recherche, Arbeitsorganisation und Web 2.0. Engagiert im bibliothekarischen Verband BIB. - Weitere Infos finden Sie auf https://jplie.wordpress.com/

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search