30 Jahre robots.txt

Irgendwie ist das so 90er Jahre: Dass man Seiten in HTML strickte und dass man auch immer einen Blick auf die robots.txt-Datei warf (“Robots Exclusion Standard”) warf und überlegte, was man denn von der Erschließung durch Suchmaschinen-Roboter ausnehmen wollte. Ich kann mich noch an eine Diskussion auf inetbib-L erinnern, ob man Neuerwerbungslisten mit erfassen sollte oder eben nicht. Ich war für letzteres: Warum sollte man die Ergebnislisten von Suchmaschinen aufblähen? Irgendwie hat sich das mit der Einführung von Content Management-Systemen verlaufen, ich kenne ähnliche Überlegungen seitdem lediglich bei Weblogs mit der Frage, ob sie durch Suchmaschinen indexiert werden sollen oder nicht.
Heise.de hat einen Jubiläumsartikel verfasst und – siehe da! – diese Problematik kehrt mit den KI-Systemen wieder zurück …

Vor 75 Jahren verbot das NS-Regime jüdischen Deutschen das Betreten von Leihbibliotheken.

Heute vor 75 Jahren: Bibliothekare beteiligen sich an Nazi-Greueltaten gegen Juden, die Schande hält bis heute an https://t.co/U5wqNSZjzj —1) (@xbib) August 2, 2016 (Jörg Prante [↩]

  1. (Jörg Prante []
Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search