Digital resources in the Social Sciences and Humanities OpenEdition Our platforms OpenEdition Books OpenEdition Journals Hypotheses Calenda Libraries OpenEdition Freemium Follow us

„KI“-Crawler halten sich an keine Regeln

Heise verweist auf die schwindende Funktion der robots.txt-Datei. Darauf verweist ein Mastodon-Eintrag der Bielefelder Spezialsuchmaschine BASE, der so weitergeht:

Um die von uns an der Universität Bielefeld betriebene akademische Suchmaschine https://www.base-search.net weiter erreichbar zu halten, mussten wir deshalb alle Browser aussperren, die kein Javascript ausführen können. Dafür verwenden wir z.Z. Anubis: https://anubis.techaro.lol/

Es tut uns leid, dass der erste Aufruf unserer Website deshalb für alle länger dauert. Wer unsere Cookies akzeptiert und behält, wird Anubis nur selten sehen.

Anubis soll es also richten! Diese Software wird von immer mehr Plattformbetreibern und Suchmaschinen verwendet, um KI-Bots fernzuhalten und nicht die halbe Welt von der Nutzung ausschließen zu müssen.


OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Plieninger (17. Oktober 2025). „KI“-Crawler halten sich an keine Regeln. netbib. Abgerufen am 8. November 2025 von https://doi.org/10.58079/14z73


Autor: Jürgen Plieninger

Jürgen Plieninger, früher Bibliothekar in einer One-Person Library, promovierter Soziologe, Blogger in diversen Weblogs zu den Themen Bibliothek, OPL, Recherche, Fortbildung, Wissenschaftliches Arbeiten, Kurse in den Bereichen Recherche, Arbeitsorganisation und Web 2.0. Engagiert im bibliothekarischen Verband BIB. - Weitere Infos finden Sie auf https://jplie.wordpress.com/

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

This site uses Akismet to reduce spam. Learn how your comment data is processed.