Heise verweist auf die schwindende Funktion der robots.txt-Datei. Darauf verweist ein Mastodon-Eintrag der Bielefelder Spezialsuchmaschine BASE, der so weitergeht:
Um die von uns an der Universität Bielefeld betriebene akademische Suchmaschine https://www.base-search.net weiter erreichbar zu halten, mussten wir deshalb alle Browser aussperren, die kein Javascript ausführen können. Dafür verwenden wir z.Z. Anubis: https://anubis.techaro.lol/
Es tut uns leid, dass der erste Aufruf unserer Website deshalb für alle länger dauert. Wer unsere Cookies akzeptiert und behält, wird Anubis nur selten sehen.
Anubis soll es also richten! Diese Software wird von immer mehr Plattformbetreibern und Suchmaschinen verwendet, um KI-Bots fernzuhalten und nicht die halbe Welt von der Nutzung ausschließen zu müssen.
OpenEdition schlägt Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Jürgen Plieninger (17. Oktober 2025). „KI“-Crawler halten sich an keine Regeln. netbib. Abgerufen am 8. November 2025 von https://doi.org/10.58079/14z73