Claudia Klinger am 16. November 2026 — 0 Kommentare

KI-Bots lesen jetzt kleine Blogs – gut so!

Seit einigen Wochen hatte ich schon bemerkt, dass der Anteil menschlicher Besucher kleiner ist als der Traffic durch Crawler und Bots. Wie? Ein Statistik-Tool zeigt mir die zuletzt aufgerufenen Seiten an, jeweils mehrere betreffen die letzten drei Blogposts – das sind echte Besucher/innen. Danach folgt eine ganze Reihe Einzelaufrufe uralter Seiten: das sind gewiss keine Menschen, denn so gefragt waren meine teils Jahrzehnte alten Einträge noch nie.

Ich wollte es genau wissen und machte einen Testt auf unverbissen-vegetarisch.de – ein Blog, das seit längerem nurmehr „Webleiche“ ist. Mit Wordfence ließ ich 24 Stunden ALLE Aufrufe zählen, nicht nur die „sicherheitsrelevanten“. Ergebnis: alles Bots und Crawler, keine Menschen. Letzteres war zu erwarten, denn wer schaut schon auf ein Blog, in dem über ein Jahr nichts mehr Neues erschienen ist?

Weil ich die einzelnen Bot-Herkunftsadressen nicht interpretieren kann, befragte ich Gemini dazu. Es listete allerlei Bots auf, an erster Stelle KI-Bots:

„KI-Scraper (LLM-Crawler): Bots von KI-Anbietern (z. B. GPTBot, ClaudeBot, CCBot oder Bytespider) durchsuchen
gezielt ältere Artikel nach Trainingsdaten oder für RAG-Systeme (Retrieval-Augmented Generation).
Da ältere Beiträge oft tiefere Archive darstellen, die noch nicht indexiert wurden, werden sie systematisch abgearbeitet.“

Hier das Gespräch: https://share.gemini.google/IzVwolUfBuYl
(es werden auch andere Crawler erwähnt).

Kurzum: anfänglich haben die KI-Bots offenbar nur große, „wichtige“ Seite extrahiert, jetzt sind die kleinen dran, weil es den KI-Modellen ja ständig an Texten zur Schulung mangelt.

Na klar, mein Blog dürfen auch Maschinen lesen!

Während manch eine/r die Bots und Agenten der KIs aussperrt, lasse ich sie gerne lesen und werde nichts dagegen unternehmen. Mir ist es sogar sehr recht, dass endlich auch kleine Blogs ausgelesen werden und nicht nur große, bekannte Medien und Portale.
Schließlich bilden die gesammelten Texte das Weltwissen der „künstlichen Intelligenzen“, in das nun auch unsere Sichtweisen einfließen – gut so!

***

Und sonst:

  • Coding, Claude und ein Regelwerk (Thomas Gigold)
  • Die Meinung ist im Überfluss – Die Prüfung ist knapp (ichsagmal.com)
    NETZGEDANKEN: Mehr Kuratoren, mehr Fachwissen, mehr Experimente: Was Christoph Kappes vor acht Jahren über die Zukunft des Journalismus sagte, ist inzwischen zur Überlebensfrage der Medien geworden. Mit „Neue Nachricht“ wollen wir daraus ein redaktionelles Programm entwickeln. (Die Kritik am aktuellen Journalismus spricht mir aus deer Seele!)
  • Das neueste Video von fremdform:
    KI-Agenten: Die Kontrolle ist längst verloren
    Obwohl ich zuvor schon eine Menge Videos zum Thema „verselbstständigte KI-Agenten / Hugging Face-Vorfall“ gesehen hatte, hat mich das Video beeindruckt und viel zu dem hinzugefügt, was ist schon wusste. Das Video startet bei einem unbekannte WIKI-Admin, der lange vor dem „Einbruch“ bei Hugging Face betroffen war. Fremdform zeigt das Gesamtbild über längere Zeit und auch die Ursachen – sehr toll! .

Diesem Blog per E-Mail folgen… (-> Sidebar)

Diskussion

Kommentare abonnieren (RSS)
Noch keine Kommentare zu „KI-Bots lesen jetzt kleine Blogs – gut so!“.

Was sagst Du dazu?

*) Ein Name muss angegeben werden. Wenn du keine Mailadresse angeben willst, lass das Feld frei. Wenn du aber weitere Kommentare abonnieren willst, musst du natürlich auch eine Adresse angeben! Auch wäre es NETT, eine anzugeben, weil ich gelegentlich mal nicht öffentlich antworte. IP-Adressen werden nicht gespeichert. Was mit Daten auf diesem Blog passiert, erfährst du in der Datenschutzerklärung.