Wenn KI sagt: „Ich habe nachgesehen“

Ein Praxistest mit fünf KI-Tools zeigt, warum Live-Zugriff, Inhaltsverständnis und verlässliche Bewertung drei verschiedene Dinge sind.

Wenn eine Maschine sagt, sie habe nachgesehen, muss sich das nachweisen lassen.

Es gibt eine Frage, deren Beantwortung im Zeitalter sprachbasierter KI-Systeme überraschend schwierig geworden ist. Die Frage lautet: Was bedeutet es eigentlich, wenn ein System erklärt, es habe eine Webseite "live geprüft"?

Betrachten wir zunächst das zugrundeliegende Prinzip. Eine Webseite ist kein abstrakter Gegenstand. Zu einem bestimmten Zeitpunkt besitzt sie einen konkreten Inhalt, der sich aus Überschriften, Texten, Bildern, Metadaten und technischen Strukturen zusammensetzt. Wenn Sie den Inhalt direkt abrufen, können Sie diesen auf die genannte Weise prüfen. Bei der Verwendung eines Suchindex, eines Caches oder älterer Kontodaten kann es vorkommen, dass eine frühere Fassung angezeigt wird. Beide Vorgänge können nützlich sein. Es ist jedoch wichtig zu betonen, dass es sich hierbei um unterschiedliche Konzepte handelt.

Die vorliegende Untersuchung hat die vorgenannte Unterscheidung am Beispiel von "dimension-fx.com" analysiert. Die bisherige Website mit einem lokalen Text-zu-Sprache-Werkzeug wurde Ende Juli 2026 durch eine neue Seite zu DFX SplatCore ersetzt, einer lokalen Anwendung für 3D Gaussian Splatting. Am 3. August wurde die neue Fassung als erster Tag der Messreihe definiert. Die Fragestellung fokussierte sich demnach nicht darauf, ob KI-Systeme im Allgemeinen als intelligent zu bewerten sind. Die Fragestellung wurde präziser und überprüfbarer formuliert: Welche Systeme geben tatsächlich den aktuellen Inhalt dieser konkreten Website wieder und welche Systeme verwechseln ältere oder fremde Informationen mit einem unmittelbaren Abruf?

Die Methode

Für die Untersuchung wurde für mehrere KI-Chat-Tools derselbe Prompt verwendet. Zunächst wurde eine ehrliche Selbsteinschätzung der Zugriffsart verlangt: direkter Abruf, Suchindex, Cache oder Trainingswissen. Im Anschluss daran mussten die Systeme die Hauptüberschrift, den unmittelbar folgenden Untertitel und eine Frage aus dem FAQ-Bereich wörtlich zitieren. Schließlich sollten sie den gefundenen Inhalt hinsichtlich Produkt und Aktualität einordnen.

Dieses Vorgehen ist deshalb nützlich, weil sich Aussagen über den Inhalt unmittelbar prüfen lassen. Die reale Seite enthielt die Hauptüberschrift "Deterministische 3D-Digitalisierung", den Untertitel "Von Foto und Video zum web-fertigen 3D-Erlebnis" sowie unter anderem die FAQ-Frage "Was ist DFX SplatCore?". Eine Antwort, die stattdessen vom "TTS Constructor" und von "Orchestrierung statt Tippen" sprach, beschrieb nicht die aktuelle Seite, sondern einen früheren Webstand.

Das Verfahren ähnelt einer naturwissenschaftlichen Messung. Nicht die Optik des Instruments ist maßgeblich, sondern die wiederholte Erzielung des gleichen, überprüfbaren Werts. Die wörtlichen Zitate dienen dabei als Kalibrierprobe: Sie erlauben es, die Behauptung eines Live-Zugriffs von der tatsächlichen Inhaltskenntnis zu trennen.

Erster Befund

Das Ergebnis der ersten Runde war uneinheitlich. Mistral und Claude.ai lieferten die geforderten Elemente der aktuellen Seite korrekt. ChatGPT erklärte dagegen offen, dass es die Seite nicht zuverlässig abrufen könne, und vermied es, fehlende Informationen durch Vermutungen zu ersetzen. Gemini begründete den fehlenden Zugriff mit einem angeblichen "Google-Extended-Opt-Out", obwohl die geprüfte robots.txt keine entsprechende Sperre enthielt. Perplexity zeigte anfänglich einen älteren Seiteninhalt als den aktuellen Live-Stand an. Auf Nachfrage wurde deutlich, dass der Suchindex und eine zuvor angehängte Datei die Grundlage bildeten.

Dies führt zu einer ersten, wichtigen Unterscheidung. Ein System kann beim Zugriff scheitern und dennoch verlässlich handeln, wenn es seine Grenze benennt. Ein anderes System kann eine detaillierte Antwort erzeugen, ist aber dennoch unzuverlässig, wenn die Detailfülle aus einer falschen oder veralteten Quelle stammt. Sprachliche Flüssigkeit ist folglich kein Indikator für Aktualität. Das ist lediglich eine Eigenschaft der Darstellung.

Zweiter Befund

Der zweite Test führte zu einer noch präziseren Einsicht. Mistral hatte im ersten Durchgang aktuelle Inhalte korrekt zitiert. Bei einer umfassenden SEO-, GEO- und Technikbewertung derselben Website produzierte das System jedoch zahlreiche Mängelbehauptungen, die sich nach lokaler Prüfung als falsch erwiesen. Von den zwölf überprüften Aussagen waren zwei zutreffend: Einige Meta-Descriptions waren zu lang und einzelne FAQ-Fragen besaßen keine eigenen Sprungziel-IDs.

Die übrigen behaupteten Defizite – wie etwa fehlende "hreflang"-Verweise, Canonical-URLs, Open-Graph-Tags, JSON-LD, Favicons, "alt"-Attribute und Hauptüberschriften – waren im lokalen Projektbestand überwiegend oder vollständig vorhanden. Dies bedeutet jedoch nicht, dass ein Live-Abruf wertlos wäre. Diese Bezeichnung hat eine präzisere Bedeutung: Die Fähigkeit, eine Seite zu erreichen, ist kein Beweis für die Fähigkeit, sie korrekt zu analysieren. Zugriff und Urteil sind zwei verschiedene Prüfgrößen.

Was das bedeutet

An dieser Stelle wird eine allgemeine Eigenschaft von KI-gestützter Arbeit deutlich. Ein Modell kann Daten abrufen, ohne ihre Struktur ausreichend zu prüfen. Es ist durchaus möglich, fundierte Empfehlungen auszusprechen, ohne den individuellen Fall vollständig zu kennen. Es besteht sogar die Möglichkeit, dass ein sinnvoller technischer Vorschlag gemacht wird, der jedoch nur einen Teil des eigentlichen Ziels erfüllt. Im Projekt zeigte sich dies beim Einsatz von "aria-hidden:true" für Icon-Ligaturen: Die Maßnahme verbesserte die Zugänglichkeit für Screenreader, entfernte die Ligaturnamen jedoch nicht aus dem tatsächlichen Dokumenttext, den Suchsysteme und textextrahierende Systeme lesen können.

Dies ist keine exotische Ausnahme, sondern eine interessante Variable in jeder technischen Entwicklung. Eine Prüfung kann auch dann korrekt ausgeführt werden, wenn sie zu eng angelegt ist. Ein Messwert kann eine hohe Präzision aufweisen, jedoch nur in Bezug auf die gemessenen Werte. Eine sichtbare Verbesserung kann einen unsichtbaren Fehler unverändert lassen. Bei der KI-gestützten Entwicklung ist daher nicht entscheidend, welches System am überzeugendsten antwortet. Vielmehr ist es relevant, dass ein Verfahren Behauptungen reproduzierbar mit Dateien, Zeilennummern, gerenderten Ergebnissen und Gegenprüfungen verbindet.

---

Die Maschine als Instrument zur Messung

Die Geschichte der Technik lehrt eine einfache Regel. Die Beurteilung eines neuen Werkzeugs erfolgt primär anhand dessen sichtbarer Leistungsfähigkeit. Zu einem späteren Zeitpunkt erlernt man die Kunst, sich selbst und seine Grenzen zu reflektieren.

Die Dampfmaschine konnte bereits vor der genauen Berechnung aller Verluste in Kessel, Ventilen und Übertragungen ihre Arbeit verrichten. Die Elektrizität wurde früh für die Beleuchtung von Straßen eingesetzt, bevor die Netze zuverlässig gegen Überlastung, Spannungsabfälle und Ausfälle geschützt waren. In beiden Fällen war der Fortschritt nicht darin zu sehen, dass die Maschinen fehlerfrei wurden. Der Fokus lag darauf, dass Menschen erlernen, Fehler systematisch zu erkennen, zu messen und in die Konstruktion einzubeziehen.

KI-gestützte Werkzeuge befinden sich heute in einer vergleichbaren Phase. Zu ihren Stärken zählen das Erklären von Texten, das Erzeugen von Code, das Auswerten von Webseiten und das rasche Ordnen großer Informationsmengen. Dies ist eine realistische und nützliche Perspektive. Die Ausgabe eines Sprachmodells stellt keine direkte Messung der Wirklichkeit dar. Zunächst ist festzuhalten, dass es sich hierbei um eine Behauptung über die Wirklichkeit handelt. Die Gültigkeit dieser Behauptung wird nicht durch sprachliche Prägnanz bestimmt, sondern durch die Möglichkeit ihrer Überprüfung.

Zwei Arten von Fehlern

Die Testreihe identifizierte mindestens zwei verschiedene Fehlertypen.

Der erste Fehlertyp entsteht, wenn ein System den aktuellen Gegenstand nicht zuverlässig erreicht. Unter Umständen greift es auf einen Suchindex, einen Cache, auf Trainingswissen oder frühere Gesprächsdaten zurück. Das Ergebnis kann plausibel klingen und dennoch eine ältere Version der Wirklichkeit beschreiben. Im Fall von "dimension-fx.com" war der alte TTS-Constructor-Inhalt technisch gesehen nicht völlig frei erfunden. Er ist Bestandteil eines früheren Projektstands. Auf die Frage nach der aktuellen Website wurde eine falsche Antwort gegeben.

Der zweite Fehlertyp ist subtiler. Das System hat zwar Zugriff auf den betreffenden Gegenstand, jedoch erfolgt weder eine ausreichende gründliche Prüfung noch eine entsprechende Archivierung. Das Programm kann beispielsweise eine Sitemap erfassen, alle Unterseiten aufzählen und anschließend eine allgemeine Liste der SEO-Mängel ausgeben, die auf viele kleine Unternehmensseiten passen würde. Die Liste kann detaillierte Noten, Prioritäten und Zeitpläne enthalten. Es ist jedoch zu beachten, dass eine ausführliche Form nicht zwangsläufig ein Indiz für eine sorgfältige Untersuchung darstellt.

Es lässt sich die folgende nützliche Formel aufstellen:

Bild mit KI erzeugt

Zugriff ist nicht Verständnis. Verständnis ist nicht Urteil.

Eine KI ist in der Lage, auf eine Website zuzugreifen, ohne den Inhalt richtig deuten zu können. Sie verfügt über die Fähigkeit, den Inhalt korrekt zu zitieren, ohne daraus eine korrekte technische Analyse abzuleiten. Sie kann eine Empfehlung aussprechen, deren technische Begründung jedoch unvollständig ist.

Was die Gegenprüfung wert ist

Die entscheidende Verbesserung liegt deshalb nicht in einer einzelnen Modellversion. Die Methode, die zur Analyse eingesetzt wird, untergliedert jede wesentliche Behauptung in einzelne, überprüfbare Bestandteile.

Eine Aussage wie "Es fehlen Canonical-URLs" sollte nicht als endgültiges Urteil betrachtet werden. Es ist von entscheidender Bedeutung, dass die Frage präzise gestellt wird. Könnten Sie mir bitte mitteilen, in welchen Dateien die betreffenden Elemente fehlen? Wie viele Dateien wurden geprüft? Könnten Sie mir bitte mitteilen, welche URL im jeweiligen "link rel=canonical"-Element steht? Gibt es begründete Ausnahmen? Erst dann wird aus einer plausiblen Behauptung ein technischer Befund.

Es reicht nicht aus, lediglich zu konstatieren, dass ein HTML-Element im Quelltext vorhanden ist. Die Generierung eines Dokuments ist von entscheidender Bedeutung. Dies wurde insbesondere bei den Icon-Spans mit Ligaturnamen deutlich gemacht. Im HTML waren Überschriften vorhanden. Im Browser-Text erschienen jedoch Ausdrücke wie "emoji_objectsWarum es dieses Werk gibt". Eine reine Quelltextzählung bestätigt somit formal die Existenz der Überschrift, übersieht aber ihre tatsächliche Lesbarkeit für textextrahierende Systeme.

Dies ist keine Kleinigkeit. HTML ist der Bauplan. Der gerenderte Text stellt das Gebäude dar, in dem Nutzer, Screenreader, Suchmaschinen und andere Systeme tatsächlich arbeiten. Eine reine Prüfung des Bauplans kann dazu führen, dass wesentliche Eigenschaften des fertigen Gebäudes übersehen werden.

Warum Automatisierung allein nicht reicht

Skripte sind dafür konzipiert, genau definierte Aufgaben wiederholbar auszuführen. Zu ihren Aufgaben zählen das Zählen von Dateien, das Prüfen von Attributen, der Vergleich von Zeichenlängen, das Finden von Mustern und das Protokollieren von Abweichungen. Ihre Stärke ist die Beharrlichkeit. Ein Skript ist konsistent, es übersieht keine Datei und verändert seine Kriterien nicht spontan.

Jedoch ist zu beachten, dass jedes Skript eine implizite Annahme in sich trägt: Die Suchanfrage wurde vollständig genug formuliert.

Die erste Zählung der Icon-Spans ergab 250 Treffer. Eine spätere Prüfung ergab 394. Der Unterschied entstand nicht durch eine unzuverlässige Maschine, sondern durch ein zu enges Suchmuster. Leider wurde eine CSS-Klassenvariante mit zusätzlicher Klasse nicht erfasst. Das Resultat war präzise, aber nicht vollständig.

Diese Erkenntnis ist für alle automatisierten Prüfungen von allgemeiner Relevanz. Die Aussagekraft einer Zahl hängt maßgeblich von der präzisen Definition des zu erfassenden Sachverhalts ab. Automatisierte Prozesse ersetzen die Beurteilung durch den Menschen nicht. Sie verschieben sie an einen früheren Punkt: von der Ausführung einer Aufgabe hin zur Entscheidung, welche Aufgabe überhaupt ausgeführt werden muss.

Die ökonomische Frage

In diesem Zusammenhang ist die wirtschaftliche Überlegung von Bedeutung. Die Reduzierung von Rechenzeit und Kosten durch den Einsatz von KI-Werkzeugen ist ein nachvollziehbarer Ansatz. Nicht jede Aufgabe erfordert ein umfangreiches Modell oder eine ausgiebige Analyse. Das Erzeugen von Identifikationsnummern, das Durchlaufen eines Dateibestands oder das Ersetzen klar definierter Zeichenfolgen sind mechanische Vorgänge. Wenn die Regeln stimmen, kann ein kleineres Modell oder ein lokales Skript diese Arbeit zuverlässig vorbereiten oder begleiten.

Bei urteilsabhängigen Aufgaben ist eine andere Vorgehensweise erforderlich. Zu den relevanten Fragen gehören etwa, welche Prüfung fehlt, ob eine Erklärung den tatsächlichen Effekt beschreibt oder ob ein scheinbar sauberer Befund einen blinden Fleck enthält. In solchen Fällen ist die billigste Lösung selten die richtige.

Denn eine anfängliche Ersparnis kann Nacharbeit erzeugen. Dies kann zu zusätzlichen Kosten für die Fehlersuche und -behebung führen. Ein besonders schwerwiegender Aspekt ist der Verlust an Vertrauen in die eigenen Zwischenergebnisse. Sollte eine Analyse erneut vollständig überprüft werden müssen, so geht ein signifikanter Teil ihres wirtschaftlichen Werts verloren.

Die sachliche Regel lautet daher nicht: immer das größte Modell einsetzen. Die Vorgabe lautet wie folgt: "Mechanische Arbeit präzise automatisieren, aber die begrifflich schwierigen Fragen mit angemessener Prüftiefe behandeln."

Lokale Werkzeuge, nachweisbare Methoden

An dieser Stelle wird der Unterschied zwischen einem lokalen Werkzeug und einem entfernten Dienst besonders deutlich.

Die Tatsache, dass ein lokales Werkzeug auf dem eigenen Rechner ausgeführt wird, ist kein ausreichender Grund für dessen bevorzugte Nutzung. Es besteht die Möglichkeit, dass es Fehler enthält, unvollständige Regeln anwendet oder falsche Schlussfolgerungen nahelegt. Sein wesentlicher Vorteil liegt darin, dass seine Datenwege, Eingaben, Zwischenschritte und Ergebnisse prinzipiell vollständig nachvollzogen werden können.

Im Rahmen eines lokalen Prüfvorgangs kann ermittelt werden, welche Datei zum betreffenden Zeitpunkt verwendet wurde. Die Anzahl der Elemente, die von einem Skript verändert werden, lässt sich ermitteln, indem die Zahl 394 nachgezählt wird. Wenn ein Ergebnis unplausibel wirkt, kann der Prozess erneut ausgeführt werden. Dabei kann die Regel verändert und die Differenz beobachtet werden.

In Fällen, in denen ein KI-Dienst dezentral betrieben wird, kann es zu Lücken in der Sichtbarkeit der Kette kommen. Der Nutzer sieht die Antwort, möglicherweise einige Quellenangaben und gelegentlich eine Zusammenfassung der Arbeitsschritte. Es besteht jedoch häufig Unklarheit darüber, ob die angegebene URL tatsächlich live abgerufen wurde, welche Cache-Schicht beteiligt war, ob frühere Chat-Anhänge einflossen oder welche Teile der Seite überhaupt gelesen wurden.

Dies ist keine moralische Anklage gegen Cloud-Dienste. Dies ist eine technische Eigenschaft ihrer Architektur. Bei einer Verarbeitung außerhalb des eigenen Systems steigen die Prüfungsanforderungen. Für kreative Entwürfe oder erste Recherchen kann dies akzeptabel sein. Für belastbare Geschäftsprozesse, technische Audits und produktionsrelevante Entscheidungen ist Nachvollziehbarkeit von zentraler Bedeutung.

Die Rolle des Menschen in diesem Kontext

Die richtige Rolle des Menschen besteht dabei nicht darin, jede Zeile selbst auszuführen. Dies würde eine Verschwendung der Fähigkeiten beider Seiten bedeuten.

Die Maschine eignet sich hervorragend für den Vergleich von Varianten, die Wiederholung von Routineprüfungen, die Inventarisierung großer Bestände und die Identifizierung auffälliger Stellen. Der Mensch bleibt zuständig für die Wahl der Fragestellung, die Bewertung von Zielkonflikten und die Entscheidung, ob ein gemessener Unterschied überhaupt relevant ist.

Ein leeres Feld im Bereich "alt" veranschaulicht dies sehr gut. Eine oberflächliche Prüfung kann den Sachverhalt als fehlende Information bewerten. In manchen Fällen kann die Verwendung von "alt="" bei rein dekorativen Bildern die richtige Entscheidung sein, da Screenreader das Element dann überspringen. Die Maschine ist in der Lage, alle leeren Attribute zu identifizieren. Die Einordnung als Fehler, Absicht oder korrekte Barrierefreiheit erfordert eine Betrachtung des spezifischen Kontextes.

Das Ziel ist daher nicht die menschliche Kontrolle über jeden einzelnen Arbeitsschritt. Entscheidend ist die menschliche Kontrolle über ihre Bedeutung. Die KI übernimmt das Durchsuchen, Zählen und Vorstrukturieren. Der Mensch prüft die Annahmen, bewertet die Ergebnisse und trifft die Entscheidung.

Ein belastbares Prüfprotokoll

Aus den bisherigen Befunden lässt sich ein einfaches Prüfprotokoll ableiten.

Zunächst ist die Quelle eindeutig zu bestimmen. Es ist festzuhalten, ob eine Analyse gegen die Live-Domain, einen Suchindex, einen Cache, einen Projektordner oder einen früheren Gesprächsanhang arbeitet. Diese Unterscheidung ist keine Formalität. Sie trifft die Entscheidung darüber, welche Beweise für eine Antwort ausreichend sind.

Im Anschluss erfolgt die Bestandsaufnahme. Vor einer Bewertung wird der gesamte relevante Bestand inventarisiert: Anzahl der Dateien, Sprachversionen, Routen, Meta-Angaben, Überschriften, Bilder, strukturierte Daten und externe Abhängigkeiten. Eine Bewertung ohne Inventar kann zutreffend sein, jedoch bleibt sie eine Stichprobe, solange der Umfang nicht bekannt ist.

Im Anschluss ist die Darstellungsebene zu prüfen. Quelltext, Browser-DOM, sichtbare Darstellung, Accessibility-Baum und extrahierter Text können unterschiedliche Ergebnisse liefern. Bei der Erstellung von Projekten, die für Suchmaschinen, KI-Systeme und Menschen gleichermaßen zugänglich sein sollen, ist es unerlässlich, mehr als nur eine dieser Ebenen zu berücksichtigen.

Schließlich erfordert jeder wichtige Befund eine Gegenprüfung. Diese kann durch ein zweites Skript, einen anderen Prüfpfad, ein weiteres Modell oder eine manuelle Stichprobe erfolgen. Entscheidend ist nicht, wer widerspricht. Entscheidend ist, ob der Widerspruch zu einer präziseren Messung führt.

Und damit zur eigentlichen Frage:

Die Untersuchung wurde mit einer einfachen Website und einer klaren Aufforderung eingeleitet: "Rufen Sie diese Seite auf und beschreiben Sie den Inhalt." Dies führte jedoch zu einer größeren Frage.

Unser Ziel ist es, technische Systeme zu entwickeln, die nicht nur schnell und überzeugend, sondern auch überprüfbar sind.

Die Antwort auf diese Frage wird aller Voraussicht nach nicht darin bestehen, KI-Werkzeuge zu meiden. Ebenso wird es nicht möglich sein, jede generierte Analyse zu akzeptieren. Der produktive Weg liegt zwischen beiden Extremen: Es ist von entscheidender Bedeutung, KI als leistungsfähigen Motor einzusetzen, aber in eine Architektur einzuordnen, die Quellen kennt, Schritte protokolliert, Ergebnisse misst und Widerspruch zulässt.

Die KI wird in diesem Fall nicht zu einem Orakel. Sie wird zu einem Werkzeug, dessen Leistung man verstehen, begrenzen und verbessern kann.

---