Die Stichprobe
Es gibt eine unangenehme Wahrheit im Umgang mit KI, über die wenig geschrieben wird: Ich kann nicht alles nachprüfen, was ich bekomme. Wer behauptet, er tue es, arbeitet entweder sehr wenig mit diesen Werkzeugen — oder er sagt nicht die Wahrheit. Die Frage ist also nicht, ob man Stichproben nimmt, sondern welche.
Wenn mir eine KI eine Zusammenfassung von zwanzig Seiten liefert, habe ich zwei Möglichkeiten. Ich lese die zwanzig Seiten selbst — dann hätte ich mir die Zusammenfassung sparen können. Oder ich vertraue ihr. Beides ist unbefriedigend, und in der Praxis mache ich etwas Drittes: Ich picke mir zwei, drei Stellen heraus und schaue nach.
Lange habe ich das für einen Kompromiss aus Bequemlichkeit gehalten. Inzwischen halte ich es für die richtige Methode — vorausgesetzt, man wählt die Stellen nicht zufällig.
Wo ich hinschaue
Ich habe mir angewöhnt, immer dieselben drei Sorten von Stellen zu prüfen. Erstens: Zahlen. Sie sind leicht zu übernehmen, schwer zu erfinden und fallen auf, wenn sie falsch sind. Zweitens: alles, was besonders gut passt. Wenn ein Ergebnis meine Vermutung exakt bestätigt, werde ich misstrauisch — nicht weil die Maschine mir schmeicheln will, sondern weil ich beim Lesen genau dort am wenigsten kritisch bin.
Und drittens: die Ränder. Der erste und der letzte Punkt einer Aufzählung stimmen fast immer. Der vorletzte ist die Stelle, an der es unsauber wird, weil dort Material zusammengefasst wurde, das nicht recht zusammengehört.
Die Stichprobe funktioniert nur, wenn sie an der schwächsten Stelle ansetzt. Zufällig geprüft heißt in der Praxis: dort geprüft, wo ohnehin alles stimmt.
Was die Stichprobe nicht kann
Ehrlich bleiben muss man bei den Grenzen. Eine Stichprobe findet Fehler im Detail. Sie findet nicht, was fehlt. Wenn in der Zusammenfassung der eine Absatz nicht auftaucht, auf den es angekommen wäre, kann ich stichprobenartig prüfen, so lange ich will — im geprüften Text steht alles richtig.
Das ist der Fehler, der mir Sorgen macht, und er ist der einzige, den ich nicht durch mehr Sorgfalt beim Prüfen wegbekomme. Dagegen hilft nur, vorher zu wissen, was drinstehen muss. Wer den Gegenstand nicht kennt, kann das Ergebnis nicht beurteilen — mit keinem Werkzeug der Welt.
Warum das kein KI-Problem ist
Auffällig ist, dass mich diese Überlegung an etwas erinnert, das ich längst kenne. Wenn ich einen längeren Vertragstext von jemandem bekomme, lese ich auch nicht jede Zeile mit derselben Aufmerksamkeit. Ich weiß aus Erfahrung, an welchen Stellen es typischerweise klemmt, und dort schaue ich genau hin.
Diese Fähigkeit hat einen unspektakulären Namen: Erfahrung. Sie sagt einem, wo man hinschauen muss. Und sie ist genau der Teil, den man nicht abgeben kann, weil er auf hunderten Fällen beruht, in denen etwas schiefgegangen ist.
Prüfen heißt nicht, alles zu lesen. Prüfen heißt zu wissen, wo es typischerweise schiefgeht — und genau dort nachzusehen.
Was ich daraus mitnehme
Für mich ist daraus eine kleine Regel geworden: Ich benutze KI bevorzugt dort, wo ich das Ergebnis beurteilen könnte, auch wenn ich es nicht vollständig tue. In Bereichen, in denen mir dieses Urteil fehlt, benutze ich sie zum Verstehen, nicht zum Entscheiden.
Das klingt nach einer Selbstverständlichkeit und ist im Alltag keine, weil die Versuchung groß ist, gerade dort abzukürzen, wo man sich nicht auskennt. Genau dort ist es am gefährlichsten — nicht weil die Maschine dort schlechter wäre, sondern weil man den Unterschied nicht sieht.
Am Ende ist die Stichprobe kein Trick, um sich Arbeit zu sparen. Sie ist die ehrlichste Form zuzugeben, dass man Vertrauen braucht — und der Versuch, dieses Vertrauen wenigstens an der richtigen Stelle zu überprüfen.