Die Studien heben primär drei gravierende Schwachstellen hervor, die den Einsatz dieser Tools in einem akademischen oder professionellen Umfeld nicht nur nutzlos, sondern sogar gefährlich machen.

1. Hohe Falsch-Positiv-Raten (False Positives)

• Das wohl größte Problem ist die sogenannte Falsch-Positiv-Rate. Das bedeutet, dass die Software einen von Menschen geschriebenen Text fälschlicherweise als KI-generiert markiert. Ein einziger falscher Plagiatsvorwurf kann die akademische Laufbahn eines Studenten oder den Ruf eines Autors dauerhaft schädigen. Da die Detektoren keine Beweise liefern (sondern nur Wahrscheinlichkeiten), ist eine Verteidigung gegen den Vorwurf für Betroffene fast unmöglich.

2. Diskriminierung von Nicht-Muttersprachlern

• Eine der brisantesten Erkenntnisse aus Untersuchungen (u. a. veröffentlicht in Patterns unter Beteiligung von Stanford-Forschern, oft im Kontext der Harvard-Diskurse zitiert) ist der Bias gegen Nicht-Muttersprachler. Menschen, die Englisch (oder Deutsch) als Fremdsprache schreiben, nutzen oft ein vorhersehbareres Vokabular und einfachere Satzstrukturen.

Genau diese Merkmale – geringe „Perplexität“ und geringe „Burstiness“ – nutzen Detektoren, um KI-Texte zu identifizieren.

Das Ergebnis: Texte von Nicht-Muttersprachlern werden überproportional oft fälschlicherweise als KI-Text klassifiziert, während Texte von Muttersprachlern mit komplexerem Vokabular als „menschlich“ durchgehen.