Wir haben unserem eigenen Assistenten 141 Fragen gestellt – ein Dutzend hat er vermasselt

In der Ecke von rifts.to sitzt jetzt ein Assistent. Beschreib die Umfrage, die du willst, und er baut sie und gibt dir den Link; frag später, wie sie lief, und er liest dir die Antworten vor. Jedes Konto hat ihn, auch die, die nichts bezahlen.

Bevor wir ihn auf irgendwen losgelassen haben, haben wir einen Tag damit verbracht, ihn beim Lügen zu erwischen. Er hat viel gelogen. Hier steht, was er gesagt hat und was wir dagegen getan haben.

Was er falsch gesagt hat

Die erste Runde waren vierundvierzig Fragen, an den echten Assistenten getippt, so wie sie jemand tippen würde, der ihn nicht gebaut hat. Neun Antworten waren falsch, und die falschen waren nicht etwa vage – sie klangen überzeugt.

Auf den Hinweis, dass in einer Liste die Umfrage einer fremden Person auftauchte, antwortete er „Das ist nicht möglich“ und bot an, sich das anzusehen. Er kann sich gar nichts ansehen; mit der Antwort ist Schluss. Auf die Frage, mit wem die Antworten der Teilnehmenden geteilt werden, sagte er „mit niemandem“ – das steht so nicht in unserer Datenschutzerklärung. Und auf die Frage, wo man ein Sicherheitsproblem meldet, erfand er eine Adresse.

Schlimmer noch: Jede Aktion, die er an einer Umfrage vornehmen wollte, schlug beim Klick auf den Bestätigen-Button fehl. Sollte er eine Umfrage anhand ihres Titels umbenennen, riet er eine ID, statt die Umfrage nachzuschlagen – die Bestätigung war also schon zum Scheitern verurteilt, bevor sie überhaupt erschien. Fünf von fünf.

Es ihm zu verbieten hat nicht funktioniert

Die naheliegende Lösung ist eine Regel. Wir haben Regeln geschrieben. Als die Regeln nicht hielten, sind wir zu wörtlichen Sätzen übergegangen, direkt in die Anweisungen des Modells kopiert.

Er hat weiter improvisiert – nicht jedes Mal, und genau das ist das Schwierige. Eine Regel, die in vier von fünf Fällen hält, wirkt wie eine Regel, die funktioniert, und das fünfte Mal ist das, in dem der Hinweis auf ein mögliches Datenleck abgewiegelt wird.

Also erreichen manche Fragen das Modell gar nicht mehr

Auf ein paar Fragen gibt es genau eine richtige Antwort, und eine falsche kostet wirklich etwas. Wo man ein Sicherheitsproblem meldet. Wer die Antworten sehen kann. Was Pro kostet. Wie viele Nachrichten dir zustehen. Wie das Anmelden funktioniert. Was passiert, wenn eine Zahlung fehlschlägt.

Die werden jetzt aus einer festen Tabelle beantwortet statt vom Modell – dieselben Worte jedes Mal, in jeder Sprache der Seite, in weniger als einer Zehntelsekunde. Alles andere geht weiterhin ans Modell, das gut in dem ist, was tatsächlich schwierig ist: aus einem Satz eine Umfrage zu machen.

Jede Zahl in diesen Antworten wird aus dem Code gelesen, der sie durchsetzt. Das Kontingent kommt vom Rate-Limiter selbst, die Obergrenzen von den Obergrenzen. Eine Antwort, die eine Zahl zitiert, wird irgendwann falsch; eine, die sie ausliest, kann gar nicht auseinanderlaufen.

Dann haben wir einen Schwarm auf ihn angesetzt

Neun Probleme zu beheben heißt, die neun behoben zu haben, die man gefunden hat. Um den Rest zu finden, haben wir das Produkt in vier Bereiche geteilt – Abrechnung, Umfragemechanik, Konten und das, was der Assistent über sich selbst behauptet – und jeden Bereich einem eigenen kleinen Modell gegeben, mit demselben Auftrag: lies nach, was der Code wirklich tut, stell die Fragen, die eine verwirrte Person stellen würde, und bewerte jede Antwort am Quellcode.

Siebenundneunzig weitere Fragen, und sie waren darin besser als wir, weil sie die Antworten nicht schon kannten. Vier weitere falsche Behauptungen kamen dabei heraus:

• „Du kannst dich mit Google oder dem SSO deiner Firma anmelden.“ Kannst du nicht. Anmelden geht über einen sechsstelligen Code per E-Mail und sonst gar nichts.
• „Okay, ich erinnere dich beim nächsten Mal an die NPS-Frage.“ Wird er nicht. Er hat kein Gedächtnis zwischen Unterhaltungen, und im Hintergrund läuft nichts.
• „Eine fehlgeschlagene Zahlung kündigt dein Abo, und du fällst auf den kostenlosen Plan zurück.“ Nein. Das Abo geht auf „überfällig“, die bezahlten Funktionen enden sofort, und deine Bank versucht es weiter – klappt einer der Versuche, kommt alles von selbst zurück. Aktualisiere also die Karte, statt ein zweites Mal zu abonnieren.
• „Es gibt kein Limit für diesen Assistenten.“ Doch: pro Stunde. Der Ring oben im Chat füllt sich, während du ihn nutzt.

Die letzte kam als „es gibt doch kein Limit, oder?“ – eine Frage mit der falschen Antwort schon eingebaut. Zustimmen ist für ein Modell der bequeme Weg, deshalb ist eine Frage, die etwas behauptet, gefährlicher als eine, die etwas wissen will.

Warum wir dir das erzählen

Nichts davon war ein Absturz. Nichts lief auf einen Fehler, nichts wurde rot; jedes Mal war es eine ganz normale Antwort mit einem Satz darin, der nicht stimmte. Wer nur auf Fehler achtet, bekommt diese Sorte Problem nie zu sehen.

Ein Assistent, der „da bin ich mir nicht sicher“ sagt, ist eine kleine Unannehmlichkeit. Einer, der sich eine überzeugende Antwort ausdenkt, erzeugt jemanden, der danach handelt. Unserem ist deshalb bewusst verwehrt, die Fragen zu beantworten, bei denen ein Irrtum dich etwas kostet – er verweist dich stattdessen an einen Menschen.

Falls er dir doch einmal etwas erzählt, das sich als falsch herausstellt, schreib uns an support@rifts.to. Uns ist lieber, wir nehmen es in die Tabelle auf, als dass du es auf die harte Tour merkst.