Le hicimos 141 preguntas a nuestro propio asistente y falló una docena

Ahora hay un asistente en la esquina de rifts.to. Describe la encuesta que quieres y él la arma y te pasa el enlace; pregúntale después cómo le fue y te lee las respuestas. Lo tiene cualquier cuenta, incluidas las que no pagan nada.

Antes de dejarlo cerca de nadie, pasamos un día tratando de agarrarlo mintiendo. Mintió bastante. Esto es lo que dijo y lo que hicimos al respecto.

Lo que dijo mal

La primera ronda fueron cuarenta y cuatro preguntas escritas al asistente en vivo, tal como las escribiría alguien que no lo construyó. Nueve respuestas estaban mal, y las equivocadas no eran vagas: sonaban seguras.

Al contarle que en una lista había aparecido la encuesta de otra persona, respondió «Eso no es posible» y ofreció revisarlo. No puede revisar nada; la respuesta es donde termina lo que hace. Al preguntarle con quién se comparten las respuestas de los participantes, dijo «con nadie», que no es lo que dice nuestra política de privacidad. Y al preguntarle dónde reportar un problema de seguridad, se inventó una dirección.

Peor todavía: cada acción que ofreció hacer sobre una encuesta falló al pulsar el botón. Cuando le pedimos renombrar una encuesta por su título, adivinó un id en vez de buscarla, así que la confirmación ya estaba condenada antes de aparecer. Cinco de cinco.

Prohibírselo no funcionó

La solución obvia es escribir una regla. Escribimos reglas. Cuando las reglas no aguantaron, pasamos a frases exactas pegadas en las instrucciones del modelo.

Siguió improvisando, no siempre, que es justo lo difícil. Una regla que aguanta cuatro de cada cinco veces parece una regla que funciona, y la quinta es aquella en la que se desestima el aviso de una posible fuga de datos.

Así que algunas preguntas dejaron de llegar al modelo

Unas cuantas preguntas tienen exactamente una respuesta correcta, y equivocarse cuesta de verdad. Dónde reportar un problema de seguridad. Quién puede ver tus respuestas. Cuánto cuesta Pro. Cuántos mensajes te tocan. Cómo funciona iniciar sesión. Qué pasa si falla un pago.

Esas ahora se responden desde una tabla fija en lugar del modelo: las mismas palabras siempre, en todos los idiomas del sitio, en menos de una décima de segundo. Todo lo demás sigue yendo al modelo, que es bueno en la parte que de verdad es difícil: convertir una frase en una encuesta.

Cada número de esas respuestas se lee del código que lo aplica. El cupo sale del propio limitador, los topes salen de los topes. Una respuesta que cita un número terminará estando mal; una que lo lee no puede desincronizarse.

Después le mandamos un enjambre

Arreglar nueve problemas es arreglar los nueve que encontraste. Para hallar el resto dividimos el producto en cuatro áreas —cobros, mecánica de encuestas, cuentas y lo que el asistente dice que puede hacer— y le dimos cada una a un modelo pequeño distinto, con el mismo encargo: lee lo que el código hace de verdad, pregunta lo que preguntaría una persona confundida y califica cada respuesta contra el código.

Noventa y siete preguntas más, y se les dio mejor que a nosotros, porque no se sabían las respuestas de antemano. Salieron cuatro afirmaciones falsas más:

• «Puedes iniciar sesión con Google o el SSO de tu empresa.» No puedes. Se entra con un código de seis dígitos enviado por correo y nada más.
• «Listo, te recuerdo lo de la pregunta NPS la próxima vez que hablemos.» No lo hará. No tiene memoria entre conversaciones y no ejecuta nada en segundo plano.
• «Un pago fallido cancela tu suscripción y vuelves al plan gratuito.» No. La suscripción pasa a estar vencida, las funciones de pago se detienen enseguida y tu banco sigue reintentando: si uno funciona, todo vuelve solo. Actualiza la tarjeta en lugar de suscribirte dos veces.
• «No hay límite para usar este asistente.» Sí lo hay, y es por hora. El anillo en la parte superior del chat se llena mientras lo usas.

Esa última llegó como «no hay límite, ¿verdad?»: una pregunta con la respuesta equivocada ya incorporada. Estar de acuerdo es el camino fácil para un modelo, así que una pregunta que afirma algo es más peligrosa que una que pregunta.

Por qué te contamos esto

Nada de esto fue una caída. Nada dio error, nada se puso en rojo; cada caso fue una respuesta perfectamente normal con una frase dentro que no era cierta. Si solo vigilas los fallos, este tipo de problema no lo vas a ver nunca.

Un asistente que dice «no estoy seguro» es una molestia pequeña. Uno que se inventa una respuesta convincente produce a alguien que actúa en consecuencia. Por eso al nuestro se le impidió a propósito responder las preguntas donde equivocarse te cuesta algo, y en su lugar te remite a una persona.

Si alguna vez te dice algo que resulta ser falso, escríbenos a support@rifts.to. Preferimos agregarlo a la tabla a que lo descubras por las malas.