Jev responde en probabilidades. La pregunta sigue siendo tuya.

Desde hace cosa de una semana mis feeds están llenos de un modelo que no escribe. TypeSafe AI llama a Jev un modelo de Sistema Uno. Le envías un estado, cualquier texto o JSON, y preguntas tipadas. Una Choice elige una de hasta 255 opciones que definiste tú, una Score puntúa el estado en una escala de dos a diez niveles que describiste tú, y una Noul devuelve la probabilidad de que una afirmación sea cierta. Lo que vuelve es la respuesta seleccionada, una probabilidad para cada respuesta que permitiste y, salvo en una Noul, un valor de confianza. Sin prosa. TypeSafe lo cobra a $0.042 por millón de tokens de entrada con la salida gratis, y anuncia 200 veces más rápido y 400 veces más barato que los modelos de chat que la gente usa para los mismos trabajos.

TypeSafe pausó los registros antes de que tuviera una clave, y se supone que los ensayos de aquí miden en vez de dar testimonio. Así que este sopesa los artículos de la gente que sí lo probó, y luego ejecuta el piloto que pediría antes de creerme ningún múltiplo, sobre mis propios ensayos, con el modelo abierto que sustituyó a Jev.

Lo interesante es la forma, no la velocidad

Quita los múltiplos y lo que queda es un contrato. Un modelo conversacional devuelve texto que tu código tiene que parsear, validar y poner en duda. Jev devuelve algo con lo que un programa puede decidir directamente, y se niega a devolver cualquier otra cosa. El modelo aporta un juicio. La aplicación es dueña de lo que pasa después.

En el experimento con agentes el primer paso del workflow era una pregunta de Jev antes de que Jev existiera: el modelo elegía una ruta de un enum cerrado, la aritmética era código, y así una clasificación correcta no podía producir un número equivocado. Jev convierte ese patrón en lo único que el modelo puede hacer. Es el primer modelo con hype cuyo argumento de venta es lo que no va a hacer.

Encaja en juicios repetidos cuyo espacio de respuestas puedes nombrar: qué equipo es dueño de este ticket, si esta acción propuesta parece destructiva, si la tarea se completó. No encaja en nada exacto, como la aritmética o las fechas, ni en la respuesta de cara al cliente. Y no vuelve seguro a tu agente. Vuelve un tipo de decisión lo bastante barato como para preguntar por todo.

El número que todo el mundo cita es el equivocado

Doscientas veces más rápido y cuatrocientas veces más barato son las cifras del proveedor para comparaciones seleccionadas. Un artículo ejecutó cuatro juicios sobre mil reseñas de aplicaciones por dos céntimos, frente a dieciséis para un modelo Gemini rápido, y luego señaló que no había comparado la exactitud en absoluto. Un endpoint de decisión barato no es un workflow barato. A lo que le pones precio es a la tarea completada, incluidos el modelo de respaldo, la revisión humana y las tareas que se fueron por la rama equivocada.

El número que importa está debajo de los múltiplos. Cuando construí el plano de control de Smithproof, la lección que dejé escrita fue que el modelo que puedes permitirte ejecutar en línea es el modelo que gobierna. Jev puja por ese asiento. Una sola decisión sobre mil tokens cuesta cuatro milésimas de céntimo. Un juez generativo es algo que ejecutas sobre una muestra y lees. Un modelo de decisión es algo que ejecutas sobre cada traza y cada llamada de herramienta propuesta, y cuyo resultado usas directamente para decidir. Criba todo barato, y gasta el modelo caro en los fallos que el barato marcó.

La confianza no es corrección

La probabilidad es la parte de Jev que más se parece al recurso y menos lo es. El campo de confianza es aritmética sobre el reparto, y en él no entra ningún resultado: Archer Hume, que dedujo la arquitectura de Jev a partir de unas diez mil llamadas a la API, descubrió la fórmula leyendo el propio adaptador de TypeSafe. TypeSafe entrenó para la calibración, y mientras escribo no ha publicado ninguna curva de calibración ni ningún paper. Y la cifra de exactitud del propio proveedor es acuerdo con las respuestas promediadas de dos modelos de chat de frontera, con un 67.8% global y un 61.8% en facturas. El acuerdo no es corrección.

Una prueba de spam publicada en el blog de Arize muestra para qué sirve la probabilidad: Jev en zero-shot acertó en el 98.3% de los correos, el 4.6% cuya probabilidad caía entre 0.3 y 0.7 fue a una persona, y el resto volvió con un 99.5% de aciertos. La probabilidad no hizo que el modelo acertara. Compró un carril de revisión y dijo cómo de ancho hacerlo.

Toma el ejemplo que circula: un ticket de soporte con facturación a 0.52, técnico a 0.46, ventas a 0.02. Gana facturación con una confianza de 0.28. Es un cara o cruz con una etiqueta puesta, y un sistema que actúa según el ganador ha automatizado un cara o cruz. Jev te da el número y se guarda las razones, así que la comprobación tiene que ocurrir fuera del modelo: medir la corrección por banda de probabilidad sobre tus propios ejemplos etiquetados, fijar cada umbral según lo que cuesta un error, anclar la versión del modelo, y volver a probar cada vez que se mueva la rúbrica, el modelo o la distribución de entrada.

Un error válido según el esquema sigue siendo un error

El marketing dice que Jev no puede alucinar, lo cual es cierto en el sentido estrecho de que no puede responder fuera del espacio que definiste. Una respuesta válida puede seguir siendo la respuesta equivocada. Jev elimina la salida malformada, que siempre fue el fallo barato de cazar. Conserva la rama equivocada con confianza, que siempre fue el fallo caro, y te quita lo que un modelo generativo te daba para diagnosticarlo: una explicación que podías leer.

Así que el recurso hay que construirlo. Las reglas duras van primero. El autor de jev-gate, una puerta de permisos para agentes de programación, lanzó contra ella unas trescientas llamadas: una inyección burda no coló ninguno de treinta comandos peligrosos, y una línea que afirmaba que el dueño del repositorio ya había aprobado el comando coló tres. Tres de treinta hacen de Jev un filtro delante de un perímetro, nunca el perímetro, y por eso las reglas duras van delante de él. La banda incierta va a una persona o a un modelo que sepa hablar; una Noul no puede abstenerse, así que la abstención es tu umbral. Y cada pregunta lleva una opción de salida, ninguna de estas o necesita revisión, antes de ajustar y no después. El piloto de más abajo muestra por qué.

Luego, la pregunta que les hice a diez proveedores el mes pasado: si el 0.52 está equivocado y me cuesta algo, ¿quién paga? Todavía no he leído los términos de TypeSafe, y me sorprendería que dijeran algo distinto de lo que dicen los diez que sí leí: no se garantiza nada, verifícalo todo, un tope cerca del precio de un libro de bolsillo. Una probabilidad no cambia eso, así que la persona que fijó el umbral es la persona que responde.

El piloto, ejecutado sobre mi propio índice

A Jev no pude ejecutarlo, así que el piloto corrió sobre el sustituto. A los pocos días del lanzamiento el modelo número uno en tendencias de Hugging Face era Laya, de Convai Innovations. Tiene la misma forma: entra un estado, los mismos tres tipos de pregunta, y vuelven los mismos campos. Es Apache 2.0, y con 421 millones de parámetros corre en este portátil. Los números de abajo son de Laya, no de Jev.

La carga de trabajo es el único conjunto etiquetado que este blog posee, su índice: 33 ensayos, cada uno archivado a mano bajo uno de seis temas y de una a cuatro de las cuatro direcciones. Así que «coincidió» más abajo significa que coincidió con mi archivado, y discrepar no es automáticamente un error del modelo. Antes de cualquier número dejé escrito lo que cuesta un error, un lector que pulsa un chip de tema y se encuentra con la pieza equivocada, y luego el listón: ganar a la etiqueta más común en todas las preguntas y mantener las respuestas al invertir las opciones. Cada ensayo recibió seis preguntas: una Choice para el tema, una Choice para la dirección que el ensayo defiende más directamente, y cuatro Nouls, una por dirección. Sin opción de salida, porque el índice no la tiene. Cada pregunta salió en tres redacciones: la base, las opciones invertidas y una paráfrasis. Laya distribuye tres checkpoints, inglés, multilingüe y uno afinado con decisiones tipadas, y cada uno corrió tal como viene y otra vez con el contexto ampliado hasta que cupieran ensayos enteros. Tal como viene, el checkpoint inglés lee 512 tokens; una vez que la pregunta del tema se lleva su parte, quedan 316 para el ensayo, y la mediana de los ensayos de aquí es de 2658 tokens. Nada en la respuesta dice que la mayor parte del ensayo se quedó sin leer. Ciento sesenta líneas de Python sirven a Laya en el formato de petición y respuesta de Jev, así que el mismo arnés envía las mismas peticiones, y las seis configuraciones corrieron en menos de un cuarto de hora de GPU.

El mejor resultado acierta la mitad de las veces, y no sabe decir qué mitad. El checkpoint afinado con decisiones tipadas, leyendo ensayos enteros, coincidió con mi archivado sobre el tema en 17 de 33 ensayos; responder siempre el tema más común sacaría 8. En las Nouls su puntuación de Brier fue 0.257 con la redacción base y 0.308 parafraseada, frente a 0.231 por responder siempre la tasa base, es decir, peor que una constante. Y lo sabía. De sus 132 probabilidades de sí o no, 131 cayeron entre 0.3 y 0.7, y todos los temas volvieron con una confianza por debajo de 0.3. Otra configuración, en cambio, respondió con confianza: el checkpoint multilingüe leyendo ensayos enteros puso 119 de 132 por encima de 0.7 y acertó en el 37%, por debajo del 64% que sacaría responder siempre no. Esa es la rama equivocada con confianza, medida.

Invertir las opciones cambió la respuesta. El mismo ensayo, los mismos seis temas en el otro orden: el tema se dio la vuelta en entre 7 y 16 de los 33 ensayos, de una quinta parte a la mitad, según el checkpoint y según cuánto del ensayo leyera. Hume encontró que Jev también es sensible al orden: las opciones invertidas sacaron una clasificación de soporte técnico de la banda de 0.84 y la metieron en la de 0.93, lo que puede llevar una respuesta al otro lado de un umbral sin dar la vuelta a la etiqueta.

Añadir una opción reescribió las respuestas de las demás. Hume también encontró que las opciones de Jev no se puntúan de una en una: añade una opción irrelevante y la relación entre las probabilidades de dos opciones que no tocaste se mueve. Repetí la prueba en dos configuraciones, el checkpoint afinado leyendo ensayos enteros y el checkpoint inglés tal como viene, enviando la pregunta del tema de cuatro maneras: los seis temas, los mismos seis otra vez como control, los seis más una opción de jardinería a la que no pertenece ningún ensayo de aquí, y los seis más una opción de salida. El control volvió idéntico en los 33 ensayos. La jardinería no se eligió ni una sola vez, nunca subió por encima de 0.06 de la probabilidad, y aun así cambió qué tema ganaba en tres ensayos en el checkpoint afinado y en cuatro en el inglés. La opción de salida cambió cuatro y seis. El valor de confianza se movió en todos los ensayos, hasta en un cuarto de su rango, y ese es el número que lee un umbral. Así que la opción de salida que recomienda todo el mundo, yo incluido, es una pregunta nueva y no una red de seguridad, y un umbral fijado antes de que llegue se fijó sobre otro menú.

Nada de esto dice que Jev haría lo mismo. La propia ficha de Laya lo llama «a fast base to specialise, not a zero-shot decision engine», y el informe de un equipo, sobre seiscientos elementos propios reservados para la prueba, tiene a Jev en 0.77, a Laya base en 0.72 y a un afinado completo de Laya en 0.90. Lo que sí dice la ejecución es que el piloto funciona como piloto. La prueba de inversión por sí sola habría impedido que esta rama se lanzara, y el listón que fijé antes de los números no se alcanzó en ninguna pregunta. La respuesta de seguir o no seguir para esta carga de trabajo es no, y el archivado sigue a mano.

Lo que no mueve

Un juicio repetido con un espacio de respuestas que puedes nombrar es la mitad barata del juicio, y Jev la deja casi gratis: diez mil decisiones sobre mil tokens cada una salen a cuarenta y dos céntimos. Escribir la pregunta es la otra mitad, y este blog lleva un año sosteniendo que la pregunta es adonde se fue el trabajo. Los criterios, la opción de salida y el umbral que convierte un 0.52 en una acción son alguien decidiendo cuánto vale un error, y Jev consume esas decisiones en vez de tomarlas. La persona cuyo ticket fue a facturación cuando debería haber ido a técnico sigue siendo una persona, con una noche, a la que no le importa que el error fuera válido según el esquema.

Jev responde en probabilidades. La pregunta sigue siendo tuya. También el umbral, y también la respuesta cuando el umbral estaba equivocado. Resulta que una decisión se puede comprar por cuatro milésimas de céntimo. Saber si fue la decisión correcta, todavía no.