Un equipo del MIT usó GPT-6 Astra para reparar parte de un modelo Qwen sin recurrir al entrenamiento habitual.
Un equipo del laboratorio CSAIL del MIT ha ensayado lo que denomina «programación en el espacio de pesos». La técnica consiste en usar un modelo de lenguaje para inspeccionar y modificar los parámetros numéricos de otra red neuronal. GPT-6 Astra analizó Qwen3.5-0.8B en un entorno controlado de Python y propuso cambios directos, sin recurrir al ajuste convencional mediante descenso de gradiente.
Qwen sufría un grave problema de razonamiento repetitivo. En muchas respuestas reiteraba los mismos pasos hasta agotar el espacio disponible, por lo que no lograba concluir el ejercicio. Astra eliminó una dirección numérica asociada a ese patrón en componentes concretos de dos capas. El parche afectó a 131.072 pesos, apenas el 0,016 % del modelo.
Tras la intervención, la precisión en MATH-500 pasó del 7,9 % al 48,1 %, mientras que en GSM8K subió del 13,8 % al 67,1 %. También mejoró el seguimiento de instrucciones y disminuyeron las respuestas que alcanzaban el límite. Los resultados apuntan a una reparación de capacidades existentes, no a la incorporación de seis veces más conocimientos matemáticos.
En otros ensayos, Astra reconoció redes destinadas a varios videojuegos y corrigió un controlador de conducción que se atascaba en una rampa. No obstante, el alcance del trabajo aún es limitado. Localizar el pequeño parche de Qwen exigió numerosos intentos y unas veinte horas, y la edición de Gemma no produjo una mejora matemática demostrada. Queda por comprobar si la técnica es más fiable, rápida o barata que volver a entrenar un modelo.
Basado en: Carl Franzen, VentureBeat