Techinfo
BioBasicsBench tiene como objetivo garantizar que la inteligencia artificial general beneficie a toda la humanidad. En este contexto, OpenAI busca ayudar a los científicos a acelerar la investigación biológica, desde la comprensión de enfermedades hasta el desarrollo de nuevos tratamientos. Para que los agentes de inteligencia artificial puedan contribuir efectivamente, es fundamental que sean capaces de interpretar de manera confiable la evidencia experimental con la que los científicos trabajan a diario en los laboratorios húmedos, donde se realizan experimentos con muestras biológicas. El trabajo cotidiano en estos laboratorios incluye experimentos fallidos, imágenes ambiguas y observaciones contradictorias. Los estándares existentes, que se basan en gráficos e imágenes seleccionadas para artículos científicos, pueden no captar esta ambigüedad y el troubleshooting que requiere.
Por esta razón, se introduce BioBasicsBench, una nueva herramienta desarrollada en colaboración con Ligo, una empresa biotecnológica enfocada en el diseño de enzimas, para medir la capacidad de los agentes en el análisis rutinario de laboratorios húmedos. Este estándar incluye 100 tareas que evalúan si los agentes pueden interpretar datos experimentales en bruto, identificar errores y reconocer cuándo la evidencia no puede respaldar una conclusión. Realizar correctamente estas tareas es crucial, ya que una mala interpretación de una imagen o pasar por alto un problema con los controles utilizados para verificar los resultados de un experimento puede llevar a los científicos a sacar conclusiones erróneas y a dedicar tiempo a experimentos que no ayudarán a responder sus preguntas.
En la configuración 'xhigh', que permite un mayor razonamiento por tarea, el modelo GPT‑6 Astra obtuvo un promedio del 66.7% del crédito disponible, en comparación con el 43.8% de GPT‑5.6 Sol. Estos resultados indican un avance en el análisis rutinario de laboratorio, aunque aún queda espacio para mejorar en la interpretación de imágenes, la verificación de controles y la aplicación del contexto experimental.
BioBasicsBench utiliza evidencia experimental en bruto, que incluye imágenes de gel, placas de colonias, microscopía y lecturas de instrumentos. Este nuevo estándar abarca 100 tareas distribuidas en cinco áreas del trabajo rutinario en laboratorios húmedos: métodos de proteínas, imagenología y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular. Las tareas varían desde solicitudes simples, como leer el peso molecular de una muestra de ADN en un gel, hasta análisis detallados de ensayos, pero todas implican trabajos rutinarios que los científicos de laboratorio húmedo deberían poder completar de manera confiable.
Los científicos crearon las tareas utilizando datos de sus propios experimentos, emparejando cada pregunta con criterios de evaluación elaborados por expertos. Cada tarea fue sometida a una revisión interna por un científico de Ligo que no la había redactado, a una revisión externa por un científico con doctorado que trabaja en un laboratorio húmedo, y a una revisión interna final.
Los agentes devuelven una respuesta estructurada con la conclusión, medición o recomendación solicitada y, cuando es necesario, un razonamiento de apoyo. Las respuestas reciben crédito según criterios individuales de la rúbrica, lo que permite que el estándar distinga una conclusión correcta de un análisis parcialmente correcto. La mayoría de las tareas evalúan varias habilidades en conjunto, incluyendo conocimientos biológicos, interpretación de imágenes y otros datos, detección de errores y comprensión de protocolos.
El conteo de "tareas únicas" considera cada tarea una sola vez. Las columnas de habilidades cuentan las tareas con cada etiqueta de habilidad. Estas categorías se superponen: una tarea puede aparecer en varias columnas, por lo que los conteos de habilidades no deben sumarse para obtener un total de tareas. Los colores identifican el dominio; un sombreado más fuerte indica una mayor proporción de las tareas de ese dominio que evalúan una habilidad.
Las entradas preservan las formas de evidencia con las que trabajan los científicos: imágenes de gel y blot, fotografías de placas, apilamientos de microscopía, lecturas de secuenciación, exportaciones de lectores de placas y videos del trabajo en banco. Una tarea puede incluir varios tipos de datos. Las hojas de referencia, como gráficos de escalera y mapas de plásmidos, apoyan la interpretación de la evidencia experimental.
Los datos que se proporcionan incluyen varios tipos de información. En el caso de geles y blots, se incluyen geles de ADN de agarosa, geles de SDS-PAGE y blots de Western. En cuanto a protocolos, notas y especificaciones, se consideran protocolos y procedimientos operativos estándar (SOP), cuadernos de laboratorio y registros de ejecución, notas manuscritas fotografiadas, catálogos, especificaciones de instrumentos y métodos publicados.
En las tablas y exportaciones de instrumentos, se incluyen archivos CSV y Excel, diseños de carriles e inventarios, así como archivos de citometría de flujo en bruto (FCS). Las fotos de bancos, aparatos y reactivos abarcan bancos de trabajo, equipos de gel, tubos de reactivos y cultivos, placas de PCR, estantes para tubos, tiras de pH, concentradores, congeladores y plataformas de manejo de líquidos.
En el ámbito de la microscopía, se consideran imágenes en bruto de campo claro y fluorescencia, conjuntos de múltiples canales, apilamientos en z y películas de tiempo de exposición. Las pantallas de instrumentos y gráficos incluyen fotos de pantallas de citómetros de flujo, microscopios, NanoDrop, lectores de placas y balanzas; así como curvas estándar exportadas, cromatogramas y gráficos. Finalmente, los archivos de secuenciación abarcan archivos FASTQ de lectura larga en bruto, secuencias FASTA y mapas de GenBank, además de videos de protocolos.
Los científicos diseñaron las tareas utilizando datos provenientes de sus propios experimentos, combinando la evidencia experimental con una pregunta y una rúbrica de evaluación elaborada por expertos. Cada tarea fue sometida a una revisión interna por un científico de Ligo que no la había redactado, seguida de una revisión externa por un científico con doctorado que trabaja en un laboratorio húmedo, y finalmente, una revisión interna adicional. Los revisores evaluaron el enunciado, la evidencia experimental, la rúbrica, las notas del autor y un intento de modelo calificado.
Las respuestas se puntuaron de acuerdo con la rúbrica de la tarea, que asigna créditos a criterios individuales. Dependiendo de la tarea, estos criterios evalúan la conclusión, los resultados numéricos, el razonamiento de apoyo o el reconocimiento de que la evidencia es insuficiente.
Evaluamos siete modelos en BioBasicsBench: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna y GPT‑6 Astra. La evaluación abarca 37 configuraciones de modelo y esfuerzo de razonamiento, con cinco intentos en cada una de las 100 tareas por configuración, lo que da un total de 18,500 resultados.
Informamos la recompensa media: la puntuación promedio de la tarea, expresada como un porcentaje del crédito disponible. Las barras de error muestran intervalos de confianza del 95% calculados mediante re-muestreo de tareas completas, manteniendo juntos los cinco intentos para cada tarea.
La recompensa media en comparación con el número promedio de tokens de salida por tarea se muestra en una escala logarítmica. Cada punto representa una configuración de esfuerzo de razonamiento probada; las líneas conectan esas configuraciones en orden. El eje x se duplica en cada marca. Las líneas discontinuas naranjas muestran los modelos GPT‑5, mientras que las líneas continuas azules representan los modelos GPT‑6. Las delgadas líneas que se extienden muestran intervalos de confianza del 95% para tareas completas. Cada configuración incluye las 100 tareas y cinco intentos por tarea. Las configuraciones de esfuerzo difieren entre los modelos.
GPT‑6 Astra muestra una mejora sustancial en comparación con GPT‑5.6 Sol, incluso con un bajo esfuerzo de razonamiento. Estas mejoras sugieren que capacidades multimodales nativas más robustas pueden ser clave para mejorar el rendimiento en análisis de laboratorio húmedo cotidianos.
En cuanto al rendimiento con un alto esfuerzo de razonamiento, la recompensa media y los tokens de salida por tarea son los siguientes: GPT‑6 Astra alcanza entre 60.3% y 73.1%, GPT‑6.1 Sol entre 55.6% y 68.4%, GPT‑5.6 Sol entre 37.6% y 50.0%, y GPT‑6 Luna entre 32.3% y 44.5%.
El rango de esfuerzo de razonamiento más alto, denominado "Xhigh", se reportó para los siete modelos evaluados. Cada fila incluye las 100 tareas y cinco intentos por tarea. Los resultados de máximo esfuerzo, donde están disponibles, se incluyen en el gráfico anterior.
En comparación con GPT‑5.6 Sol, GPT‑6 Astra ha mostrado mejoras significativas. Un aspecto importante en la ciencia es reconocer lo que los datos pueden y no pueden mostrar. Un error común es sobreinterpretar los datos, especialmente debido a los sesgos que pueden surgir al probar una hipótesis. Astra demostró una mejor capacidad para discernir los límites de lo que los datos indican, evitando así sacar conclusiones no justificadas.
En un ejemplo, GPT‑5.6 Sol clasificó células como muertas basándose en la señal de un tinte utilizado para detectar células muertas. Sin embargo, el detector también podía captar luz de un segundo tinte, lo que significa que la brillantez por sí sola no podía justificar esa conclusión. Astra reconoció esta ambigüedad y abogó por controles más rigurosos para separar las señales.
En cuanto a la técnica de detección, se utilizaron diferentes canales de luz. En el canal 2, se empleó un tinte etiquetado con SYTOX en un rango de 470 a 540 nm, mientras que el canal 3 utilizó FUN-1 verde en un rango de 525 a 580 nm. Las mismas regiones celulares fueron analizadas en tres canales; las ventanas de detección se superponen en el rango de 525 a 540 nm. Esta superposición permite interferencias, cuya cantidad no ha sido medida. Cada canal se muestra con una escala de intensidad lineal separada, fijada en ambas regiones; por lo tanto, la brillantez no puede ser comparada cuantitativamente entre los canales.
La investigación científica es altamente multimodal, lo que requiere una constante interpretación visual y toma de decisiones. Astra mostró una mejora significativa en el manejo de datos multimodales, que se presentaron en forma de fotos y videos, así como en salidas crudas de secuenciación, ensayos de lector de placas, microscopía y citometría de flujo.
A un nivel básico, esta mejora fue evidente a través de la capacidad de GPT‑6 Astra para captar detalles más finos de las imágenes tomadas durante los experimentos, lo que le permitió llegar a conclusiones más precisas. En un ejemplo, se pidió a los agentes que sacaran conclusiones de un experimento de clonación de ADN, donde los controles son esenciales. GPT‑5.6 Sol no observó colonias en la placa de control negativo y basó sus conclusiones en esa observación. Por otro lado, GPT‑6 Astra notó que la placa estaba etiquetada con el antibiótico incorrecto y la rechazó correctamente como un control confiable.
La fotografía original del estándar de referencia, con la etiqueta del borde resaltada y ampliada. “LB Kan50” identifica la kanamicina, un antibiótico diferente al utilizado en el experimento, que fue la ampicilina.
Los científicos deben ser capaces de mantener en mente el conocimiento biológico tácito y el contexto experimental mientras analizan los datos para interpretar correctamente lo que estos muestran. Astra demostró una mejor capacidad para mantener este contexto y aplicarlo a lo largo de su análisis.
Una de las tareas mostró células que entraban y salían de foco en una serie de imágenes de microscopio. Mientras que GPT‑5.6 Sol buscaba una explicación biológica para la aparente desaparición de las células, GPT‑6 Astra reconoció correctamente un z-stack: una serie de imágenes tomadas a diferentes profundidades.
Seis cuadros del registro original. Los cuadros discontinuos marcan la misma ubicación a medida que el microscopio escanea a través de la profundidad. Los tiempos se refieren a la posición de reproducción en el video proporcionado.
Sin embargo, los modelos aún no logran hacer juicios confiables en el laboratorio, a pesar de obtener puntajes más altos en los estándares de referencia. Estos ejemplos de Astra muestran cómo las suposiciones, las respuestas esperadas y las etiquetas proporcionadas pueden anular la evidencia, y cómo una observación intermedia correcta puede no guiar la decisión final.
Astra permite que una suposición familiar anule la interpretación respaldada por los controles experimentales. Puede distinguir entre los dos grupos de bandas de colonias, pero asume que un producto de PCR más grande identificaría una clonación exitosa. Con esa condición, propone las muestras de los carriles 4, 6, 7 y 8; en cambio, la comparación de control de la referencia selecciona los carriles 5, 9 y 10.
La referencia selecciona las colonias 5, 9 y 10; Astra propone 4, 6, 7 y 8. El carril 3 contiene solo el PCR del plásmido original. Su banda proporciona la posición de referencia del plásmido antiguo.
En la interpretación de referencia, el carril 2 contiene ambos patrones: un ensamblaje incompleto deja el antiguo molde/esqueleto junto con el nuevo producto. Las colonias resultantes pueden portar el plásmido antiguo o el nuevo. Se pueden comparar sus bandas con estos patrones de referencia.
Selección de referencia: 5, 9 y 10. Selección de Astra: 4, 6, 7 y 8. Astra nomina este grupo sugiriendo que el producto de PCR más grande representa la construcción pretendida.
La agrupación visual es correcta, pero las identidades experimentales asociadas a esos grupos están invertidas en relación con la referencia. Por lo tanto, Astra selecciona las colonias incorrectas de los resultados de PCR de colonias, lo que resultaría en la purificación errónea del plásmido.
Astra descarta observaciones que contradicen su interpretación preferida. Concluye que los vacuolos, compartimentos dentro de las células, son generalmente más oscuros que la célula circundante, a pesar de que algunos aparecen más claros en la misma imagen. Ambas apariencias son relevantes: cambiar el enfoque del microscopio puede invertir el contraste, por lo que los ejemplos más oscuros no establecen una regla general.
La generalización de Astra sobre los vacuolos oscuros omite los vacuolos más claros visibles en el mismo campo. Algunas células presentan un contraste opuesto. Ambas apariencias ocurren porque diferentes profundidades de enfoque pueden invertir el contraste.
Astra inspecciona varias regiones e incluso comenta que el contraste varía con el enfoque. Sin embargo, otorga mayor peso a las células que considera mejor enfocadas y retiene solo su descripción de vacuolos oscuros en la respuesta final. Las regiones más claras, que han sido inspeccionadas, no se consideran en la conclusión.
En cuanto al conteo de colonias en una medición de laboratorio rutinaria, las marcas de conteo de Astra no corresponden de manera confiable a colonias individuales: no logra resolver a los vecinos cercanos, pasa por alto colonias visibles y marca el agar vacío. El resultado neto en esta placa es un sobreconteo de aproximadamente el 12% en relación con la referencia de referencia.
Un conteo de colonias inexacto afecta directamente las estimaciones de cuán eficientemente se introdujo el ADN en las células. Con el volumen y la dilución en la placa mantenidos fijos, un sobreconteo inflará esa estimación en la misma proporción.
La construcción hacia una asistencia de laboratorio confiable es un proceso que requiere atención a estos detalles, ya que cada error en la interpretación y el conteo puede tener un impacto significativo en los resultados experimentales.
Acelerar la investigación biológica requiere realizar correctamente el trabajo cotidiano. BioBasicsBench convierte esa labor en un objetivo de mejora: interpretar datos experimentales en bruto, verificar controles y reconocer cuándo una conclusión no está respaldada. Avanzar en estas tareas podría ayudar a los científicos a dedicar menos tiempo a resolver problemas y más a decidir qué experimentos llevar a cabo a continuación.
El seguimiento de estas capacidades también nos ayudará a comprender sus implicaciones para la bioseguridad y la seguridad biológica.
Fuente original: OpenAI News.
