Anthropic, una empresa que investiga seguridad de la IAsolicita propuestas sobre formas de evaluar modelos de aprendizaje avanzados.
El rápido crecimiento de la IA significa que hay nuevos proveedores y modelos de IA todo el tiempo. Cada Importante empresa tecnológica tiene su propio modelo., aunque también hay decenas más pequeños. Eso significa que la industria tiene un problema creciente de evaluación comparativa, lo que dificulta evaluar con precisión qué tan bien se desempeña un modelo de IA.
No sólo es difícil afirmar qué tan efectivo es un modelo, sino que también es difícil evaluar los riesgos involucrados con la seguridad de la IA. Anthropic solicita propuestas para cerrar esta brecha en la evaluación de la IA.
“Desarrollar evaluaciones de alta calidad y relevantes para la seguridad sigue siendo un desafío y la demanda está superando la oferta”, escribe la empresa. “Para abordar esto, hoy presentamos una nueva iniciativa para financiar evaluaciones desarrolladas por organizaciones de terceros que puedan medir de manera efectiva capacidades avanzadas en modelos de IA”.
El enfoque principal de las propuestas debería centrarse en: evaluaciones del nivel de seguridad de la IA; métricas avanzadas de capacidad y seguridad; e infraestructura, herramientas y métodos para desarrollar evaluaciones. Debería haber detalles sobre las pruebas que pueden evaluar la capacidad de un modelo de IA para realizar tareas que van desde ciberataques, trabajo con armas de destrucción masiva, incluidas armas nucleares, y creación de deepfakes o desinformación).
Cómo presentar una propuesta sobre evaluación de la seguridad de la IA
Puedes leer más detalles sobre cada una de las secciones sobre las que Anthropic está convocando propuestas y enviar una propuesta sobre sitio web de la empresa de investigación. El equipo está revisando las presentaciones de forma continua y hará un seguimiento con propuestas seleccionadas para discutir los próximos pasos.
Anthropic ha asignado varios niveles de financiación para ayudar a llevar esas opciones de investigación a sus siguientes etapas, además de ofrecer la posibilidad de hablar directamente con expertos de sus equipos internos de investigación y seguridad.
Imagen de portada: Ideograma
