OpenAI y Anthropic colaborarán con el gobierno de EE. UU. en seguridad de la IA
A medida que aumenta la popularidad de la IA generativa, las políticas y las medidas de seguridad intentan mantener el ritmo.
Hay muchas razones para tener preocupaciones sobre la seguridad de la inteligencia artificial generativa (IA gen): cómo recopila y utiliza datos de entrenamiento, protección inconsistente para los usuarios contra contenido dañino, posibles alucinaciones, difusión de información errónea y más. Una nueva asociación entre el gobierno de EE. UU. y empresas líderes en inteligencia artificial busca abordar esos problemas.
El jueves, el Instituto de Seguridad de Inteligencia Artificial de EE. UU. del Instituto Nacional de Estándares y Tecnología (NIST) del Departamento de Comercio de EE. UU. anunció acuerdos con Anthropic y OpenAI para colaborar formalmente en investigación, pruebas y evaluación.
"Con estos acuerdos vigentes, esperamos comenzar nuestras colaboraciones técnicas con Anthropic y OpenAI para avanzar en la ciencia de la seguridad de la IA", dijo en el comunicado Elizabeth Kelly, directora del Instituto de Seguridad de la IA de EE. UU. "Estos acuerdos son sólo el comienzo, pero son un hito importante mientras trabajamos para ayudar a administrar responsablemente el futuro de la IA".
Ambas compañías acordaron brindarle al Instituto de Seguridad de IA de EE. UU. acceso a importantes modelos nuevos antes y después de su lanzamiento público para que pueda evaluar y mitigar los riesgos.
Según el comunicado, el Instituto de Seguridad de IA de EE. UU. también trabajará con sus socios del Instituto de Seguridad de IA del Reino Unido para proporcionar a las empresas comentarios sobre posibles mejoras de seguridad. Estados Unidos y el Reino Unido han colaborado anteriormente en la seguridad de la IA y se asociaron en mayo para desarrollar pruebas de seguridad para modelos de IA.
Tanto Anthropic como OpenAI son líderes importantes en la carrera de la IA y son responsables de crear algunos de los chatbots y modelos de lenguajes grandes (LLM) más populares disponibles. GPT-4o de OpenAI, el LLM detrás de ChatGPT, ocupa actualmente el primer lugar en Chatbot Arena, mientras que Claude 3.5 Sonnet de Anthropic ocupa el sexto lugar en la categoría general.
OpenAI ha estado haciendo esfuerzos para aumentar la transparencia en torno a sus modelos, más recientemente con el lanzamiento de una tarjeta de sistema GPT-4o, un informe exhaustivo que delinea la seguridad del LLM basado en evaluaciones de riesgos de OpenAI, equipos rojos externos y más.