Las herramientas de IA de código abierto son sólidas en seguridad, pero la gobernanza sigue siendo humana
Un nuevo estudio compara 21 herramientas de IA de código abierto para la gestión de riesgos con 32 categorías de riesgo, incluyendo Promptfoo, Garak, PyRIT, NeMo Guardrails y Langfuse.
El ecosistema funciona particularmente bien en pruebas de IA, red teaming, seguridad de contenido, gobernanza de datos y monitorización post-implementación. Sin embargo, persisten importantes lagunas en la supervisión del consejo, el cumplimiento normativo, los recursos legales y los controles financieros/de mercado, áreas que el software por sí solo no puede resolver.
Por lo tanto, los investigadores proponen una arquitectura de cuatro capas: controles técnicos → observabilidad y operaciones → gobernanza organizacional → controles regulatorios y de mercado.
Las herramientas de seguridad de IA de código abierto son, por tanto, potentes, pero la IA responsable sigue requiriendo gobernanza y supervisión humana.