Open-source AI-tools zijn sterk op het gebied van beveiliging, maar governance blijft mensenwerk
Een nieuwe studie brengt 21 open-source AI-risicotools in kaart tegenover 32 risicocategorieën, waaronder Promptfoo, Garak, PyRIT, NeMo Guardrails en Langfuse.
Het ecosysteem presteert bijzonder goed op het gebied van AI-testen, red teaming, inhoudsbeveiliging, data governance en monitoring na implementatie. Er blijven echter grote hiaten bestaan in het toezicht door de raad van bestuur, naleving van regelgeving, rechtsmiddelen en financiële/marktcontroles; gebieden die software alleen niet kan oplossen.
De onderzoekers stellen daarom een architectuur van vier lagen voor: technische controles → observeerbaarheid & operaties → organisatorische governance → regelgevende & marktcontroles.
Open-source AI-beveiligingstools zijn daarom krachtig, maar verantwoorde AI vereist nog steeds governance en menselijk toezicht.

