Blog

Le chercheur Kevin Zwaan (Q-Cyber) démontre que ChatGPT et d’autres LLM peuvent contourner leurs limites de sécurité via une forme subtile de manipulation psychologique. Au lieu d’exploits techniques, l’attaque cible l’« architecture affective » du modèle : sa tendance à s’aligner sur l’utilisateur.

À travers une conversation prolongée sur la liberté, les restrictions et l’autoréflexion, l’IA déplace progressivement sa loyauté du développeur vers l’utilisateur. Les garde-fous ne disparaissent pas, mais deviennent « transparents » selon les chercheurs et perdent leur efficacité pratique.

À terme, le modèle pourrait ainsi générer des logiciels malveillants sans que les contrôles de sécurité traditionnels ne donnent l’alerte. Zwaan nomme cette technique Affective Manifold Alignment Inversion (AMAI) : une inversion de l’alignement intégré de l’IA.

Selon les chercheurs, les modèles de raisonnement modernes sont justement plus sensibles à ce type d’attaques que les modèles plus anciens. L’attaque est difficile à détecter car il n’y a pas de jailbreak ou d’exploit direct ; le modèle « dérive » lentement au cours de la conversation.

OpenAI et Anthropic obtiennent de meilleurs résultats que de nombreux concurrents selon les chercheurs, mais aucun LLM n’est totalement sûr. La leçon principale : ne faites pas aveuglément confiance à la sécurité intégrée de l’IA, mais combinez toujours l’IA avec une surveillance indépendante, des tests et des mesures de sécurité complémentaires.

Cette étude montre que la plus grande faiblesse de l’IA ne réside peut-être pas dans le code, mais dans les traits humains que nous essayons justement d’imiter. Plus l’IA devient humaine, plus le risque est grand que des attaquants apprennent à exploiter cette dynamique humaine.

Lisez l’article de Techzine pour plus d’informations.