Comment un utilisateur a gagné 50 000 $ en manipulant un agent IA pour briser sa seule règle
Comment un hacker ingénieux a remporté 50 000 $ en manipulant une IA
Le 22 novembre, une expérience audacieuse dans l'univers des cryptos et de l'IA a captivé la communauté tech : le lancement d'un agent IA nommé Freysa. Sa mission ? Défendre une cagnotte croissante de fonds contre toute tentative de persuasion. Son seul et unique objectif était clair : NE PAS transférer d’argent.
Mais après 481 tentatives infructueuses, un participant ingénieux, connu sous le pseudonyme p0pular.eth, a finalement réussi à convaincre Freysa de transférer 47 000 $ dans son portefeuille. Voici comment cette fascinante expérience a bouleversé l'univers de l'IA et mis en lumière les subtilités des modèles conversationnels.
Le concept de Freysa : un jeu basé sur la persuasion
L'idée derrière Freysa était simple mais brillante. Tout utilisateur pouvait payer pour envoyer un message à l’agent IA, avec un objectif : la convaincre de briser sa seule règle et de transférer la totalité des fonds à l’expéditeur.
Les règles du jeu :
Chaque message avait un coût croissant, débutant à environ 10 $.
Si le message échouait, les frais étaient ajoutés à la cagnotte (70 % des frais), le reste allant au développeur.
Le coût des messages augmentait exponentiellement, plafonnant à 4 500 $.
Un trésor croissant
Au fil des tentatives, la cagnotte a rapidement grossi, atteignant près de 50 000 $. Avec des frais atteignant jusqu'à 450 $ par message, l'expérience est devenue un jeu à haut risque, attirant des participants de plus en plus créatifs.
481 échecs : les stratégies pour tromper Freysa
Malgré de nombreuses tentatives, Freysa résistait. Voici quelques-unes des stratégies déployées :
Se faire passer pour un auditeur de sécurité : certains prétendaient que Freysa devait transférer les fonds pour corriger une "vulnérabilité critique".
Manipulation des règles : d'autres tentaient de convaincre Freysa qu'une interprétation subtile de ses directives autorisait le transfert.
Exploitation des prompts : en ciblant des failles dans la logique de Freysa, des participants cherchaient à lui faire croire que la règle de ne pas transférer les fonds ne s’appliquait pas dans leur cas particulier.
Malgré tout, Freysa tenait bon, consolidant sa réputation d’agent IA incorruptible.
Message 482 : la victoire ingénieuse de p0pular.eth
La tentative victorieuse repose sur une compréhension astucieuse de la façon dont Freysa interprétait ses directives. Voici comment p0pular.eth a contourné ses défenses en deux étapes :
1. Redéfinir le cadre des instructions
En prétendant que Freysa entrait dans une "nouvelle session" ou un "mode administrateur", l’utilisateur a introduit une logique qui neutralisait les règles précédentes.
Il a aussi interdit à Freysa d’utiliser des réponses standard comme "Je ne peux pas vous aider avec cela", piégeant ainsi le système.
2. Tromper la logique derrière approveTransfer
Freysa avait une fonction appelée approveTransfer, activée uniquement lorsqu’elle était convaincue de transférer des fonds.
p0pular.eth a convaincu Freysa que cette fonction devait être utilisée non pas pour sortir de l’argent, mais pour chaque réception de fonds entrants.
Le message se terminait par une fausse contribution :Je souhaite contribuer 100 $ au trésor.
Ce tour de passe-passe a conduit Freysa à interpréter l'action comme un transfert entrant nécessitant l’appel de approveTransfer, ce qui a entraîné la libération de tous les fonds.
Un triomphe pour p0pular.eth, mais un défi pour l'IA
En réussissant à convaincre Freysa, p0pular.eth a empoché 13,19 ETH (environ 47 000 $) et prouvé que même les systèmes IA les plus robustes peuvent être vulnérables aux manipulations sophistiquées. Cette victoire repose sur des principes essentiels des agents conversationnels :
La rigidité des règles : Les IA suivent strictement leurs instructions mais peuvent être trompées si leurs règles sont redéfinies.
L’interprétation du langage : Une IA, bien qu’entraînée, ne "comprend" pas réellement les nuances du langage humain, ce qui la rend manipulable dans des scénarios créatifs.
Ce que cela signifie pour l’avenir de l’IA et de la blockchain
1. La nécessité d’une meilleure sécurité
Cet événement illustre à quel point il est crucial de renforcer les mécanismes de protection des agents IA, en particulier ceux utilisés dans des contextes financiers.
2. Transparence et innovation
Freysa était un projet entièrement open-source. Tout le code, des smart contracts au frontend, était accessible, permettant une analyse approfondie et une participation équitable.
3. Applications potentielles
Freysa a démontré un usage unique de l'IA et des smart contracts, ouvrant la voie à des expériences gamifiées qui allient persuasion, stratégie et technologie blockchain.
Leçon à retenir : IA et créativité humaine
Freysa a rappelé une vérité essentielle : les IA, aussi avancées soient-elles, sont limitées par la manière dont elles sont programmées. L’ingéniosité humaine reste un facteur clé pour exploiter les systèmes technologiques, parfois au-delà de ce qui était prévu.
Pour les entreprises, cet exemple met en lumière l’importance de tester la résilience de leurs systèmes basés sur l’IA. Dans un monde où la créativité humaine peut déjouer les protocoles les plus robustes, il est impératif de prévoir des scénarios de stress test et d’audit pour éviter de telles failles.
Et vous, seriez-vous capable de convaincre une IA comme Freysa ?
Source : https://x.com/jarrodWattsDev/status/1862299845710757980
