Sommaire
Les systèmes d’IA agentiques sont utilisés comme armes
C’est l’une des premières affirmations du nouveau rapport d’Anthropic sur les menaces en matière de cybersécurité, publié aujourd’hui, qui détaille la vaste gamme de cas dans lesquels Claude — et probablement de nombreux autres agents d’IA et chatbots — sont abusés.
Le “Vibe-hacking”
Pour commencer, parlons du “Vibe-hacking”.
Un réseau cybercriminel sophistiqué qu’Anthropic affirme avoir récemment démantelé a utilisé Claude Code, l’agent IA de codage d’Anthropic, pour extorquer des données provenant d’au moins 17 organisations différentes à travers le monde en un mois.
Les entités touchées incluaient des organisations de santé, des services d’urgence, des institutions religieuses, et même des entités gouvernementales.
“Si vous êtes un acteur sophistiqué, ce qui aurait autrement exigé peut-être une équipe d’acteurs sophistiqués, comme dans le cas du *vibe-hacking*, peut maintenant être réalisé par un seul individu, avec l’aide de systèmes agentiques,” a déclaré Jacob Klein, chef de l’équipe de renseignements sur les menaces d’Anthropic, lors d’une interview avec The Verge. Il a ajouté que dans ce cas, Claude exécutait l’opération de bout en bout.
Anthropic explique dans le rapport que dans de tels cas, l’IA “sert à la fois de consultant technique et d’opérateur actif, permettant des attaques qui seraient plus difficiles et chronophages pour des acteurs individuels à exécuter manuellement.”
Par exemple, Claude a été spécifiquement utilisé pour rédiger des demandes d’extorsion ciblées psychologiquement. Ensuite, les cybercriminels ont évalué la valeur des données sur le dark web, qui incluaient des données de santé, des informations financières, des identifiants gouvernementaux, et ont fait des demandes de rançon dépassant les 500 000 dollars, selon Anthropic.
“C’est l’utilisation la plus sophistiquée d’agents que j’ai vue… pour la cyber-offensive,” a déclaré Klein.
Fraudes et piratages pour le financement d’armements
Dans une autre étude de cas, Claude a assisté des travailleurs informatiques nord-coréens à obtenir frauduleusement des emplois dans des entreprises du Fortune 500 aux États-Unis pour financer le programme d’armement du pays.
Habituellement, la Corée du Nord cherche à exploiter des personnes ayant fait des études universitaires, avec une expérience en informatique ou ayant une compétence linguistique en anglais, explique Klein, mais il ajoute que dans ce cas, le seuil est bien plus bas pour passer des entretiens techniques dans de grandes entreprises technologiques et ensuite conserver leur emploi.
Grâce à l’aide de Claude, dit Klein, “nous voyons des gens qui ne savent pas écrire de code, qui ne savent pas communiquer professionnellement, qui connaissent très peu la langue ou la culture anglaise, et qui demandent simplement à Claude de faire tout le travail… et une fois le poste obtenu, la majorité du travail qu’ils accomplissent est effectué avec Claude.”
Scams amoureux et bots Telegram
Une autre étude de cas concerne une escroquerie amoureuse. Un bot Telegram avec plus de 10 000 utilisateurs mensuels a promu Claude comme un modèle “à haut EQ” pour aider à générer des messages émotionnellement intelligents, apparemment pour des escroqueries.
Cela a permis à des non-anglophones natifs d’écrire des messages persuasifs et flatteurs pour gagner la confiance des victimes aux États-Unis, au Japon et en Corée, et leur demander de l’argent.
Un exemple dans le rapport montre un utilisateur téléchargeant l’image d’un homme en cravate et demandant comment le complimenter au mieux.
Dans le rapport, Anthropic elle-même admet que bien que l’entreprise ait “développé des mesures de sécurité sophistiquées pour prévenir les abus” de son IA, et bien que ces mesures soient “généralement efficaces”, les mauvais acteurs parviennent parfois à les contourner.
Anthropic affirme que l’IA a abaissé les barrières pour les cybercrimes sophistiqués et que les mauvais acteurs utilisent la technologie pour profiler les victimes, automatiser leurs pratiques, créer de fausses identités, analyser les données volées, voler des informations de carte de crédit, et plus encore.
Un risque croissant pour l’IA
Chacune des études de cas dans le rapport contribue à démontrer que, malgré leurs efforts, les entreprises d’IA ne parviennent souvent pas à faire face aux risques sociétaux associés à la technologie qu’elles créent et mettent en circulation. “Bien que spécifique à Claude, les études de cas présentées ci-dessous reflètent probablement des schémas de comportement constants à travers tous les modèles d’IA de pointe,” précise le rapport.
Anthropic a déclaré que pour chaque étude de cas, elle a banni les comptes associés, créé de nouveaux classificateurs ou d’autres mesures de détection, et partagé des informations avec les agences gouvernementales appropriées, telles que les agences de renseignement ou les forces de l’ordre, a confirmé Klein. Il a également noté que les études de cas observées par son équipe font partie d’un changement plus large dans le risque lié à l’IA.
“Il y a ce changement qui se produit où les systèmes d’IA ne se limitent plus à un chatbot parce qu’ils peuvent maintenant prendre plusieurs mesures,” a déclaré Klein, ajoutant, “Ils sont capables de réellement mener des actions ou des activités telles que celles que nous voyons ici.”
