Explorer les cybermenaces et renforcer les moyens de défense à l’ère de l’IA
Aujourd'hui, le monde de la cybersécurité est en pleine transformation. L'intelligence artificielle est à la tête de cette évolution, constituant à la fois une menace et une opportunité. Si l'IA peut permettre aux organisations de déjouer les cyberattaques à la vitesse de la machine et favoriser l'innovation, l'efficacité de la détection des menaces, le repérage et la réponse aux incidents. Les adversaires peuvent eux aussi l'utiliser pour exploiter les failles. Il n'a jamais été aussi essentiel pour nous de concevoir, de déployer et d'utiliser l'IA en toute sécurité.
Chez Microsoft, nous exploitons le potentiel de l'IA pour renforcer nos mesures de sécurité, débloquer des protections nouvelles et avancées, ainsi que pour créer de meilleurs logiciels. Grâce à l'IA, nous avons le pouvoir de nous adapter à l'évolution des menaces, de détecter instantanément les anomalies, de réagir rapidement pour neutraliser les risques et d'adapter les défenses aux besoins d'une organisation.
L'IA peut également nous aider à relever un autre des plus grands défis du secteur. Face à la pénurie mondiale de main-d'œuvre dans le domaine de la cybersécurité, avec environ 4 millions de professionnels de la cybersécurité nécessaires dans le monde, l'IA a le potentiel d'être un outil essentiel pour combler le manque de personnel et aider les défenseurs à être plus productifs.
Nous avons déjà vu dans une étude comment Copilot pour la sécurité peut aider les analystes en sécurité, quel que soit leur niveau d'expertise. Pour toutes les tâches, les participants étaient 44 % plus précis et 26 % plus rapides.
Alors que nous cherchons à sécuriser l'avenir, nous devons veiller à trouver un équilibre entre être préparé à l'IA et exploiter ses avantages, car l'IA a le pouvoir d'élever le potentiel humain et de résoudre certains de nos défis les plus importants.
Un avenir plus sûr grâce à l'IA nécessite des avancées fondamentales dans le domaine du génie logiciel. Cela nous oblige à comprendre et à contrer les menaces que représente l'IA en tant qu'éléments essentiels de toute stratégie de sécurité. Nous devons travailler ensemble pour mettre en place une collaboration et des partenariats approfondis entre les secteurs public et privé afin de lutter contre les personnes malveillantes.
Dans le cadre de cet effort et de notre propre initiative Secure Future, OpenAI et Microsoft publient aujourd'hui de nouveaux renseignements détaillant les tentatives des acteurs de la menace de tester et d'explorer l'utilité des grands modèles de langage (LLM) dans les techniques d'attaque.
Nous œuvrons tous pour construire un avenir plus sûr, c’est pour cela que nous espérons que ces informations seront utiles à tous les secteurs d'activité. Parce qu'en fin de compte, nous souhaitons tous nous défendre.
Bret Arsenault,
Vice-président, conseiller en chef en cybersécurité
Vice-président, conseiller en chef en cybersécurité
Regardez le briefing numérique de Cyber Signals où Vasu Jakkal, vice-présidente de l’Entreprise Sécurité Microsoft, interroge les principaux experts en veille des cybermenaces à l'ère de l'IA sur les façons dont Microsoft utilise l'IA pour améliorer la sécurité, et ce que les organisations peuvent faire pour aider à renforcer la défense.
Les attaquants explorent les technologies de l'IA
La cybermenace est un domaine de plus en plus offensif, les attaquants étant de plus en plus motivés, de plus en plus sophistiqués et disposant de ressources de plus en plus performantes. Les acteurs de la menace, tout comme les défenseurs, se tournent vers l'IA, y compris les grands modèles de langage, pour améliorer leur productivité et tirer parti de plateformes accessibles qui pourraient correspondre à leurs objectifs et à leurs techniques d'attaque.
Compte tenu de l'évolution rapide des menaces, nous annonçons aujourd'hui les principes de Microsoft qui guident nos actions visant à atténuer le risque que les acteurs de la menace, y compris les menaces avancées persistantes (APT), les manipulateurs avancés persistants (APM) et les syndicats de cybercriminels, utilisent des plateformes d'IA et des API. Ces principes comprennent l'identification et la lutte contre l'utilisation de l'IA par des acteurs de la menace malveillants, la notification à d'autres fournisseurs de services d'IA, la collaboration avec d'autres parties prenantes et la transparence.
Bien que les motivations et la sophistication des acteurs de la menace varient, ils ont des tâches communes lorsqu'ils déploient des attaques. Il s'agit notamment de la reconnaissance, comme la recherche des secteurs d'activité, des lieux et des relations des victimes potentielles, mais aussi du codage, y compris l'amélioration des scripts logiciels et le développement de logiciels malveillants, et enfin de l'aide à l'apprentissage et à l'utilisation des langages humains et des langages machine.
Les États-nations tentent de tirer profit de l'IA
En collaboration avec OpenAI, nous partageons des renseignements sur les menaces qui montrent que des adversaires affiliés à l'État ont été détectés, sous les noms de Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon et Salmon Typhoon, et qu'ils utilisent des grands modèles de langage pour renforcer les cyber-opérations.
L'objectif du partenariat de recherche de Microsoft avec OpenAI est de garantir une utilisation sûre et responsable des technologies d'IA comme ChatGPT, en respectant les normes les plus strictes en matière d'application éthique afin de protéger la communauté d'une éventuelle utilisation abusive.
Forest Blizzard (STRONTIUM) est un acteur très efficace du renseignement militaire russe lié à l’unité 26165 de la direction générale des renseignements (GRU) de l'État-Major des Forces armées de la Fédération de Russie. Il a ciblé des victimes présentant un intérêt tactique et stratégique pour le gouvernement russe. Ses activités couvrent une variété de secteurs, notamment la défense, le transport/la logistique, le gouvernement, l'énergie, les ONG et les technologies de l'information
Emerald Sleet (Velvet Chollima) est un acteur de la menace nord-coréen. Microsoft a découvert qu’il se faisait passer pour des institutions académiques et des ONG réputées afin d'inciter les victimes à répondre avec des analyses d'experts et des commentaires sur les politiques étrangères liées à la Corée du Nord.
L'utilisation de grands modèles de langage par Emerald Sleet impliquait des recherches sur les groupes de réflexion et les experts de la Corée du Nord, ainsi que la génération de contenu susceptible d'être utilisé dans des campagnes d’harponnage. Emerald Sleet a également interagi avec les grands modèles de langage pour comprendre les vulnérabilités connues du public, résoudre les problèmes techniques et obtenir de l'aide pour l'utilisation de diverses technologies web.
Crimson Sandstorm (CURIUM) est un acteur de la menace iranien suspecté d’être lié au Corps des gardiens de la révolution islamique (IRGC). L'utilisation des grands modèles de langage a donné lieu à des demandes d'assistance en matière d'ingénierie sociale, d'aide à la résolution d'erreurs, de développement .NET et de moyens permettant à un attaquant de ne pas être détecté lorsqu'il se trouve sur une machine compromise.
Charcoal Typhoon (CHROMIUM) est un acteur de la menace lié à la Chine qui se concentre principalement sur le suivi de groupes à Taïwan, en Thaïlande, en Mongolie, en Malaisie, en France, au Népal et de personnes dans le monde entier qui s'opposent aux politiques de la Chine. Lors d'opérations récentes, Charcoal Typhoon était impliqué avec des grands modèles de langage pour obtenir des informations sur les recherches visant à comprendre des technologies, des plateformes et des vulnérabilités spécifiques, ce qui indique des étapes préliminaires de collecte d'informations.
Un autre groupe soutenu par la Chine, Salmon Typhoon, a évalué l'efficacité de l'utilisation des grands modèles de langage tout au long de l'année 2023 pour obtenir des informations sur des sujets potentiellement sensibles, des particuliers prestigieux, la géopolitique régionale, l'influence des États-Unis et les affaires internes. Cet engagement provisoire avec les grands modèles de langage pourrait refléter à la fois un élargissement de sa panoplie d'outils de collecte de renseignements et une phase expérimentale d'évaluation des capacités des technologies émergentes.
Nos recherches avec OpenAI n'ont pas permis d'identifier des attaques significatives employant les grands modèles de langage que nous surveillons de près.
Nous avons pris des mesures pour perturber les ressources et les comptes associés à ces acteurs de la menace et façonner les garde-fous et les mécanismes de sécurité autour de nos modèles.
D'autres menaces liées à l'IA apparaissent
La fraude par IA est une autre préoccupation essentielle. La synthèse vocale en est un exemple : un échantillon de voix de trois secondes permet d'entraîner un modèle à avoir la voix de n'importe qui. Même quelque chose d'aussi anodin que le message d'accueil de votre boîte vocale peut être utilisé pour obtenir un échantillon suffisant.
Une grande partie de nos interactions et de nos relations commerciales reposent sur la vérification d'identité, comme la reconnaissance de la voix, du visage, de l'adresse e-mail ou du style d'écriture d'une personne.
Il est essentiel que nous comprenions comment les acteurs malveillants utilisent l'IA pour compromettre les systèmes de vérification d'identité en place depuis longtemps, afin que nous puissions lutter contre les fraudes complexes et à d'autres menaces émergentes de piratage psychologique qui obscurcissent les identités.
L'IA peut également être utilisée pour aider les entreprises à déjouer les tentatives de fraude. Bien que Microsoft ait mis fin à notre engagement avec une entreprise brésilienne, nos systèmes d'IA ont détecté ses tentatives de reconstitution pour réintégrer notre écosystème.
Le groupe a continuellement tenté d'obfusquer ses informations, de dissimuler ses propriétés et de se réinscrire, mais nos détections d'IA ont utilisé près d'une douzaine de signaux de risque pour marquer l'entreprise frauduleuse et l'associer à un comportement suspect précédemment reconnu, bloquant ainsi ses tentatives.
Microsoft s'est engagée à faire en sorte que l' IA dirigée par des êtres humains soit responsable et que la protection de la vie privée et la sécurité soient assurées par des êtres humains qui supervisent, évaluent les recours et interprètent les politiques et les réglementations.
Sensibiliser les employés et le public aux cyber-risques :
- Utiliser des politiques d'accès conditionnel : ces politiques fournissent des conseils clairs et déployables automatiquement pour renforcer l’état de votre sécurité. Elles protègent automatiquement les clients en fonction des signaux de risque, des licences et de l'utilisation. Les politiques d'accès conditionnel sont personnalisables et s'adaptent à l'évolution de l’environnement des cybermenaces.
- Former et reformer les employés sur les tactiques de piratage psychologique : former les employés et le public à reconnaître et à réagir face aux attaques de piratage psychologique par courriels d'hameçonnage, hameçonnage par message vocal (vishing), et hameçonnage par SMS (smishing), et à appliquer les meilleures pratiques de sécurité pour Microsoft Teams.
- Protéger rigoureusement les données : veiller à ce que les données restent privées et contrôlées de bout en bout.
- Tirer profit des outils de sécurité d’IA générative : des outils tels que Microsoft Copilot pour la sécurité peuvent étendre les capacités et améliorer l’état de la sécurité de l'organisation.
- Activer l'authentification multifacteur : activez l'authentification multifacteur pour tous les utilisateurs, en particulier pour les fonctions d'administrateur, car elle réduit le risque de piratage des comptes de plus de 99 %.
Se protéger contre les attaques
Microsoft garde une longueur d'avance grâce à une sécurité complète combinée à l'IA générative
Microsoft détecte un volume considérable de trafic malveillant : plus de 65 000 milliards de signaux de cybersécurité par jour. L'IA renforce notre capacité à analyser ces informations et à veiller à ce que les informations les plus précieuses soient mises en évidence pour aider à stopper les menaces. Nous utilisons également cette veille du signal pour alimenter l'IA générative pour la protection contre les menaces avancées, la sécurité des données et la sécurité des identités afin d'aider les défenseurs à détecter ce que les autres ne voient pas.
Microsoft utilise plusieurs méthodes pour se protéger et protéger ses clients contre les cybermenaces, notamment : la détection des menaces basée sur l'IA pour repérer les changements dans la manière dont les ressources ou le trafic sur le réseau sont utilisés, l'analyse comportementale pour détecter les connexions à risque et les comportements anormaux, les modèles d'apprentissage automatique (ML) pour détecter les connexions à risque et les logiciels malveillants, les modèles Confiance Zéro dans lesquels chaque demande d'accès doit être entièrement authentifiée, autorisée et chiffrée, et enfin, la vérification de l’intégrité de l’appareil avant qu'il puisse se connecter à un réseau d'entreprise.
Parce que les acteurs de la menace comprennent que Microsoft utilise rigoureusement l'authentification multifacteur (MFA) pour se protéger, l’authentification multifacteur ou la protection sans mot de passe sont configurés pour tous nos employés. Nous avons remarqué que les attaquants s'appuyer sur le piratage psychologique pour tenter de compromettre nos employés.
Les zones réactives sont les domaines où des éléments de valeur sont véhiculés, comme les essais gratuits ou les promotions sur les prix de services ou de produits. Dans ces domaines, il n'est pas rentable pour les attaquants de voler un seul abonnement à la fois, et ils tentent donc d'opérationnaliser et d'étendre ces attaques sans être détectés.
Naturellement, nous construisons des modèles d'IA afin de détecter ces attaques pour Microsoft et nos clients. Nous détectons les faux comptes d'étudiants et d'écoles, les fausses entreprises ou organisations qui ont modifié leurs données firmographiques ou dissimulé leur véritable identité afin d'échapper aux sanctions, de contourner les contrôles ou de cacher des transgressions criminelles antérieures telles que des condamnations pour corruption, des tentatives de vol, etc.
L'utilisation de GitHub Copilot, Microsoft Copilot pour la sécurité et d'autres fonctionnalités de chat copilot à notre infrastructure interne d'ingénierie et d'exploitation permet de prévenir les incidents susceptibles d'avoir un impact sur les opérations.
Pour faire face aux menaces liées aux e-mails, Microsoft améliore ses capacités à recueillir des signaux en plus de la composition d'un e-mail afin de déterminer s'il est malveillant. Avec l'IA entre les mains des acteurs de la menace, il y a eu un afflux d’e-mails parfaitement écrits qui améliorent les erreurs linguistiques et grammaticales évidentes qui révèlent souvent les tentatives d'hameçonnage, rendant les tentatives d'hameçonnage plus difficiles à détecter.
La formation continue des employés et les campagnes de sensibilisation du public sont nécessaires pour aider à lutter contre le piratage psychologique, le seul qui repose à 100 % sur l'erreur humaine. L'histoire nous a appris que les campagnes de sensibilisation efficaces permettent de modifier les comportements.
Microsoft prévoit que l'IA fera évoluer les tactiques de piratage psychologique, créant des attaques plus sophistiquées, y compris les deepfakes et le clonage vocal, en particulier si les attaquants trouvent des technologies d'IA fonctionnant sans pratiques responsables et contrôles de sécurité intégrés.
La prévention est la clé de la lutte contre toutes les cybermenaces, qu'elles soient traditionnelles ou liées à l'IA.
Recommandations :
Appliquer les contrôles de l'IA des fournisseurs et évaluer continuellement leur ajustement : pour toute IA introduite dans votre entreprise, recherchez les fonctions intégrées des fournisseurs respectifs pour délimiter l'accès à l'IA aux employés et aux équipes utilisant la technologie afin de favoriser une adoption sécurisée et conforme de l'IA. Réunir les parties prenantes en matière de cyber-risque au sein d'une organisation afin de s'aligner sur les cas d'usage des employés et les contrôles d'accès de l’IA. Les responsables des risques et les responsables de la sécurité informatique doivent régulièrement déterminer si les cas d'usage et les politiques sont adéquats ou s'ils doivent être modifiés en fonction de l'évolution des objectifs et des connaissances.
Protéger contre les injections d’invites : Mettre en œuvre une validation et un assainissement stricts des entrées pour les invites fournies par l'utilisateur. Utiliser le filtrage contextuel et l'encodage de sortie pour empêcher la manipulation de l'invite. Mettre à jour et affiner régulièrement les grands modèles de langage afin d'améliorer leur compréhension des données malveillantes et des cas extrêmes. Surveiller et enregistrer les interactions des grands modèles de langage afin de détecter et d'analyser les tentatives potentielles d'injection d'invite.
Imposer la transparence dans la chaîne d'approvisionnement de l'IA : grâce à des pratiques claires et ouvertes, évaluez tous les domaines dans lesquels l'IA peut entrer en contact avec les données de votre organisation, y compris par l'intermédiaire de partenaires et de fournisseurs tiers. Utiliser les relations avec les partenaires et les équipes inter-fonctionnelles chargées des cyber-risques pour étudier les enseignements tirés et combler les lacunes qui en résultent. Le maintien des programmes actuels de Confiance Zéro et de gouvernance des données est plus important que jamais à l'ère de l'IA.
Rester concentré sur les communications : les responsables du cyber-risque doivent reconnaître que les employés sont témoins de l'impact et des avantages de l'IA dans leur vie personnelle et qu'ils voudront naturellement explorer l'application de technologies similaires dans des environnements de travail hybrides. Les responsables de la sécurité informatique et autres responsables de la gestion des cyber-risques peuvent partager et amplifier de manière proactive les politiques de leur organisation sur l'utilisation et les risques de l'IA, y compris les outils d'IA désignés qui sont approuvés pour l'entreprise et les points de contact pour l'accès et l'information. Les communications proactives permettent aux employés d'être informés et responsabilisés, tout en réduisant le risque que l'IA non gérée entre en contact avec les ressources informatiques de l'entreprise.
Pour en savoir plus sur l'IA, contactez Homa Hayatafar, responsable principal des données et des sciences appliquées, responsable de l’analyse de la détection.
Les outils traditionnels ne sont plus à la hauteur des menaces liées aux cybercriminels. La rapidité, l'ampleur et la sophistication croissantes des cyberattaques récentes exigent une nouvelle approche de la sécurité. En outre, compte tenu de la pénurie de main-d'œuvre dans le domaine de la cybersécurité et de l'augmentation de la fréquence et de la gravité des cybermenaces, il est urgent de combler ce manque.
L'IA peut faire pencher la balance du côté des défenseurs. Une étude récente de Microsoft Copilot pour la sécurité (actuellement en phase d’aperçu client) a montré une augmentation de la vitesse et de la précision des analystes de sécurité, quel que soit leur niveau d'expertise, pour des tâches courantes telles que l'identification des scripts utilisés par les attaquants, la création de rapports d'incidents et l'identification des mesures correctives appropriées..1
- 44 % de précision en plus dans toutes les tâches pour les utilisateurs de Copilot pour la sécurité1
- Les utilisateurs de Copilot pour la sécurité sont 26 % plus rapides sur l'ensemble des tâches1
- 90 % des personnes interrogées ont déclaré vouloir utiliser Copilot la prochaine fois qu'elles effectueront la même tâche1
- [1]
Méthodologie :1 Les données instantanées représentent un essai contrôlé randomisé (ECR), dans lequel nous avons testé 149 personnes pour mesurer l'impact de l'utilisation de Microsoft Copilot pour la sécurité sur la productivité. Dans cet ECR, nous avons donné Copilot de façon aléatoire à certains analystes et pas à d'autres, puis nous avons soustrait leurs performances et leurs sentiments pour obtenir l'effet de Copilot, indépendamment de tout effet de base. Les sujets testés avaient des compétences informatiques de base, mais étaient des novices en matière de sécurité, de sorte que nous avons pu tester la manière dont Copilot aide les analystes « en début de carrière ». L'ECR de Microsoft Copilot pour la sécurité a été réalisé par le Bureau de l'économiste en chef de Microsoft, en novembre 2023. En outre, Microsoft Entra ID a fourni des données anonymes sur l'activité des menaces, telles que les comptes de messagerie malveillants, les e-mails d'hameçonnage et les mouvements des attaquants au sein des réseaux. D'autres informations proviennent des 65 000 milliards de signaux de sécurité quotidiens recueillis par Microsoft, y compris le cloud, les points de terminaison, la périphérie intelligente, nos équipes de récupération après compromission et de détection et de réponse, la télémétrie des plateformes et services Microsoft, y compris Microsoft Defender, et le rapport 2023 de défense numérique Microsoft.