Navigiranje računalnim prijetnjama i jačanje obrana u eri AI-ja
Svijet računalne sigurnosti danas prolazi kroz ogromnu transformaciju. Umjetna inteligencija (AI) u prvom je planu ove promjene, predstavlja i prijetnju i priliku. Kada AI ima potencijal osnaživanja tvrtki ili ustanova kako bi pobijedile računalne napade brzinom stroja i potaknule inovacije i učinkovitost u otkrivanju i lociranju prijetnji te odgovoru na incident, protivnici mogu koristiti AI kao dio svojih iskorištavanja. Nikada nije bilo toliko ključno za nas da dizajniramo, implementiramo i koristimo AI na siguran način.
U Microsoftu istražujemo potencijal umjetne inteligencije kako bismo poboljšali naše sigurnosne mjere, otključali nove i napredne zaštite te izgradili bolji softver. Uz AI imamo moć prilagoditi se uz razvijajuće sigurnosne prijetnje, otkriti anomalije u trenu, brzo odgovoriti radi neutralizacije rizike te prilagoditi obrane za potrebe tvrtke ili ustanove.
AI nam također može pomoći da prebrodimo neke od najvećih izazova u sektoru. Suočeni s globalnim manjkom radne snage u području računalne sigurnosti, s otprilike 4 milijuna stručnjaka u području računalne sigurnosti potrebno u svijetu, AI ima potencijal da bude ključan alat za zatvaranje praznina među stručnjacima te da pomogne braniteljima da budu produktivniji.
Već smo vidjeli u jednoj studiji kako Copilot za sigurnost može pomoći sigurnosnim analitičarima bez obzira na njihovu razinu stručnosti – u svim zadacima, sudionici su bili 44 posto točniji i 26 posto brži.
Dok radimo najbolje da zaštitimo budućnost, moramo osigurati da balansiramo sigurnu pripremu za AI i iskorištavamo njegove prednosti jer AI ima moć podizanja ljudskog potencijala i rješavanja nekih od najozbiljnijih izazova.
Budućnost sigurnija uz AI zahtijevat će temeljni napredak u softverskom inženjerstvu. Također će od nas zahtijevati da razumijemo i borimo se protiv sigurnosnih prijetnji pogonjenim umjetnom inteligencijom kao osnovne komponente bilo koje sigurnosne strategije. I moramo surađivati kako bismo izgradili duboku suradnju i partnerstva u javnim i privatnim sektorima radi borbe protiv zlonamjernih aktera.
Kao dio ovog napora i naše vlastite inicijative Secure Future Initiative, OpenAI i Microsoft danas objavljuju novo obavještavanje s pojedinostima o pokušajima zlonamjernih napadača u ispitivanju i istraživanju korisnosti velikih jezičnih modela (LLM-ova) u tehnikama napada.
Nadamo se da će ove informacije biti korisne u raznim sektorima kako radimo prema sigurnijoj budućnosti. Zato što smo na kraju svi branitelji.
Bret Arsenault ,
potpredsjednik uprave, glavni savjetnik za računalnu sigurnost
potpredsjednik uprave, glavni savjetnik za računalnu sigurnost
Pogledajte Cyber Signals digitalno izvješće gdje Vasu Jakkal, korporativni potpredsjednik za Microsoft Security Business intervjuira ključne stručnjake u području obavještavanja o prijetnjama o računalnim prijetnjama u doba AI-ja, o načinima na koje Microsoft koristi AI za poboljšanu sigurnost te što tvrtke ili ustanove mogu napraviti da pomognu u jačanju obrana.
Napadači istražuju tehnologije umjetne inteligencije
Krajolik računalne prijetnje sve je izazovniji jer napadači imaju sve više motivacije, sofisticiranosti i resursa. I zlonamjerni akteri i branitelji okreću se AI-ju, uključujući LLM-ove, radi povećanja produktivnosti i iskorištavanja dostupnih platformi koje bi mogle odgovarati njihovim ciljevima i tehnikama napada.
Uzimajući u obzir krajolik prijetnji koji se brzo razvija, danas objavljujemo Microsoftova načela kojima se vode naše akcije ublažavanja rizika od zlonamjernih aktera, uključujući napredne trajne prijetnje (APT-ovi), napredne trajne manipulatore (APM-ovi) i sindikate računalnih zločinaca, koristeći AI platforme i API-je. Ova načela obuhvaćaju identifikaciju i akciju protiv primjene AI-ja od strane zlonamjernog aktera, obavijest drugim davateljima usluga AI-ja, suradnju s drugim dionicima te transparentnost.
Iako su motivi i sofisticiranost među zlonamjernim akterima različiti, dijele zajedničke zadatke kada implementiraju napade. Oni obuhvaćaju izvidnicu, kao što je istraživanje industrija potencijalnih žrtava, lokacija i odnos, zatim kodiranje, uključujući poboljšanje softverskih skripta i razvoj zlonamjernog softvera te pomoć s učenjem i korištenjem ljudskih i strojnih jezika.
Nacionalne države pokušavaju iskoristiti AI
U suradnji sa servisom OpenAI dijelimo obavještavanje o prijetnjama s prikazom otkrivenih protivnika povezanih s državom – praćenih kao Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon i Salmon Typhoon – koristeći velike jezične modele za povećanje kibernetičkih operacija.
Cilj Microsoftova istraživačkog partnerstva sa servisom OpenAI je osigurati sigurnu i odgovornu upotrebu AI tehnologija kao što je ChatGPT, pridržavajući se najviših standarda etičke primjene radi zaštite zajednice od potencijalne zlouporabe.
Forest Blizzard (STRONTIUM), izrazito učinkoviti ruski vojni obavještajni akter povezan s Glavnom upravom glavnog stožera oružanih snaga Rusije ili GRU jedinicom 26165, za mete je imao žrtve taktičkog i strateškog interesa za rusku vladu. Njezine se aktivnosti šire na razne sektore, uključujući obranu, prijevoz/logistiku, vladu, energiju, nevladine organizacije i informacijsku tehnologiju
Grupa Emerald Sleet (Velvet Chollima) je sjevernokorejski zlonamjerni akter za koju je Microsoft uočio da oponaša ugledne akademske ustanove i nevladine organizacije s ciljem navođenja žrtava da odgovore stručnim uvidima i komentarima o vanjskoj politici koja se odnosi na Sjevernu Koreju.
Korištenje velikih jezičnih modela (LLM-ova ) od strane grupe Emerald Sleet uključivalo je proučavanje istraživačkih centara i stručnjaka o Sjevernoj Koreji, kao i generiranje sadržaja koji bi se vjerojatno koristio u kampanjama individualizirane krađe identiteta. Emerald Sleet također je stupao u interakciju s velikim jezičnim modelima kako bi razumio javno poznate ranjivosti, rješavao tehničke probleme te za pomoć s korištenjem raznih web tehnologija.
Grupa Crimson Sandstorm (CURIUM) iranski je zlonamjerni akter za kojeg se procjenjuje da je povezan s Korpusom islamske revolucionarne garde (IRGC). Korištenje LLM-ova uključuje zahtjeve za podršku s društvenim inženjeringom, pomoć u rješavanju grešaka, .NET razvoj i načine na koje napadač može izbjeći otkrivanje kada je na kompromitiranom stroju.
Charcoal Typhoon (CHROMIUM) zlonamjerni je akter povezan s Kinom koji je uglavnom fokusiran na praćenje grupa na Tajvanu, Tajlandu, u Mongoliji, Maleziji, Francuskoj, Nepalu i pojedinaca globalno koji se ne slažu s politikama Kine. U nedavnim je operacijama Charcoal Typhoon promatran kako angažira LLM-ove radi dobivanja uvida u istraživanje kako bi razumio specifične tehnologije, platforme i ranjivosti, a što ukazuje na preliminarne faze prikupljanja informacija.
Još jedna grupa koju podržava Kina, Salmon Typhoon, procjenjuje učinkovitost korištenja LLM-ova tijekom cijele 2023. godine kako bi prikupila informacije o potencijalno osjetljivim temama, visokoprofilnim pojedincima, regionalnoj geopolitici, američkom utjecaju te unutarnjim poslovima. Ovaj uvjetni angažman s LLM-ovima mogao bi značiti širenje njezinog kompleta alata za prikupljanje obavještajnih informacija te eksperimentalnu fazu u procjenu sposobnosti tehnologija u nastajanju.
U našem istraživanju sa servisom OpenAI nisu utvrđeni značajni napadi koji implementiraju LLM-ove koje pažljivo nadziremo.
Poduzeli smo mjere za remećenje resursa i računa povezanih s ovim zlonamjernim prijetnjama i oblikujemo zaštitne ograde i sigurnosne mehanizme oko naših modela.
Nastaju druge prijetnje u kojima se koristi AI
Prijevara pogonjena umjetnom inteligencijom drugi je kritični problem. Primjer je sinteza glasa gdje uzorak glasa od 3 sekunde može obučiti model da zvuči kao bilo tko. Čak se i nešto bezazleno poput vašeg pozdrava u govornoj pošti može iskoristiti za dobivanje dostatnog uzorkovanja.
Većina načina naše međusobne interakcije te provođenja poslovanja oslanja se na provjeru identiteta, kao što je prepoznavanje glasa osobe, lica, adrese e-pošte ili stila pisanja.
Ključno je da razumijemo kako zlonamjerni akteri koriste AI kako bi potkopali dugogodišnje sustave provjere identiteta tako da se možemo baviti složenim slučajevima prijevare i drugim prijetnjama društvenim inženjeringom u nastajanju koji identitete čine nerazumljivima.
AI se također može koristiti kao pomoć poduzećima da remete pokušaje prijevare. Iako je Microsoft obustavio naš angažman s poduzećem u Brazilu, naši su AI sustavi otkrili njegove pokušaje ponovnog ustroja kako bi ponovo ušao u naš ekosustav.
Grupa je kontinuirano pokušavala učiniti nerazumljivima svoje informacije, zaštiti korijene vlasništva i ponovo ući, ali smo u našim AI detekcijama koristili desetak signala o riziku kako bismo označili prijevarno poduzeće i povezali ga s prethodno prepoznatim sumnjivim ponašanjem i tako blokirali njegove pokušaje.
Microsoft je posvećen odgovornoj umjetnoj inteligenciji kojom upravlja čovjek sa značajkama privatnosti i sigurnosti gdje ljudi provode nadzor, procjenjuju žalbe i tumače pravilnike i propise.
Educirajte zaposlenike i javnost o kibernetičkim rizicima:
- Primijenite pravilnike o uvjetnom pristupu: ovi pravilnici pružaju jasne smjernice koje se samostalno implementiraju za jačanje vašeg stanja sigurnosti koje će automatski zaštititi klijente na temelju signala o riziku, licenciranju i korištenju. Pravilnici o uvjetnom pristupu mogu se podesiti te će se prilagoditi promjenjivom krajoliku računalnih prijetnji.
- Obučavajte i ponovo obučavajte zaposlenike o taktikama društvenog inženjeringa: educirajte zaposlenike i javnost da prepoznaju i odgovore na e-poštu krađe identiteta, krađu identiteta putem poziva (govorna pošta), krađu identiteta putem SMS-a, napade društvenim inženjeringom (SMS/teksta poruka) i primijene najbolje sigurnosne prakse za Microsoft Teams.
- Strogo štitite podatke: osigurajte da podaci ostaju privatni i kontrolirani s kraja na kraj.
- Iskoristite sigurnosne alate generativnog AI-ja: alati kao što su Microsoft Copilot za sigurnost mogu proširiti sposobnosti i poboljšati stanje sigurnosti tvrtke ili ustanove.
- Omogućite višestruku provjeru autentičnosti: omogućite višestruku provjeru autentičnosti za sve korisnike, posebice za administratorske funkcije, jer smanjuje rizik preuzimanja računa za preko 99 %.
Obrana od napada
Microsoft stoji korak ispred sa sveobuhvatnom sigurnosti u kombinaciji s generativnim AI-jem
Microsoft detektira ogromne količine zlonamjernog prometa – više od 65 bilijuna signala računalne sigurnosti dnevno. AI pojačava našu sposobnost analiziranja ovih informacija i osigurava javljanje najdragocjenijih uvida kako bi se pridonijelo u zaustavljanju prijetnji. Također koristimo ovo obavještavanje signalima kako bismo opskrbljivali generativni AI za napredniju zaštitu od prijetnji, sigurnost podataka i sigurnost identiteta kako bi branitelji mogli uhvatiti ono što drugima promakne.
Microsoft primjenjuje nekoliko metoda kako bi zaštitio sebe i korisnike od računalnih prijetnji, uključujući otkrivanje prijetnji omogućeno AI-jem radi uočavanja promjena u načinu korištenja resursa ili prometa, bihevioralnu analitiku radi otkrivanja rizičnih prijava i anomalnog ponašanja, modele strojnog učenja (ML) kako bi detektirao rizične prijave i zlonamjerni softver, modele „svu su nepouzdani” gdje se za svaki zahtjev za pristupom mora u potpunosti provjeriti njegova autentičnost, mora se autorizirati i šifrirati te provjera stanja uređaja prije nego se uređaj može spojiti na korporativnu mrežu.
Budući da zlonamjerni akteri razumiju da Microsoft koristi višestruku provjeru autentičnosti (MFA) strogo kako bi se zaštitio – svi naši zaposlenici imaju podešen MFA ili zaštitu bez lozinke – vidjeli smo kako se napadači okreću društvenom inženjeringu u pokušaju da kompromitiraju naše zaposlenike.
Aktivna mjesta za ovo uključuju područja gdje se prenose vrijedne stvari, kao što su besplatne probne verzije ili promotivne cijene usluga ili proizvoda. U ovim područjima napadačima nije profitabilno krasti jednu po jednu pretplatu, stoga pokušavaju operacionalizirati i skalirati te napade bez da budu otkriveni.
Naravno, mi ugrađujemo AI modele kako bismo otkrili ove napade za Microsoft i naše korisnike. Otkrivamo lažne studentske i obrazovne račune, lažna poduzeća ili organizacije koje su promijenile svoje grafičke podatke o firmi ili skrili svoje prave identitete radi izbjegavanja sankcija, zaobilaženja kontrola i skrivanja kaznenih djela u prošlosti kao što su osude za korupciju, pokušaji krađe itd.
Korištenje rješenja GitHub Copilot, Microsoft Copilot za sigurnost i drugih kopilot značajki čavrljanja integriranih u naš interni inženjering i operacije infrastrukture pomaže u sprječavanju incidenata koji bi mogli utjecati na operacije.
Da bi rješavao probleme sigurnosnih prijetnji e-poštom, Microsoft poboljšava sposobnosti prikupio signale osim sastava poruke e-pošte kako bi razumio je li zlonamjerna. S umjetnom inteligencijom u rukama zlonamjernih aktera postoji priljev savršeno napisanih poruka e-pošte koji se poboljšavaju u pogledu očitih jezičnih i gramatičkih grešaka koje obično otkrivaju pokušaje krađe identiteta, a zbog čega je pokušaje krađe identiteta teže otkriti.
Kontinuirano obrazovanje zaposlenika i kampanje osvještavanja javnosti potrebni su kao pomoć u borbi protiv društvenog inženjeringa koji jedna stvar koja se iskorištava, a koja se oslanja 100 posto na ljudsku grešku. Povijest nas je naučila da učinkovite kampanje osvještavanja javnosti funkcioniraju u svrhe promjene ponašanja.
Microsoft predviđa da će AI razviti taktike društvenog inženjeringa, stvarajući sofisticiranije napade, uključujući deepfake medije i kloniranje glasa, posebice ako napadači pronađu AI tehnologije koje rade bez odgovornih praksi i ugrađenih sigurnosnih kontrola.
Sprječavanje je ključno u borbi protiv svih računalnih prijetnji, bez obzira jesu li tradicionalne ili ih je omogućila umjetna inteligencija.
Preporuke:
Primijenite AI kontrole kod dobavljača i kontinuirano provjeravajte njihovu prikladnost: za svaki AI uveden u vašu korporaciju tražite odgovarajuće ugrađene značajke dobavljača kako biste ograničili pristup AI-ju zaposlenicima i timovima koristeći tehnologiju za poticanje sigurnog i usklađenog usvajanja AI-ja. Okupite dioničare za kibernetički rizik u cijeloj organizaciji kako biste se uskladili u vezi definiranih slučajeva upotrebe AI-ja od strane zaposlenika te kontrola pristupa. Vodeći ljudi za rizik i glavni direktori za sigurnost informacija trebaju redovito određivati jesu li slučajevi upotrebe i pravilnici prikladni ili ih moraju mijenjati kako se razvijaju ciljevi i saznanja.
Zaštitite se od unosa upita: Implementirajte strogu provjeru unosa i sanitizaciju za upite koje pružaju korisnici. Koristite filtriranje svjesno konteksta i šifriranje izlaza radi sprječavanja manipulacije upitima. Redovito ažurirajte i precizno prilagođavajte LLM-ove radi poboljšanja njihova razumijevanja zlonamjernih unosa i rubnih slučajeva. Nadzirite i bilježite LLM interakcije radi otkrivanja i analiziranja potencijalnih pokušaja unosa upita.
Tražite transparentnost u cijelom AI lancu opskrbe: putem jasnih i otvorenih praksi procijenite sva područje gdje AI može doći u kontakt s podacima vaše organizacije, uključujući preko partnera i dobavljača trećih strana. S pomoću partnerskih odnosa i timova za kibernetički rizik na više funkcija istražite saznanja i zatvorite sve rezultirajuće praznine. Održavanje trenutačnog modela „svi su nepouzdani” i programa upravljanja podacima važnije je no ikada prije u doba umjetne inteligencije.
Ostanite usredotočeni na komunikacije: voditelji u području kibernetičkog rizika moraju prepoznati da zaposlenici svjedoče utjecaju AI-ja i njegovim prednostima u njihovim osobnim životima te će prirodno htjeti istražiti primjenu sličnih tehnologija u okruženjima hibridnog rada. Glavni direktori za sigurnost informacija i drugi voditelji koji upravljaju kibernetičkim rizikom mogu proaktivno dijeliti i pojačavati politike svojih organizacija o upotrebi i rizicima AI-ja, uključujući vrstu namjenskih AI alata odobrenih za korporaciju te točke kontakta za pristup i informacije. Zahvaljujući proaktivnim komunikacijama zaposlenici ostaju informirani i osnaženi, uz istovremeno smanjenje njihova rizika donošenja neupravljanog AI-ja u kontakt s korporativnim IT resursima.
Više uvida o AI-ju primite od Homa Hayatafara, glavnog rukovoditelja za podatke i primijenjenu znanost, rukovoditelja analitike otkrivanja.
Tradicionalni alati više ne drže korak sa sigurnosnim prijetnjama koje predstavljaju računalni zločinci. Sve veća brzina, opseg i sofisticiranost nedavnih računalnih napada zahtijevaju novi pristup sigurnosti. Dodatno, uzimajući u obzir manjak radne snage u području računalne sigurnosti te činjenicu da su računalne prijetnje sve češće i ozbiljnije, postoji hitna potreba za premošćivanjem ove praznine u vještinama.
AI može dati prednost braniteljima. Naša je nedavna studija o programu Microsoft Copilot za sigurnost (trenutačno u fazi testiranja pretpregleda za korisnike) pokazala povećanu brzinu i točnost sigurnosnog analitičara, bez obzira na razinu njihove stručnosti, u uobičajenim zadacima kao što su identificiranje skripti koje koriste napadači, izrada izvješća o incident i utvrđivanje odgovarajućih koraka popravka..1
- [1]
Metodologija:1 Podaci sa snimke stanje predstavljaju randomizirano kontrolirano ispitivanje (RCT) gdje smo testirali 149 ljudi kako bismo izmjerili utjecaj produktivnosti prilikom korištenja programa Microsoft Copilot za sigurnost. U ovom smo RCT-u nasumično dali Copilot nekim analitičarima, a ne drugima i zatim oduzeli njihove performanse i naklonosti kako bismo dobili učinak Copilota, odvojeno od bilo kojeg baznog učinka. Ispitanici u testiranju imali su osnovne IT vještine, ali su bili početnici u području sigurnosti kako bismo mogli testirati kako Copilot pomaže analitičarima kojima je ovo „nova karijera”. Microsoft Office glavnog ekonomista proveo je RCT Microsoft Copilota za sigurnost, studeni 2023. Dodatno, Microsoft Entra ID pružio je anonimizirane podatke o zlonamjernoj aktivnosti, kao što su zlonamjerni računi e-pošte, poruke e-pošte za krađu identiteta i kretanja napadača unutar mreža. Dodatni uvidi dolaze od 65 bilijuna dnevnih sigurnosnih signala prikupljenih u Microsoftu, uključujući oblak, krajnje točke, inteligentni rub, našu praksu za oporavak kompromitirane sigurnosti i timove za detekciju i odgovor, telemetriju iz Microsoftovih platformi i usluga, uključujući Microsoft Defender, te Microsoftovo izvješće o digitalnoj zaštiti iz 2023.