Z Janem Kostrzewą, dyrektorem Biura Cyberbezpieczeństwa w Ministerstwie Sprawiedliwości, rozmawiamy o tym, w jaki sposób zmienia się wykorzystanie przez cyberbezpieczeństwo AI i jaki to niesie potencjał, czy mamy dziś wojny algorytmów, CyberSec-AI czy raczej CyberThreat-AI.
W jakim zakresie wykorzystywane są obecnie algorytmy AI/LM w cyberbezpieczeństwie? Pytam, bo choć jest Pan dziś człowiekiem cyberbezpieczeństwa, to Pana korzenie naukowe sięgają Instytutu Podstaw Informatyki PAN, studiów doktoranckich ze sztucznej inteligencji tamże i publikacji z zakresu predykcji szeregów czasowych oraz kognitywnych map poznawczych…
Zastosowanie sztucznej inteligencji do cyberobrony jest dzisiaj tak szerokie, jak zastosowanie zwykłej inteligencji. Algorytmy AI najczęściej pomagają odwzorować typowe zachowanie użytkownika, aby następnie wychwycić anomalie. Nie tylko pod kątem SIEM, SOAR i reguł korelacyjnych, ale też w ruchu sieciowym. AI bada spam, bada czy dany plik zachowuje się normalnie, czy treść e-maila nie jest podejrzanie krótka lub długa, czy zawiera nietypowe słowa.
Algorytm AI znajduje też zastosowanie przy budowaniu indywidualnych profili użytkownika. Dlatego np. aplikacja bankowa może poprosić, abym pozwolił jej wyuczyć się swojego normalnego zachowania. Wówczas, gdyby doszło do sytuacji, kiedy przelewam wszystkie oszczędności do innego banku i zlecam kupno krypto walut, a jednocześnie wykorzystuję szybki przelew, to można taką decyzję zablokować. I chociaż każde z tych działań będzie prawnie dopuszczalne, to odbiega na tyle od praktyki, że jest podejrzane.
AI jest więc przede wszystkim wykorzystywana do weryfikowania poprawnych, legalnych działań. Każdemu może się zdarzyć 3, 5 albo i 15 razy wpisać błędne hasło, ale nie 30 tys. razy. Tutaj może powinno odezwać się AI wychwytujące anomalię.
Ten ostatni przykład falowego ataku na dane uwierzytelniające to już przykład wojny algorytmów? Czy taki najbardziej zautomatyzowany wymiar zabezpieczenia i obrony wchodzi w życie? Czy to może perspektywa 5-10 lat?
Odpowiem trochę przewrotnie: dla jednych wojny algorytmów to już rzeczywistość, dla innych – wizja kompletnie bez pokrycia i możliwości realizacji. Kiedy studiowałem algorytmy AI, zapytałem wykładowcę o możliwość powstania sztucznej inteligencji, kiedy bramki krzemowe będą mogły symulować inteligencję. Jego odpowiedź brzmiała: nikt nie jest w stanie zdefiniować, czym jest inteligencja, tym bardziej więc nie da się stwierdzić, czy jesteśmy w stanie ją osiągnąć.
Mamy inteligentne odkurzacze i proszki do prania, czemuż by zatem nie mogłyby się pojawić inteligentne cyberataki? A tak naprawdę, to bardziej boimy się hakera używającego sieci neuronowych, map kognitywnych i algorytmów ewolucyjnych niż hakera, który używa konwencjonalnych metod. Tylko, że w rzeczywistości ataki z użyciem tradycyjnej biologicznej inteligencji są zazwyczaj bardziej skuteczne. Przykładowo podmiana biblioteki, którą pobiera program zainstalowany w naszej organizacji, to jeden z najtrudniejszych do obrony ataków, często wręcz wyrok skazujący dla firmy czy instytucji. Firma musi być bardzo dojrzała, aby przed tego typu atakiem się obronić.
Zatem automatyzacja cyberbezpieczeństwa to nie Cybersec-AI?
Moim zdaniem, nie. Sztuczna inteligencja jest wtedy, kiedy wiemy co chcemy osiągnąć, ale nie wiemy, jak. Jeśli chodzi o automatyzację ataku, to z reguły jest to crawler, który zamiast do 5 adresatów rozsyła wiadomość do 5 mln. W odpowiedzi AI obrońcy wykrywa adresy podejrzane, które dokonują niestandardowej aktywności, np. które konta zostały przejęte i stały się rozsiewnikiem podejrzanych e-maili.
Nie ma więc Cybersec-AI, a jest Cyberthreat-AI? Czy algorytmy AI dominują już w strukturze ataków?
Najbardziej niebezpieczne są nadal kierowane ataki socjotechniczne – kiedy haker wykona biały wywiad i na tej podstawie przygotuje e-maila albo zadzwoni i zmanipuluje kogoś do przekazania hasła albo wykonania innej czynności. Efekt tego ataku skaluje dziś informatyzacja, coraz szerzej rozwinięta, obejmująca i wiążąca ze sobą coraz więcej sfer życia. W konsekwencji coraz częściej potężne instytucje muszą się tłumaczyć z ataków o niespotykanej wcześniej skali.
Czyli AI w cyberatakach to raczej psucie albo położenie zasłony dymnej przed właściwym atakiem?
Myślę, że z zasady AI raczej znajduje zastosowanie w obronie niż w ataku. Rozważmy jeszcze raz tę sekwencję. Z perspektywy obrońcy wiemy, jaki jest wzór standardowy użytkownika, ponieważ uczymy sieć neuronową na podstawie jego 10 tys. przelewów i potem sieć neuronowa sugeruje nam, że wystąpiła anomalia. Świetnie, zyskujemy narzędzie obrony. Ale przed atakującymi otwiera się nowa szansa.
Co to znaczy?
AI znajduje coraz szersze zastosowanie, ufamy jej coraz bardziej. Dlatego właśnie z perspektywy atakujących AI jawi się nie tylko jako zapora i przeciwnik, ale i szansa. Jest to obiekt o wielkim wpływie na rzeczywistość, który można zmanipulować. Dowodzą tego ataki na sztuczną inteligencję smartfonów i odblokowywanie ich przy pomocy obrazu twarzy. A perspektywy są „wspaniałe”, przecież jesteśmy o krok od upowszechnienia samochodów autonomicznych…
Słabość AI wpisana jest w model jej wytwarzania. Przykład, który Pan przytoczył, dowodzi jak bardzo brakuje Trustworthy AI czy XAI…
… które nigdy nie powstanie, bo te cechy, jak wyjaśnialność i jednoznaczność, nie są wpisane w naturę sztucznej inteligencji. Budując bezpieczeństwo, chcemy mieć jasną odpowiedź: 1 czy 0, natomiast w AI każda implementacja jest inna. A naszym celem – biznesu, organizacji, nie jest zrozumienie, jak się uczyła sieć neuronowa, tylko jej efekty. Może się więc okazać, że usunięcie podatności sieci neuronowej w jednym punkcie spowoduje pojawienie się nowej w zupełnie innym miejscu. AI będzie miała zawsze część ograniczeń naszej inteligencji.
Z tego co Pan mówi, wynika, że dziś AI jest przede wszystkim kolejną podatnością. Można je zaprogramować do błędnego działania.
Każde wielkie odkrycie tworzy nowe możliwości i nowe ryzyka. Rozszczepienie atomu daje nam energię, ale niekontrolowane przynosi śmierć. Podobnych przykładów jest bardzo dużo. W AI kwestia wytrenowania zbioru treningowego jest kluczowa, a złe wytrenowanie, ukierunkowanie algorytmu przez cyberprzestępców otwiera im wiele furtek i scenariuszy. Dlatego AI w coraz większym stopniu sprawdza się jako element pomocniczy, ale jestem stanowczo za tym, aby na odpowiednim etapie za cyberbezpieczeństwo odpowiadał człowiek. Aby zatwierdził, czy interpretacja AI jest poprawna, czy nie. Zdarzają się przecież – wracając do tego bankowego przykładu – sytuacje nadzwyczajne, jak kupno domu, kiedy mam prawo wydać wszystkie pieniądze.
Czy jednak posiadanie takich narzędzi, odpowiednio wytrenowanych i pozostających pod kontrolą, nie pozwoliłoby na stosowanie działań o charakterze prewencyjnym, uprzedzającym atak. Aby nadało cyberbezpieczeństwu bardziej ofensywny, aktywny charakter, aby ofiara zmieniała się w myśliwego?
Nie. Kwestie ofensywy względem cyberprzestępców nie mają nic wspólnego z AI.
Ofiara działa zgodnie z prawem, a prawo pozwala atakującym być w pełni anonimowymi. Zezwala na anonimowe podłączenie się do internetu, korzystanie z VPN-a, TOR-a itd. Oczywiście dzięki takim regulacjom mamy zapewnioną olbrzymią prywatność w sieci. Społeczeństwo woli być ofiarami, niż zapewnić sobie bezpieczeństwo kosztem prywatności.
AI zniechęca do brania odpowiedzialności?
Raczej doskonale się w taki trend wpisuje. Zamiast powiedzieć: „to była moja decyzja”, ludzie chętnie przyjmą bezosobowe narzędzie, które podejmie decyzję za nich, rozmyje odpowiedzialność. Spójrzmy na korporacyjne życie. Kto podjął decyzje? Zespoły, komisje, grono bezstronnych ekspertów itd. To wszystko zasłona chroniąca przed wzięciem odpowiedzialności. Czemu nie pójść krok dalej? Kto zdecydował o przyznaniu kredytu? AI. Kto przyznaje roczne premie? AI. Kto zablokował post za „mowę nienawiści”? AI…
Tymczasem zawsze gdzieś „na wejściu” jest człowiek. On ustawia parametry, model, wybiera dla niego zbiór i program treningowy, decyduje o kryteriach sukcesu. Ten człowiek de facto podejmuje decyzję za parawanem AI.
A z punktu widzenia takiej instytucji jak Ministerstwo Sprawiedliwości AI wpisuje się w system bezpieczeństwa?
Obok standardowego zastosowania, AI znajduje także zastosowanie np. do ochrony więźniów często przed nimi samymi. Wiele osób próbuje popełnić samobójstwo. Osoby z załamaniem można obserwować – czy więzień śpi, chodzi w kółko, jaką ma temperaturę ciała, ciśnienie. AI można też stosować pod kątem epidemiologicznym, niezależnie od dzisiejszej pandemii. Więzienie jest jak statek międzykontynentalny, kilka tysięcy osób zamkniętych w jednym budynku, z jedną stołówką i klimatyzacją. AI może wnioskować czy więzień nie choruje, np. bo wolniej się porusza, dłużej leży. Takie projekty są wdrożone w różnych państwach.
Sztandarowym przykładem cyfryzacji administracji jest także działanie e-sądu, podległe Ministerstwu Sprawiedliwości. Czy wraz z automatyzacją działania cyberprzestępców jego ekspozycja rośnie czy maleje?
Wraz z nowymi rozwiązaniami pojawiają się nowe zagrożenia, ale nie możemy idealizować starych rozwiązań, tylko dlatego, że mają stare zagrożenia. Jeśli mówimy o obrocie papierowych dokumentów, to musimy mówić o faktycznych ryzykach. Są to np.: zalanie dokumentów, pożar budynku, problemy z wyszukaniem dokumentu, przedłużającymi się procesami, brakiem możliwości rozpraw zdalnych, brakiem możliwości jakiejkolwiek pracy zdalnej itd. Wyobraźmy sobie, że wzywamy świadka ze Szczecina do sądu w Rzeszowie, ale z powodu jakiejś omyłki część akt została w sądzie w Szczecinie. Wyobraźmy sobie, że sędzia chce znaleźć jedno zdanie w aktach liczących sto tysięcy stron i nie ma magicznego przycisku „ctrl-f, szukaj”… ponieważ akta są papierowe. Informatyzacja to jedyna droga, przed którą nie ma odwrotu. Kluczem do sukcesu jest „zrównoważony rozwój”, czyli taki, gdzie równolegle i w tym samym stopniu rozwijamy informatyzację i zabezpieczenia.
Przez ostatnie kilkadziesiąt lat świat zachłysnął się nowymi możliwościami innowacyjnych technologii i rozwijał je bez odpowiedniego nacisku na bezpieczeństwo. Dzisiaj gołym okiem widzimy, że strategia „najpierw funkcjonalności, potem bezpieczeństwo” kompletnie się nie sprawdza. Te mechanizmy muszą być wdrażane systematycznie, równocześnie z projektem. Obecnie np. żaden projekt w Ministerstwie Sprawiedliwości nie może zostać oddany, albo chociaż znacząco zmodyfikowany bez solidnych testów penetracyjnych.
Czy ta zrównoważona informatyzacja wymaga dziś także pozyskania lub budowy specjalnych kompetencji do zastosowania AI?
Narzędzia AI są już w wachlarzu wykorzystywanych narzędzi resortu MS. Nie stosuję natomiast rozróżnienia na mechanizmy AI i pozostałe. Decyzja o użyciu danej technologii jest podejmowana na podstawie oceny przydatności, efektywności. Szukam przy tym najbardziej rozwiniętego i dojrzałego rozwiązania. To nam właśnie gwarantuje brak przechyłów i ekspozycji na ryzyko, również takie w adaptacji AI, o których rozmawialiśmy.
