Zadatak ovog seminara bio je kroz praktičnu vježbu istražiti metode detekcije deepfake videa. Kao software koji nam pomaže kod detekcije deepfake videa korišten je Deepware. Zadaci na kojima sam testirao navedeni software bili su jedan deepfake video Baracka Obame te jedan pravi video. Rezultati su pokazali da software uspješno detektira deepfake videe. Jedina mana software-u je što analizira samo video, a ne i audio, što može predstavljati sljedeći korak u razvoju i unaprijeđivanju istog software-a.

Tema vježbe je detekcija deepfake videa. Deepfake video je video u kojem je osoba u nekom stvarnom, postojećem videu zamjenjena sa nekom drugom osobom. Deepfake koristi moćne tehnologije iz područja strojnog učenja i umjetne inteligencije te manipuliraju ili generiraju vizualni i audio sadržaj sa velikom mogućnosti zavaravanja potencijalnih gledatelja. Ovo može biti izuzetno opasno jer se tako mogu generirati i lažni videi, ponajviše se tu javlja problem lažnih vijesti, a time se može i manipulirati javnost ili ucijenjivati pojedince. Iz ovog razloga potrebno je istražiti i baviti se metodama detekcija deepfake videa.

Najveći broj akademskih istraživanja oko deepfake videa idu upravo k tome da se takvi videi mogu otkriti kao lažni. To se radi tako da se traže neki uzorci u tome kako su deepfakeovi napravljeni gdje bi onda algoritam mogao prepoznati neke nekonzistentnosti i reći da je video lažan. Brojne kompanije iz Silikonske doline, uključujuči Microsoft, Amazon i Facebook, pokrenule su “Deepfake Detection Challenge” u kojem svatko može pitchati svoju ideju ili alat te tako doprinijeti u borbi protiv deepfake produkcije u svijetu. Već sada postoje brojni alati za detekciju deepfake videa, jedan od pupularnijih je Microsoftov alat za video autentifikaciju. Za rješavanje zadataka za vježbu odabrao sam Deepware koji je online, besplatan, open-source software za detekciju deepfake videa.

Za prvi zadatak odabrao sam deepfake video bivšeg predsjednika Sjedinjenih Američkih Država, Baracka Obamu, koji je godinama kružio internetom (https://youtu.be/cQ54GDm1eL0). Idući korak je testirati kako će software reagirat na pravi video Baracka Obame, a za ovaj zadatak odabrao sam stvarni, popularni video od 32 milijuna pregleda pod nazivom “The speech that made Obama president” (https://youtu.be/OFPwDe22CoY). Kao zadnji zadatak odabrao sam video koje je objavio The Dalí Museum iz Floride u kojem koristi AI, odnosno deepfake kako bi “oživili” Salvador Dalíja kako bi ga posjetitelji mogli upoznati trideset godina nakon njegove smrti (https://youtu.be/mPtcU9VmIIE).

Za rješavanje ovih zadataka, odnosno detektiranje deepfake videa korišten je open-source besplatan online software, Deepware. Tvrtka Deepware, sa sjedištem u Sarajevu, koristi algoritme u kojima gleda je li video osobe manipuliran, ali ne detektira je li i audio manipuliran. Deepware nema javno objavljeno na koji način detektiraju deepfakeove, ali postoje neke glavne metode detekcije koje se generalno koriste. Te metode su promatranje obezbojenja lica, smanjeno treptanje očiju, osvjetljenje koje nije sasvim ispravno, loše sinkroniziran audio i video te zamućenost na mjestu susreta vrata i kose.

Sadržaj vježbe može se podijeliti u tri dijela. Prvo je bilo potrebno naći prave deepfake videe te zatim odabrati i neki neuređeni video. Zatim je bilo potrebno sve te videe analizirati u Deepware-u te interpretirati rezultate.

Prvi zadatak, odnosno deepfake video Baracka Obame, pokazao je očekivane rezultate. U software je bilo potrebno samo staviti URL videa i stisnuti scan te par sekundi nakon dolaze rezultati u kojima kaže da je video uistinu deepfake i to sa 97% sigurnosti.

Model Results

Deepware:

DEEPFAKE DETECTED(97%)

Idući zadatak koji je bio pravi video Baracka Obame isto je pokazao očekivane rezultate. Nakon skeniranja u Deepware software-u dobio sam rezultati da video nije deepfake i to sa mogućnosti pogreške od 4%.

Model Results

Deepware:

NO DEEPFAKE DETECTED(4%)

Zadnji zadatak bila je analiza deepfake-a Salvadora Dalí. Software je i ovdje pokazao očekivane rezultate. Deepware je ustanovio da je video deepfake sa 87% sigurnosti.

Model Results

Deepware:

DEEPFAKE DETECTED(87%)

Nažalost, na internetu nema besplatnih alata za generiranje deepfake videa tako da nisam bio u mogućnosti napraviti svoj deepfake i testirati ga u Deepware-u, ali u slučaju da želite napraviti svoj deepfake pa ga testirati preporučujem software Deepfakesweb (https://deepfakesweb.com/).

Sa sve bržim i bržim razvojem tehnologije, umjetna inteligencija i strojno učenje isto tako postaju sve napredniji, a s njima i deepfake koji ima potencijal stvoriti jako velike probleme za pojedinca ili širu populaciju. Zato se puno sredstava ulaže upravo u stvaranje software-a i algoritama za uspješnu detekciju deepfake videa. Jedan od tih software-a je i Deepware koji je open-source besplatan online software. Analizom dva videa, od kojih je jedan bio deepfake, utvrdio sam da software dobro funkcionira i daje dobre rezultate. Jedini potencijalni problem kod ovog softwarea je što on analizira samo vizualni dio videa, a ne i audio, ali to može biti motivacija tvrtki da u budućnosti još poboljšaju svoj software pravljenjem algoritma koji će i zvučni zapis analizirati te tražiti nekonzistentnosti u njemu.

[1] S. Lyu, “Deepfake Detection: Current Challenges and Next Steps,” 2020 IEEE International Conference on Multimedia & Expo Workshops (ICMEW), 2020, pp. 1-6, doi: 10.1109/ICMEW46912.2020.9105991.

[2] Koopman, Marissa, Andrea Macarulla Rodriguez, and Zeno Geradts. “Detection of deepfake video manipulation.” The 20th Irish machine vision and image processing conference (IMVIP). 2018.

[3] You Won’t Believe What Obama Says In This Video!, BuzzFeedVideo, 17.4.2018., https://youtu.be/cQ54GDm1eL0

[4] The Speech that Made Obama President, THNKR, 31.8.2012., https://youtu.be/OFPwDe22CoY

[5] Dalí Lives – Art Meets Artificial Intelligence, The Dalí Museum, 26.4.2019., https://youtu.be/mPtcU9VmIIE

Deepfake video - metode detekcije - praktična vježba