Deepfake video - metode detekcije

Sa sve bržim i bržim razvojem tehnologija, tako se sve više i brže i brže razvijaju alati koji su u stanju manipulirati javnim mišljenjem i općenito percepcijama pojedinaca. Razvitkom algoritma strojnog učenja, prikupljanjem sve većeg broja podataka rastu i mogućnosti samog AI-ja.

Unutar ovog seminara ću se baviti metodama kojima algoritami nastoje detektirati DeepFake videozapise.

Deepfakes (a portmanteau of “deep learning” and “fake”) are synthetic media in which a person in an existing image or video is replaced with someone else's likeness. [1]

U isto vrijeme zgražajuća i informativna informacija je ta da je sam naziv ove tehnolgoije “DeepFake” nastala na Redditu na temelju korisničkog imena (istoimenog naziva) koji je objavljivao pornografski sadržaj s DeefFake tehnologijom.

Najprije ću definirati neke od izazova koji su prepoznati pirlikom detekcije DeepFake videa kako bi mogli u skladu s definiranim problemima vidjeti koje su potencijalne mane na temelju kojih se mogu otkriti manipulacije. [2]

• kvaliteta dataseta
  • krajnji rezultat uvelike ovisi o kvaliteti nad kojim je algoritam naučen, ako se radi o datasetu koji nije dobre kvalitete jasno će biti vidljiva razlika između umjetne tvorevine i stvarnog videozapisa.
• u daljnjim odjeljcima će biti više riječi o novokreiranim skupovima podataka koji sadrže iznimno dobru kvalitetu fotografija - Caleb-DF

• evaluacija performanse
  • često se metode detekcije temelje na manipulacijama koje su teško vidljive ljudskom oku, no te manipulacije nužno ne mroaju biti uzrokovane DeepFake postupkom, već različitim drugim manipulacijama

• objašnjenje rezultata
  • trenutno se većina detekcijskih algoritama zasniva na učenju nad velikim skupom podataka, no to često nije slučaj u stvarnom životu gje je jako malo podataka dostupno

• agregacija lažiranja
  • detekcijski algoritmi se u velikoj većini slučajeva baziraju na određivanju vjerojatnosti da je pojedini frame manipuliran, no ne postoje poveznice između frameova

• pranje društvenih mreža
  • kako bi se smanjio mrežni promet društvene mreže često znaju smanjiti kvalitetu medija koji se objavljuju i šalju što često zna unjeti šum u podatke što dovodi do lažno pozitivnih odluka (određeni video se označi kao lažan iako nije)

Glavna nit vodilja kod svih detekcijskih algoritama je uočiti nekakve mane i šumove u podacima za koje pretpostavljamo da se tamo u stvarnim podacima ne bi trebale nalaziti. Isto vrijedi i za detekciju DeepFake videozapisa, nastoji se uočiti neke nepravilnosti na licima, bilo da se radi o čudnom osvjetljenju, čudnim grimasama i sl.

U literaturi [2] postoje tri glavne podjele metoda na temelju kojih se vrše detekcije:

• fizičke/fizološke nepravilnosti
  • nema treptanja očima
  • nema zatvorenih očiju
  • ukočenost lica
  • neprirodne grimase

• šumovi
  • šumovi u pdoacima kao i u svim signalima, pretpostavlja se da će biti više šuma u manipuliranim zapsima

• podatkovno podpomognuti
  • često se radi o algoritmima koji sadrže duboke mreže kojima se na ulaz dovode manipulirani i nemanipulirani videozapisi

Prije nego što nastavite s tekstom, možete se okušati u testu, pa vidite prepoznajete li Vi kao osoba dobro DeepFake uradke.

Prvo se nalazi kviz u kojem postoje računalno generirana lica i ona prava: https://www.buzzfeednews.com/article/janelytvynenko/real-or-fake-face-quiz

Ovdje se nalazi nekoliko videa na kojima možete pokušati detektirati legitimnost: https://www.abc.net.au/news/2018-09-27/fake-news-part-one/10308638?nw=0&r=HtmlFragment

Ako netko odluči se upustiti u kreiranje modela koji bi detektirao lažne videozapise postoji lista smjernica [4]:

• treba se fokusirati na lice
• treba se fokusirati na obraze i čelo, potom čini li se koža pre glatka ili prepuna bora, je li starost kože u skladu s ostalim dijelovima tijela kao i u skladu s očima i kosom
• potrebno je pripaziti na oči i obrve, nalazi li se sjena na mjestima gdje bi trebala biti
• postoje li naočale, ako postoje potrebno je pripaziti na odsjaj, mijenja li se odsjaj s pomakom osobe
• treba pripaziti na kosui njen nedostatak, često se znaju ukloniti brkovi i sl.
• trepće li osoba, trepće li previše
• pripaziti na veličinu i boju usana

Sada ponovno možete pokušati odigrati kviz prije ovih pitanja i vidjeti jeste li bolje uočili dijelove na koje je potrebno obratiti pažnju.

Neki od najpoznatijih algoritama za detekciju su [3]:

U točkama ispod su navedeni neki algoritmi s dodatnim pojašnjenjem, a neki ne. Razlog toga je da se algoritmi koji nisu dodatno pojašnjeni često izvedeni u arhitekturama dubokih mreža koje je jako teško objasniti (black box).

• Two-stream - koristi CNN mreže
• MesoNet - koristi CNN mreže
• HeadPose - nastoji detektirati anomalije u pozama glave, nastoji kreirati 3D prostor pozicije glave i onda na temelju odstupanja pomoću SVM algoritma vrši detekciju
• FWA - detektira anomalije lica koje se manifestiraju u obliku izobličenja lica, zaglađivanja, rastezanja i sl.
• VA - temelji se na detekciji vizualnih artefakata na pojedinim dijelovima lica poput očiju, zuba, kontura lica
• Xception
• Multi-task
• Capsule
• DSP-FWA - sličnog principa kao i FWA

U odjeljku Izazovi je bilo riječ o tome kako s boljim skupom podataka veća je vjerojatnost generiranja dobrih rezultata. Stoga postoji jedan ogroman problem koji će u budućnosti biti zasigurno sve zastupljeniji prilikom detekcije, a to je kreiranje sve boljih i boljih skupova podataka. Na taj problem i ozbiljne posljedice je ukazao jedan rad koji je na temelju iznimno kvalitetnog dataseta Cabel DF (slike u datasetu su iznimno kvalitetno napravljene s visokom rezolucijom) nastojao testirati performanse algoritama za detekciju.

Razultati [3] su navedeni u slijedećem grafu:

Na slici iznad je vidljivo kako za skup podataka s najboljom kvalitetom slika Caleb-DF su najgori rezultati za sve algoritme.

Brojevi koji se pojavljuju na x-osi su AUC engl. Area under the curve brojevi pri čemu brojka od 1 znači savršen rezultat

Točnost algoritama nad različitim datasetovima je prikazana na slici ispod [2]. Ona pokazuje kako dominiraju DSP-FWA, Xception pa FWA. Potrebno je podsjetiti se kako upravo FWA koristi defekte na licima poput rastezanja, nepravilog popunjavanja i sl.

DeepFake videozapisi donose veliki rizik, pogotovo ako dođu u krive ruke. S porastom skupova podataka koji postaju sve kvalitetniji i kvalitetniji sve je lakše zavarati ljudsko oko, a tako i “računalno oko” te je postupak detekcije sve kompleksniji problem.

Postoji puno modela koji nastoje detektirati anomalije u zapisima no njihova točnost uvelike ovisi o tome što je algoritam prije vidio, problem je ako algoritam nešto prije nije vidio.

Psotoje problemi (pogotovo na društvenim mrežama) kada algoritmi za detekciju lažno označe sadržaj kao lažan iako on nije manipuliran DeepFake postupcima.

Svakako je potrebno s razvojem DeepFake modela razvijati i što bolje algoritme i postupke za njihvu detekciju.

[1] DeeepFake Wikipedia

[2] DEEPFAKE DETECTION: CURRENT CHALLENGES AND NEXT STEPS - Siwei Lyu

[3] Celeb-DF: A Large-scale Challenging Dataset for DeepFake Forensics - Yuezun Li, Xin Yang, Pu Sun, Honggang Qi and Siwei Lyu

[4] Detect DeepFakes: How to counteract misinformation created by AI

[5] kviz

[6] kviz 2