Deep fake videi su videi u kojima se lice osobe zamijeni sa licem neke druge osobe, ili se lice osobe iskrivi tak da izgleda kao da govori nešto što nije izgovarala.

Razvitkom tehnologije sve je teže otkriti da li je video fake ili stvaran. Ovdje dolaze metode detekcije deep fake videa. Postoje razne metode a u ovom seminaru opisane su 2 metode koje su zasnovane na biološkim obilježjima, a to su metoda detekcije zasnovana na treptanju i metoda detekcije zasnovana na brzini otkucaja srca.

Također obrađena je i metoda povezana s PRNU-om koji je na neki način otisak kamere te se pomoću njega otkriva da li je video deep fake ili stvaran.

Obrađena je i metoda koja je zasnovana na vremenskoj konzistenciji okvira u kojoj se pomoću neuronskih mreža izdvaja lice iz videa te zatim provjerava vremenska konzistencija okvira iz videa.

Ključne riječi: deep fake video, detekcija, metode

Budući da tehnologija deep fake videa postaje dostupna sve većoj količini korisnik, društvenim medijima proširilo se mnoštvo lažnih videozapisa. Deepfake se odnosi na manipulirane digitalne medije kao što su slike ili videozapisi gdje se slika ili video osobe zamjenjuju likom druge osobe. Zapravo, deepfake je jedan od sve ozbiljnijih problema u modernom društvu.

Deepfake se koristi za proizvodnju lažnih informacija i glasina najčešće o političarima, a također jako često i za izradu lažnih izjava/videa u kojima se uključuju slavni holivudski glumci. Ove štetne upotrebe deepfakeova mogu imati ozbiljan utjecaj na naše društvo i također mogu širenjem lažnih informacija dovesti do financijske štete nevinih osoba. Naravno deepfake se može i koristiti u bezazlene svrhe, kao što je stvaranje humorističkih videa, te obnavljanje starih fotografija ili “oživljavanje” preminulih pjevača.Jedan noviji primjer je glazbeni video Kendrick Lamar u kojem se reper preobražava u razne slavne osobe. Na slici ispod se može vidjeti Lamarova preobrazba u poznatog glumca Will Smitha.

Nama je više zanimljivo štetno korištenje kojem se pokušava stati na kraj raznim tehnikama za detekciju deep fake videa. U nastavku ovog seminara bit će opisano nekoliko tehnika za otkrivanje deep fake videa.

Kako bi objasnili kako detektirati deep fake video moramo opisati kako on nastaje. Samo ime dolazi od pojma duboko učenje (deep learning). U deep fakeu algoritmi dubokog učenja koji se sami nauče kako riješiti problem na velikom skupu podataka, koriste se za izmjenu lica u videima, slikama i ostalim digitalnim sadržajima u cilju stvaranja što realnijeg sadržaja.

Izrada deep fake sadržaja sastoji se od 2 algoritma koji se međusobno natječu, jedan se zove generator, a drugi diskriminator. Generator stvara lažni digitalni sadržaj i traži od diskriminatora da otkrije je li sadržaj stvaran ili umjetan. I tako diskriminator obilježi da li je sadržaj fake ili stvaran te pošalje generatoru rezultate kako bi on mogao poboljšati sljedeći deepfake.

Deep fake videi kreirani su pomoću umjetne inteligencije, a njihova detekcija se također zasniva na umjetnoj inteligenciji. Točnije različitim algoritmima koji pomoću poznatog seta podataka na različite načine nauče prepoznati deep fake video. Sve metode se zasnivaju na pronalasku nesavršenosti, tj. grešaka u deep fake videima kao što su nedostatak treptanja, nedostatak odsjaja u očima, oblik usta tijekom govora i sl. U nastavku ćemo objasniti par metoda.

Budući da se trenutne metode uglavnom temeljene na dubokom učenju one uvelike ovise o količini podataka, te o izgradnji skupova podataka visoke kvalitete. Kako se deepfake algoritmi razvijaju, novi skupovi podataka bit će potrebni za razvoj naprednih algoritama za suprotstavljanje novim metodama manipulacije.

Ova metoda se provodi u dvije faze. Prva faza uključuje korištenje CNN-a (convolutional neural network) za izdvajanje lica iz svakog okvira videa. Lice se izreže te se poravna/centrira jer to pomaže za prepoznavanje u sljedećem koraku.

Naime radi zamjene lica može doći do narušavanja sličnosti okvira a to je točno ono što i tražimo i zato slijedi druga faza u kojoj CNN sa LSTM(Long short-term memory) pokušava otkriti vremenske nepravilnosti proizvedene tijekom postupka zamjene lica uspoređujući izrezano lice sa svojim skupom podataka. Ako su uočene nepravilnosti video se označuje kao fake.

U članku [3] je provedena studija koja je koristeći skup podataka od 600 videozapisa, od kojih je polovica prikupljena s raznih web stranica za video hosting, dok je ostalih 300 slučajni odabiri iz skupa podataka HOHA. Rezultati su pokazali da se ovim pristupom postiže točnost od čak 97,1% otkrivanja fake videa.

Treptanje je poznato kao temeljna biološka funkcija koju je iznimno teško oponašati u deepfake video zapisima. S prosječnom stopom od 4,5 treptaja u sekundi i trajanjem treptaja od 0,1 do 0,4 sekunde, većina skupova podataka za obuku videozapisa koji se koriste za detekciju deep fakea ima mali broj lica sa zatvorenim očima. Stoga nedostatak treptanja očima može biti obećavajući pokazatelj deepfake videa. U članku [4] proučeno je korištenjem dugotrajne rekurentne konvolucijske mreže (LCRN) za integraciju vremenskog odnosa između video okvira od trenutka kada se oko otvori do trenutka kada se zatvori. Njihova predobrada uključivala je lociranje orijentacije lica pomoću detektora lica i uklanjanje pozadine oko očiju, prvi korak je sličan kao i kod prethodne metode.

U svim testiranjima postignuta je točnost od 99% u otkrivanju deepfake videa pomoću LCRN-a, što je bolje od prethodne metode koja koristi CNN.

PRNU u izravnom prijevodu zapravo znači neujednačenost foto odgovora. Glavna ideja ovog pristupa je opet podijeliti video na okvire te provjeriti da li je svaki okvir snimljen istom kamerom. Naime svaka kamera ostavlja specifični šum unutar videa prilikom snimanja. Za usporedbu potrebno nam je 10-20 fotografija slikanih s kamerom kako bi mogli usporediti šum na tim fotografija sa šumom pojedinog okvira videa.

Ako šum/otisak kamere ne pronalazimo na dijelu okvira možemo zaključiti da je video manipuliran, točnije video je deep fake!

Osim treptanja, još jedna ljudska biološka pojava se može opažati kroz frekvenciju, a to je brzina otkucaja srca. Brzina otkucaja u videu se može promatrati kroz promjene boje kože. Na temelju toga dizajniran je detektor temeljen na biološkim signalima nazvan FakeCatcher za otkrivanje deepfake videa. Konkretno, izdvajanjem signala otkucaja srca i suptilnim promjenama boje i kretanja u RGB video zapisima otkriva se da valjanost video sadržaja.

Rezultati iz rada [7] su potvrdili da FakeCatcher ima visoku točnost otkrivanja deepfake videozapise čak i za videozapise niske kvalitete.

Deep fake videi osim što se mogu koristi u zabavne svrhe kao što je navedena izrada muzičkog videa, mogu se koristiti i za one lošije stvari kao što su prenošenje lažnih informacija.

Postoje mnogi načini za detekciju deep fake videa, a u ovom seminaru prikazano je samo nekolicina. Deep fake videi postaju sve veći problem jer se ljudskim okom teško prepozna razlika između stvarnog i fake videa te time videi gube na vjerodostojnosti jer ne znamo da li su stvarni ili ne.

Razvitkom tehnologije poboljšava se izrada deep fake videa, te se taj razvoj mora pratiti i novim tehnologijama koje će uspijevati stati na kraj deep fakeu. Kreativnosti u vezi deep fakea nema kraja te se detekciji treba pokušati pristupiti na sve moguće načine. Veliki naglasak kod detekciju je potreba za velikim i kvalitetnim skupom podataka.

[1] Kristin Houser: Kendrick Lamar deepfakes made by South Park creators’ studio

[2] Ekraam Sabir, Jiaxin Cheng, Ayush Jaiswal, Wael AbdAlmageed, Iacopo Masi, Prem Natarajan USC Information Sciences Institute, Marina del Rey, CA, USA: Recurrent Convolutional Strategies for Face Manipulation Detection in Videos

[3] Hina Fatima Shahzad,Furqan Rustam,Emmanuel Soriano Flores,Juan Luís Vidal Mazón,Isabel de la Torre Diez , and Imran Ashraf:A Review of Image Processing Techniques for Deepfakes

[4]Armaan Pishori Brittany Rollins Nicolas van Houten Nisha Chatwani Omar Uraimov:Detecting Deepfake Videos: An Analysis of Three Techniques

[5] Marissa Koopman, Andrea Macarulla Rodriguez, Zeno Geradts:Detection of Deepfake Video Manipulation

[6] Peipeng Yu, Zhihua Xia, Jianwei Fei, Yujiang Lu:A Survey on Deepfake Video Detection

[7]Ciftci, U.A., Demir, I., Fakecatcher, L.Y.: Detection of synthetic portrait videos using biological signals. IEEE Trans. Pattern Anal. Mach. Intell. 1 (2020)