Deepfake sadržaj umjetno je generarani sadržaj u kojem se osoba s originalnog videa ili slike zamjenjuje s nekom drugom osobom. Ovakvi sadržaji za cilj najčešće imaju širenje lažnih informacija i obmanu. Stvaraju se naprednim metodama dubokog učenja, najčešće korištenjem takozvanih autoenkodera (engl. autoencoders) ili generativnih suparničkih mreža (engl. Generative adversial networks, GAN). S obzirom da se deepfake većinom koristi u negativne svrhe, pokušava ih se detektirati kako bi ih se uklonilo s različitih društvenih mreža ili upozorilo da se radi o neautentičnom sadržaju.

Ključne riječi: deepfake, strojno učenje, duboko učenje, autoenkoderi, GAN

Pojam deepfake odnosi se na umjetno stvoreni video nastao uvjerljivom izmjenom originalnog videa na način da se lice (i glas) neke osobe zamijeni s osobom koja je na originalnom videu. Naziv deepfake nastao je kao sraslica dviju riječi – deep - odnosi se na 'deep learning', odnosno duboko učenje čije se metode koriste za stvaranje ovakvih videa te riječi – fake – koja se odnosi na to da je video lažan i da je osoba stavljena u njega bez njezina odobrenja. Deepfake najčešće služi za obmanu i širenje lažnih informacija. Najčešća primjena je u pornografiji gdje se lica glumaca stavljaju u pornografska videa. Druga najčešća primjena deepfake videa je u političke svrhe – stvaraju se videi u kojima političari govore nešto što zapravo nisu rekli. Zbog toga su deepfake videi izazvali zabrinutost u političkom i poslovnom svijetu te se pokušavaju naći metode kako ih što lakše detektirati i ograničiti njihovu upotrebu. Iako postoje i pozitivne primjene deepfake videa, većinom se koriste u negativne svrhe i za sobom povlače brojna etička i moralna pitanja.

Tehnike generiranja deepfake videa temelje se na metodama dubokog učenja. Konkretno, koriste se generativni modeli čija je specifičnost da pokušavaju naučiti distribucije iz kojih dolaze pojedini primjeri. Generativni modeli koji se najčešće koriste u svrhu izrade deepfake videa su autoenkoderi i generativne suparnične mreže te su objašnjeni kasnije u tekstu.

Primjene deepfake videa su brojne i pritom većinom negativne. U početku su se najviše koristili u pornografiji gdje bi se u postojeća videa stavljala lica poznatih glumaca bez njihova dopuštenja s ciljem narušavanja ugleda ili novčane ucjene. Ubrzo su postali sve više zastupljeni i u politici – mnogi poznati političari, bili su žrtve deepfake-ova koji su lažirali njihove riječi. Cilj deepfakeova u politici najčešće je manipulacija izbora. Još jedna opasna uporaba deepfake-ova je izrada sockpuppeta. Sockpuppeti su nepostojeće fiktivne osobe koje na internetu služe za obmanu; najčešće se koriste za manipuliranje javnog mišljenja, na način da sockpuppet kao fiktivni identitet zastupa, brani i podržava neku osobu ili organizaciju.

Još neke od primjena su: izrada Internet meme-ova, umjetnost, filmovi, aplikacije kao swapface i aplikacije za stavljanje korisnikova lica u scene poznatih filmova i serija.

Modeli u strojnom učenju mogu se podijeliti na diskriminativne i generativne. Dok generativni modeli modeliraju distribucije pojedinih klasa, diskriminativni modeli uče granice između klasa.

Diskriminativni modeli

Diskriminativni modeli uče granice između klasa. Oni izravno modeliraju vjerojatnost p(y|x) odnosno vjerojatnost da primjer x pripada klasi y. Neki od tipičnih diskriminativnih modela su SVM, logistička regresija, stabla odluke itd.

Generativni modeli

Generativni modeli modeliraju distribucije pojedinih klasa. Oni koriste zajedničku vjerojatnost (engl. joint probability) p(x,y) = p(y) * p(x|y). Iz zajedničke vjerojatnosti lako se dobije vjerojatnost da neki podatak x pripada klasi y – drugim riječima, generativni modeli neizravno modeliraju vjerojatnost p(y|x). Generativni modeli sadrže mnogo više informacija od diskriminativnih. S obzirom da uče distribucije pojedinih klasa, osim za klasifikaciju primjera, mogu se koristiti i za generiranje novih podataka te je upravo to njihova glavna odlika.

Generativni modeli koji se najčešće koriste za stvaranje deepfake videa su autoenkoderi i generativni supernički modeli (Generative Adversial Networks, GAN).

Autoenkoderi vrsta su dubokih generativnih neuronskih mreža čiji je glavni cilj naučiti mrežu koja što bolje kopira ulazni vektor (slika, video ili audio zapisan u obliku vektora). Izlaz autoenkodera nije ključna stavka ovdje – on će biti što vjernija kopija ulaza, ali ono što je od interesa je skriveni sloj koji izvlači bitne značajke ulaznih podataka. Te značajke možemo primijeniti tamo gdje ih ne možemo ručno označiti, te gdje su one možda i teške za interpretaciju čovjeku. Mreža te značajke sama uči, prilagođene su skupu za treniranje i kao takve pogodne za generiranje novih podataka.

Autoenkoderi se sastoje od 3 kompomente – enkodera, uskog grla (engl. bottleneck) i dekodera. Enkoder kodira ulaz i izvlači najbitnije latentne (skrivene) značajke iz ulaza. Dekoder uzima latentne značajke s izlaza enkodera i rekonstruira sliku. Bottleneck je latentni vektor koji nastaje kao izlaz enkodera, a koji se koristi kao ulaz dekodera.

Generativne suparničke mreže, GAN-ovi, generativni su modeli čija je glavna namjena generiranje umjetnih uzoraka. GAN se sastoji od dvije neuronske mreže, mreže generator i mreže diskriminator. Te dvije mreže paralelno se treniraju u minimax igri – generator pokušava prevariti diskriminator, dok diskriminator pokušava otkriti prijevaru.

Ideja je sljedeća: generator generira podatak, naprimjer sliku, na temelju ulaznih podataka. Diskriminator zatim treba zaključiti je li ta slika generirana ili je originalna. Diskriminator bi trebao moći 'pogledati' sliku i zaključiti da pripada u jednu od dvije klase – fake ili not fake. Generator pokušava prevariti diskriminator, a diskriminator pokušava uočiti prijevaru. Njihovo natjecanje tjera ih da i jedna i druga mreža budu što bolje što rezultira time da generator generira realistične umjetne slike.

Za generiranje deepfakeova pomoću opisanih modela, potrebno je imati dovoljan broj slika i videa na kojima se vidi lice osobe iz različitih kuteva i s različitim izrazima lica. Iz tih videa lako se stvara skup podataka na kojima će mreža učiti 'kako ubaciti nečije lice' u postojeći video. Ovakav skup podataka jednostavno je napraviti s obzirom da je dovoljno imati pristup slikama i videima s nečije društvene mreže.

Mnogi su načini prepoznavanja deepfake videa. Često se golim okom mogu uočiti neprirodnosti u pokretima usana i očiju, kao i neprirodni izgled kose i zubi. Također, ljudsko oko u stanju je prepoznati čudno osvjetljenje, neprirodno obojenje tona kože te nedostatak emocije u izrazima lica. Postoje mnogi machine learning detektori koji koriste gore navedene metode kako bi uspješno klasificirali sliku ili video u klase fake ili not fake. Takve detektore koriste mnoge društvene mreže poput Twittera i Facebooka. Google pak koristi alat za konverziju teksta u govor kako bi verificirao govornika.

Međutim, generatori deep fake videa sve više napreduju i rješavaju navedene nedostatke. Zbog toga je sve teže uočiti neautentične sadržaje pa se koriste sofisticiranije metode. Napredniji detektori koriste takozvane digitalne otiske (engl. digital fingerprint). Osim što originalni video može imati jedinstveni digitalni otisak koji ga razlikuje od generiranih videa, ustanovilo se da i deep fake videa, odnosno njihovi generatori, imaju svoje digitalne otiske s obzirom da svaki pojedini generator generira slike i videa na jedinstven način iz određene distribucije.

Alternativni način detektiranja deep fake sadržaja temelji se na korištenju modela koji procjenjuju puls, odnosno otkucaje srca osobe na slici na temelju suptilnih promjena u boji lica koje nastaju zbog protoka krvi u licu. Deepfake videa zasad ne mogu replicirati tu promjenu u boji kože zbog čega je ovo, bar zasad, dobar pristup za detekciju istih.