Deepfake video - alati i tehnike izrade

Deepfake je tehnološka inovacija lažiranja videa i stvaranja vrlo realističnih digitalnih proizvoda, koja je ostvarena zahvaljujući umjetnoj inteligenciji. Do potrebe i stvaranja takve inovacije dovelo je postupno populariziranje korištenja pametnih telefona s vrlo kvalitetnim digitalnim kamerama, uz jednostavni pristup mnogobrojnim aplikacijama za uređivanje, snimanje i dijeljenje slika i videozapisa u kombinaciji s novoizrađenim platformama osnovanima na umjetnoj inteligenciji za duboko učenje. Deepfake videozapisi se kreiraju koristeći autoenkodere i generativne suparničke mreže.

Keywords: deepfake; autoenkoderi; generativna suparnicka mreza

Povijest izrade i izvedbe Deepfake videa seže u devetnaesto stoljeće kada su se prve ideje fotomanipulacije provele u djelo. Nakon što su alati za fotomanipulaciju postali široko dostupni i vrlo jednostavni za korištenje, njihova se uporaba proširila na pomičnu fotografiju tj. video. Razvojem tehnologije i umjetne inteligencije, već su se 1990. godine stvarali temelji Deepfake videa kakav je danas. Ubrzo je tako nastala vrlo dostupna tehnologija, koja u par jednostavnih koraka omogućuje kreiranje Deepfake videozapisa. Deepfake omogućuje manipulaciju čitavim videozapisima koristeći umjetnu inteligenciju za automatizaciju ponavljajućih kognitivnih zadataka kao što je prepoznavanje krajnjih točaka, kao i svih ostalih dijelova lica osobe iz različitih kutova snimanja. Završni produkt provedbe Deepfake algoritma dovodi do zamjene jednog lica za drugo lice zadržavajući sve prirodne karakteristike te čineći zamjenu neprimjetnom i realističnom. Za stvaranje takvih videozapisa nije potrebna visoka tehnička stručnost niti skupa oprema, što govori o tome da takav sadržaj može bilo tko vrlo lako proizvesti i jednostavno ga distribuirati. [1]

Tijekom posljednjih se par godina na društvenim se mrežama pojavilo mnoštvo lažnih ili mijenjanih videozapisa. Točnije, 2017. godine na nekoj se društvenoj mreži pojavio prvi videozapis u kojem je lice osobe zamijenjeno licem poznate osobe. [2] Taj je trenutak bio vrlo značajan u daljnjem razvoju i stvaranju brojnih alata poput DeepFaceLab-a, OpenFace-a, Swap Face2Face-a te mnogih drugih, navedenih u tablici 1. Algoritam izrade Deepfake videozapisa svodi se na generiranje novog videozapisa obradom velikog broja slika lica. Glavni je cilj izrada algoritma kojim se uz minimalno ručno uređivanje korisnicima omogući zamjena lica jedne osobe u videozapisu licem neke druge osobe, a da je krajnji rezultat realističnog izgleda. [3]

• Autoenkoderi- Prvi je korak kodiranje izvornih lica dviju osoba na način da se umjetnom inteligencijom, korištenjem velikog broja podataka o licu određene osobe, samostalno pokušava rekreirati lice osobe. Drugi korak, odnosno dekodiranje, nastupa nakon što algoritam odluči da je točnost zadovoljavajuća te kreće sa prebacivanjem lica osobe, sa što većom točnošću, na tijelo. Opisani se dio smatra obukom autokodera, a kada je ona obavljena, sustav može biti spreman prebaciti lice jedne osobe na tijelo druge. U isto vrijeme, svakom iteracijom obuke, umjetna inteligencija smanjuje broj varijabli te dimenzija potrebnih za uspješno generiranje DeepFake videozapisa te tako optimizira vrijeme potrebno za njeno nastajanje. [4]
• npr: Faceswap, DFaker, DeepFakeLab…

• Generativne suparničke mreže- Najkorištenije tehnike strojnog učenja koje se koriste za izradu Deepfake videozapisa temelje se na dubokom učenju i uključuju obuku generativnih arhitektura neuronskih mreža, kao što su autoenkoderi ili generativne suparničke mreže (GAN- Generative Adversarial Networks). Kao što je prikazano slikom 1., postupak obuke GAN mreže umjetne inteligencije vrši se u dva koraka i sastoji se od dva dijela mreže. Prvi se dio naziva generatorski dio, a glavna je ideja mreže generatorskog dijela vrlo je slična autoenkoderima. Ključni je drugi dio tehnike kreiranja Deepfake videozapisa generativnom suparničkom mrežom te ga on čini kvalitetnijom i kompleksnijom metodom od tehnike korištenja autoenkodera. Koristeći drugu mrežu prikazanu slikom 2., mrežu diskriminatora, postižu se znatno bolji rezultati zbog toga što diskriminatorska mreža odbija sve loše primjerke, odnosno one rezultate koji nisu dovoljno slični polaznom primjerku ili ne izgledaju dovoljno realistično. Ideja GAN tehnike kreiranja Deepfake videozapisa temelji se na tome da generator konstantno stvara nove podatke na temelju povratnih informacija dobivenih od diskriminatora. Kao što je vidljivo na slici 3., GAN mreža sastoji se od skupa slučajnih ulaznih podataka, generatorske mreže (koja služi za pretvorbu tog skupa ulaznih podataka u jedan smisleni podatak), diskriminatorske mreže (koja služi za obradu i detekciju ispravnosti generiranih podataka). [5] Diskriminator se koristi za obuku generatora uz sljedeće korake:
  1. Unos uzorka slučajnog ulaznog podatka/šuma.
  2. Generator generira izlaz iz ulaznog slučajnog podatka.
  3. Diskiminator klasificira izlaz generatora kao istiniti ili lažni.
  4. Izračun gubitka iz klasifikacije diskriminatora.
  5. Izračun gradijenta ovisno o dobivenom gubitku.
  6. Izmjena i optimiziranje generatora za izračunati gradijent.
• npr. Faceswap-GAN

Identifikacija, obrada i detekcija krajnjih točaka ljudskog lica na slici, kao i njegovih ostalih jedinstvenih karakteristika izvršava se koristeći algoritam „Dlib's 68 points“. Isprva dolazi do pronalaska položaja ljudskoga lica na slici pomoću krajnjih točaka unaprijed dogovorenog uzorka (prikazanog slikom 4.), dok se ostatak reljefa lica rekonstruira preostalim točkama. Za procjenu položaja svih komponenti lica koristi se 68 koordinata, koje na grafu uzorka lica označavaju određene strukture lica. [4]

Dijelovi lica označeni su koordinatama na sljedeći način :

• Usta se lociraju točkama (49, 68).
• Desna obrva točkama (18, 22).
• Lijeva obrva točkama (23, 27).
• Desno oko točkama (37, 42).
• Lijevo oko točkama (43, 48).
• Nos je definiran točkama (28, 36).
• Čeljusni međuprostor točkama(1, 17).

Mijenjanje, korekcija i manipulacija slike i videozapisa seže u daleku prošlost, no problem je nastupio naglim razvojem tehnologije zbog kojega se vjerodostojnost takvih sadržaja počela dovoditi u pitanje. Brojni su događaji dokazali da se čitavo društvo nije spremno nositi s pojavom Deepfake videozapisa. Populacija cijeloga svijeta sve češće postaje svjedok ili žrtva ozbiljnih posljedica kreiranja, postojanja i dijeljenja takvih sadržaja. Nadalje, protiv svih Deepfake sadržaja može se lako izboriti na način da se njihova autentičnost testira. Stoga, prvo od mogućih rješenja i glavna obrana od dezinformacija je adekvatno obrazovanje i tehnička pismenost, a potom izrada novih alata za uspješnu, brzu, jednostavnu i jeftinu detekciju takvih sadržaja. Lažne informacije ili dezinformacije su široko rasprostranjene u današnjem svijetu. S obzirom na to da je je stvaranje Deepfake videozapisa jeftino, zahtijeva ipak mnogo više truda nego kreiranje tekstova. Nadalje, s vremenom će samo nove metode dezinformiranja populacije zamijeniti stare. Stvaratelji video sadržaja na platformama poput YouTube-a, TikTok-a i Reddit-a svakodnevno se natječu za pozornost, bilo ispravnim i autentičnim snimanjem, snimanjem insceniranog sadržaja ili potpunom manipulacijom videozapisa (u ovu kategoriju pripada Deepfake). Stoga, s obzirom na to da se redoviti korisnici spomenutih platformi sve se češće susreću s lažnim ili izmijenjenim sadržajima, samo je pitanje vremena kada će svi ljudi postati svjesni da nije uvijek ispravno vjerovati onome što vide. [1]

[1] https://www.frontiersin.org/articles/10.3389/fcomm.2021.632317/full, Johannes Langguth, Konstantin Pogorelov, Stefan Brenner, Petra Filkuková, Daniel Thilo Schroeder. Don't Trust Your Eyes: Image Manipulation in the Age of DeepFakes. Front. Commun., 2021.

[2] https://www.researchgate.net/publication/336055871_Deep_Learning_for_Deepfakes_Creation_and_Detection_A_Survey, T. Nguyen, C. Nguyen, D.Nguyen ,D. Nguyen and S. Nahavandi, Deep Learning for Deepfakes Creation and Detection: A survey, 2021.

[3] https://ieeexplore.ieee.org/document/9078989, M. T. Jafar, M. Ababneh, M. Al-Zoube and A. Elhassan, Forensics and Analysis of Deepfake Videos. International Conference on Information and Communication Systems (ICICS), 2020.

[4] https://ieeexplore.ieee.org/document/9039057, A. A. Maksutov, V. O. Morozov, A. A. Lavrenov and A. S. Smirnov, Methods of Deepfake Detection Based on Machine Learning. IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), 2020.

[5] https://developers.google.com/machine-learning/gan/training