Deepfake video - alati i tehnike izrade

Deepfake je tehnološka inovacija lažiranja videa i stvaranja vrlo realističnih digitalnih proizvoda, koja je ostvarena zahvaljujući umjetnoj inteligenciji. Do potrebe i stvaranja takve inovacije dovelo je postupno populariziranje korištenja pametnih telefona s vrlo kvalitetnim digitalnim kamerama, uz jednostavni pristup mnogobrojnim aplikacijama za uređivanje, snimanje i dijeljenje slika i videozapisa u kombinaciji s novoizrađenim platformama osnovanima na umjetnoj inteligenciji za duboko učenje. Deepfake videozapisi se kreiraju koristeći autoenkodere i generativne suparničke mreže.

Povijest izrade i izvedbe Deepfake videa seže u devetnaesto stoljeće kada su se prve ideje fotomanipulacije provele u djelo. Nakon što su alati za fotomanipulaciju postali široko dostupni i vrlo jednostavni za korištenje, njihova se uporaba proširila na pomičnu fotografiju tj. video. Razvojem tehnologije i umjetne inteligencije, već su se 1990. godine stvarali temelji Deepfake videa kakav je danas. Ubrzo je tako nastala vrlo dostupna tehnologija, koja u par jednostavnih koraka omogućuje kreiranje Deepfake videozapisa. Deepfake omogućuje manipulaciju čitavim videozapisima koristeći umjetnu inteligenciju za automatizaciju ponavljajućih kognitivnih zadataka kao što je prepoznavanje krajnjih točaka, kao i svih ostalih dijelova lica osobe iz različitih kutova snimanja. Završni produkt provedbe Deepfake algoritma dovodi do zamjene jednog lica za drugo lice zadržavajući sve prirodne karakteristike čineći zamjenu neprimjetnom i realističnom. Za stvaranje takvih videozapisa nije potrebna visoka tehnička stručnost niti skupa oprema, što govori o tome da takav sadržaj može bilo tko vrlo lako proizvesti i jednostavno ga distribuirati. [1]

Tijekom posljednjih se par godina na društvenim se mrežama pojavilo mnoštvo takvih videozapisa. Točnije, 2017. godine na nekoj se društvenoj mreži pojavio prvi videozapis u kojem je lice osobe zamijenjeno licem poznate osobe. [2] Taj je trenutak bio vrlo značajan u daljnjem razvoju i stvaranju brojnih alata poput DeepFaceLab-a, OpenFace-a, Swap Face2Face-a te mnogih drugih, navedenih u tablici 1. Algoritam izrade Deepfake videozapisa svodi se na generiranje novog videozapisa obradom velikog broja slika lica. Glavni je cilj izrada algoritma kojim se uz minimalno ručno uređivanje korisnicima omogući zamjena lica jedne osobe u videozapisu licem neke druge osobe, a da je krajnji rezultat realističnog izgleda. [3]

• Autoenkoderi- Prvi korak je kodiranje izvornih lica dvaju osoba na takav način da umjetnom inteligencijom, korištenjem velikog broja podataka o licu određene osobe, samostalno pokušava rekreirati njegovo/njezino lice te ga sa što većom točnošću ubaciti na tijelo. Drugi korak, odnosno dekodiranje, nastupa nakon što algoritam odluči da je točnost zadovoljavajuća te kreće sa prebacivanjem lica jedne osobe na tijelo druge. U isto vrijeme, svakom iteracijom obuke, umjetna inteligencija smanjuje broj varijabli te dimenzija potrebnih za uspješno generiranje DeepFake videozapisa te tako optimizira vrijeme potrebno za njeno nastajanje. [3]
• npr: Faceswap, DFaker, DeepFakeLab…

• Generativne suparničke mreže- Najkorištenije tehnike strojnog učenja koje se koriste za izradu Deepfake videozapisa temelje se na dubokom učenju i uključuju obuku generativnih arhitektura neuronskih mreža, kao što su autoenkoderi ili generativne suparničke mreže (GAN- Generative Adversarial Networks). Kao što je prikazano slikom 1., postupak obuke GAN mreže umjetne inteligencije vrši se u dva koraka i sastoji se od dva dijela mreže. Prvi se dio naziva generatorski dio, a glavna je ideja mreže generatorskog dijela vrlo je slična autoenkoderima. Ključni je drugi dio tehnike kreiranja Deepfake videozapisa generativnom suparničkom mrežom te ga on čini kvalitetnijom i kompleksnijom metodom od tehnike korištenja autoenkodera. Koristeći drugu mrežu prikazanu slikom 2., mrežu diskriminatora, postižu se znatno bolji rezultati zbog toga što diskriminatorska mreža odbija sve loše primjerke, odnosno one rezultate koji nisu dovoljno slični polaznom primjerku ili ne izgledaju dovoljno realistično. Ideja GAN tehnike kreiranja Deepfake videozapisa temelji se na tome da generator konstantno stvara nove podatke na temelju povratnih informacija dobivenih od diskriminatora. Kao što je vidljivo na slici 3., GAN mreža sastoji se od skupa slučajnih ulaznih podataka, generatorske mreže (koja služi za pretvorbu tog skupa ulaznih podataka u jedan smisleni podatak), diskriminatorske mreže (koja služi za obradu i detekciju ispravnosti generiranih podataka). [4] Diskriminator se koristi za obuku generatora uz sljedeće korake:
  1. Unos uzorka slučajnog ulaznog podatka/šuma.
  2. Generator generira izlaz iz ulaznog slučajnog podatka.
  3. Diskiminator klasificira izlaz generatora kao istiniti ili lažni.
  4. Izračun gubitka iz klasifikacije diskriminatora.
  5. Izračun gradijenta ovisno o dobivenom gubitku.
  6. Izmjena i optimiziranje generatora za izračunati gradijent.
• npr. Faceswap-GAN

Identifikacija, obrada i detekcija krajnjih točaka ljudskog lica na slici, kao i njegovih ostalih jedinstvenih karakteristika izvršava se koristeći algoritam „Dlib's 68 points“. Isprva dolazi do pronalaska položaja ljudskoga lica na slici pomoću krajnjih točaka unaprijed dogovorenog uzorka (prikazanog slikom 4.), dok se ostatak reljefa lica rekonstruira preostalim točkama. Za procjenu položaja svih komponenti lica koristi se 68 koordinata, koje na grafu uzorka lica označavaju određene strukture lica.

Dijelovi lica označeni su koordinatama na sljedeći način :

• Usta se lociraju točkama (49, 68).
• Desna obrva točkama (18, 22).
• Lijeva obrva točkama (23, 27).
• Desno oko točkama (37, 42).
• Lijevo oko točkama (43, 48).
• Nos je definiran točkama (28, 36).
• Čeljusni međuprostor točkama(1, 17).

[1]https://www.frontiersin.org/articles/10.3389/fcomm.2021.632317/full, Johannes Langguth, Konstantin Pogorelov, Stefan Brenner, Petra Filkuková, Daniel Thilo Schroeder. Don't Trust Your Eyes: Image Manipulation in the Age of DeepFakes. Front. Commun., 2021 .

[2] T. Nguyen, C. Nguyen, D.Nguyen ,D. Nguyen and S. Nahavandi, Deep Learning for Deepfakes Creation and Detection: A survey, 2021.

[3]

[4]

[5]

[6] https://developers.google.com/machine-learning/gan/training