racfor_wiki:seminari:tehnike_izrade_deep_fake_videa – Računalna forenzika / Computer forensics

Ovo je stara izmjena dokumenta!

Sadržaj

Tehnike izrade deep fake videa
Sažetak
Uvod
Deepfake
Tehnike
- Generative Adversarial Networks (GANs)
- Autoencoders
Alati za izradu
Primjena
Zaključak
Literatura

Tehnike izrade deep fake videa

Sažetak

Deepfake tehnologije se koriste za stvaranje sintetičkih medija u kojemu se lica i glasovi glumaca ili drugih poznatih osoba mijenjaju s licima i glasovima drugih ljudi. Ove tehnologije se koriste za razne svrhe, od umjetničkih projekata do političkih lažnih vijesti. Bazira se na naprednim tehnikama umjetne inteligencije i dubokog učenja kako bi dostavila dojam realističnog medija za kojeg postaje problem raspoznati koliko je njen sadržaj istinit. Također, zbog svoje popularnosti, nastaju alati i aplikacije koje omogućuju širu javnu uporabu tih tehnologija za generiranje sadržaja na internetu širokih tematika i svrha. U ovom radu će se dati opis deepfake-a te će se objasniti tehnike i znanstvena teorija na kojoj je zasnivan. Opisati će se najpopularniji alati te kako se koriste i pružiti će se uvid u njihove prednosti i nedostatke.

Ključne riječi: Deepfake; DeepFaceLab; FaceSwap; SimSwap;

Uvod

Manipulacija fotografija je nastala u 19. stoljeću i vrlo ubrzo je primjenjena u filmskoj industriji. Razvojem tehnologije u 20. stoljeću i pojavom digitalnog medija razvijaju se nove tehnologije s kojima se pokušava povećati razina realnosti lažnih prikaza koji se predstavljaju kao istiniti. Lažni videozapisi se mogu koristiti za različite svrhe, uključujući političke lažne vijesti, kompromitiranje poznatih osoba i kreiranje neistinitih informacija. Oni mogu biti štetni za javno mišljenje, a ponekad mogu imati ozbiljne posljedice za pojedince ili društvo u cjelini.

Rani značajan projekt bio je program Video Rewrite, objavljen 1997. godine, koji je modificirao postojeću video snimku osobe koja govori kako bi prikazala tu osobu kako izgovara riječi sadržane u drugom audio zapisu. Bio je to prvi sustav koji je u potpunosti automatizirao ovu vrstu reanimacije lica, a to je učinio pomoću tehnika strojnog učenja za uspostavljanje veza između zvukova koje proizvodi subjekt videa i oblika lica subjekta.

Postupci lažiranja informacija i medija nisu neuobičajni, ali bitnu razliku naglašavaju tehnike koje se koriste za lažiranje. Jedan od najpoznatijih primjera lažiranja video sadržaja je pojava deepfake videa koji koriste napredne tehnike korištenja umjetne inteligencije i dubokog učenja kako bi proizveli ovu pojavu.

Deepfake

Deepfake tehnologija predstavlja novi način stvaranja videozapisa koji omogućuje mijenjanje lica i glasa glumaca ili drugih poznatih osoba s licima i glasovima drugih ljudi. Ova tehnologija koristi se za različite svrhe, uključujući umjetničke projekte, političke lažne vijesti, te zabavne sadržaje.

Deepfake se koristi umjetnom inteligencijom i tehhnologijama dubokog učenja, posebno generativnih protivničkih mreža (GANs) koje se koriste za generiranje slika, i autoencoderi koji se koriste za pretvaranje lica i glasova iz jednog videa u druge.

Ova tehnologija je izazvala veliku pažnju u javnosti, jer je sposobna stvoriti vrlo realistične video zapise, često teško raspoznatljive od stvarnih. To je dovelo do zabrinutosti o mogućnosti zloupotrebe tehnologije za lažne vijesti i manipulaciju javnog mišljenja. Stoga je važno razvijati tehnologije za otkrivanje deepfake videa i promicati odgovornu upotrebu tehnologije. Iako deepfake tehnologija može biti korištena za neetične svrhe, također se koristi za kreativne projekte i istraživačke svrhe.

Anketa o deepfakeovima, objavljena u svibnju 2020., pruža vremensku traku kako je stvaranje i otkrivanje deepfakeova napredovalo u posljednjih nekoliko godina.[37] Anketa utvrđuje da su se istraživači usredotočili na rješavanje sljedećih izazova stvaranja deepfakea:

Generalizacija. Visokokvalitetni deepfakeovi često se postižu vježbanjem na satima snimke mete. Ovaj izazov je smanjiti količinu podataka za obuku i vrijeme za obuku modela potrebnog za proizvodnju kvalitetnih slika i omogućiti izvođenje obučenih modela na novim identitetima (nevidljivim tijekom obuke).

Trening u paru. Obuka nadziranog modela može proizvesti visokokvalitetne rezultate, ali zahtijeva uparivanje podataka. Ovo je proces pronalaženja primjera inputa i njihovih željenih izlaza iz kojih model može učiti. Uparivanje podataka je mukotrpno i nepraktično pri obuci o višestrukim identitetima i ponašanju lica. Neka rješenja uključuju obuku pod vlastitim nadzorom (upotrebom okvira iz istog videa), upotrebu neuparenih mreža kao što je Cycle-GAN ili manipulaciju mrežnih ugradnji.

Curenje identiteta. Ovdje se identitet vozača (tj. glumca koji kontrolira lice u rekonstrukciji) djelomično prenosi na generirano lice. Neka predložena rješenja uključuju mehanizme pažnje, učenje u nekoliko koraka, rastavljanje, pretvorbe granica i preskakanje veza.

Okluzije. Kada se dio lica začepi rukom, kosom, naočalama ili bilo kojim drugim predmetom, mogu se pojaviti artefakti. Uobičajena okluzija su zatvorena usta koja skrivaju unutrašnjost usta i zube. Neka rješenja uključuju segmentaciju slike tijekom obuke i slikanja.

Vremenska koherencija. U videozapisima koji sadrže deepfake mogu se pojaviti artefakti poput treperenja i podrhtavanja jer mreža nema kontekst prethodnih okvira. Neki istraživači daju ovaj kontekst ili koriste nove gubitke vremenske koherentnosti kako bi poboljšali realizam. Kako se tehnologija poboljšava, smetnje se smanjuju.

Općenito, očekuje se da će deepfake imati nekoliko implikacija na medije i društvo, medijsku produkciju, medijske reprezentacije, medijsku publiku, rod, zakon i regulativu te politiku.

Tehnike

Postoje različite tehnike za izradu deepfake videa, ali neke od najčešće korištenih su:

Generative Adversarial Networks (GANs): Ova tehnika koristi dvije neuralne mreža koje se natječu jedna protiv druge u stvaranju realističnih slika. Jedna mreža generira slike, dok druga mreža provjerava njihovu autentičnost.

Autoencoders: Ova tehnika koristi jednu neuralnu mrežu koja uči na primjerima lica i glasova poznatih osoba, a zatim se koristi za pretvaranje lica i glasa drugih osoba u lica i glasove poznatih osoba.

Generative Adversarial Networks (GANs)

Generative Adversarial Networks su klasa dubokog učenja modela koji se koriste za generiranje novih i jedinstvenih podataka, poput slika, videa i zvuka. GANs se sastoji od dva glavna dijela: generatora i diskriminatora.

Generator je neuronska mreža koja prima nasumični šum kao ulaz i generira nove podatke u obliku slika, videa ili zvuka. Generator se trenira da nauči podložnu distribuciju podataka koje pokušava generirati.

Diskriminator, s druge strane, je neuronska mreža koja se trenira da razlikuje između generiranih podataka i stvarnih podataka. Diskriminator prima i stvarne i generirane podatke kao ulaz i pokušava ih klasificirati kao stvarne ili lažne.

Obje mreže se treniraju istodobno u procesu koji se naziva protivničko treniranje. Generator pokušava generirati podatke koji će zavarati diskriminator, dok se diskriminator trudi točno klasificirati generirane podatke kao lažne. Ovaj proces se nastavlja dok generator ne bude u stanju generirati podatke koji su neodvojivi od stvarnih podataka.

Jedna od najpopularnijih i najpoznatijih primjena GAN-a je u području generiranja slika. GAN-ovi se mogu koristiti za generiranje realističnih slika predmeta, životinja i čak ljudi. Također su se koristi u području generiranja videa, gdje se mogu koristiti za generiranje realističnih videa ljudi i predmeta u pokretu.

GAN-ovi su se također koristili u drugim područjima, kao što su prirodni jezik i sinteza govora. Mogu se koristiti za generiranje teksta koji je sličan ljudskom pisanom tekstu i također za generiranje realističnog govora.

Autoencoders

Autoencoderi su vrsta neuronske mreže koja se koristi za nevezano učenje. Glavni cilj autoencodera je naučiti komprimirano predstavljanje ulaznih podataka, nazvano grlo ili latentna reprezentacija.

Autoencoder se sastoji od dva glavna dijela: kodera i dekodera. Kodiratelj prima ulazne podatke i uči ih komprimirati u nižedimenzionalnu reprezentaciju. Dekodiratelj uzima ovu komprimiranu reprezentaciju i pokušava rekonstruirati izvorni ulazni podatak.

Proces učenja autoencodera se obavlja smanjenjem pogreške rekonstrukcije između izvornog ulaznog podatka i izlaza dekodera. Ovaj proces prisiljava koder da nauči komprimiranu reprezentaciju koja prikuplja najvažnije značajke ulaznih podataka.

Autoencoderi imaju nekoliko primjena u različitim područjima, kao što su kompresija slika i videa, detekcija anomalija i učenje značajki.

U kompresiji slika i videa, autoencoderi se mogu koristiti za smanjenje veličine podataka učenjem kompaktne reprezentacije slike ili videa. Ovo može biti korisno u situacijama gdje je pohranjivanje ili prijenos podataka važno.

U detekciji anomalija, autoencoderi se mogu koristiti za otkrivanje uzoraka u podacima koji nisu tipični za normalne podatke. Ovo može biti korisno u situacijama poput otkrivanja prijevara ili sustava praćenja u industrijskim okruženjima.

U učenju značajki, autoencoderi se mogu koristiti za učenje korisnih značajki iz ulaznih podataka, što se može koristiti u drugim zadacima, poput klasifikacije. Ovo može biti korisno u situacijama poput prepoznavanja slika ili govora.

Alati za izradu

Deepfake videi se stvaraju korištenjem različitih alata i tehnika. Ti alati variraju od jednostavnih programa za uređivanje slika do složenih algoritama dubokog učenja. Najpopularniji alati za deepfake su oni koji koriste tehnike dubokog učenja za analizu značajki lica u izvornoj slici i ciljnoj slici, a zatim zamjenjuju lice u izvornoj slici s licem iz ciljne slike. Ovi alati uključuju DeepFaceLab, DeepSwap i SimSwap. Ti alati su dizajnirani da budu pristušačni korisnicima i jednostavni za upotrebu, što omogućuje čak i onima s malo tehničkog iskustva da stvaraju realistične i uvjerljive deepfake videe. Osim toga, mnogi od ovih alata su open-source i imaju aktivne zajednice razvojnih programera i korisnika koji doprinose njihovom razvoju i dijele resurse i tutorijale. Međutim, važno je koristiti te alate odgovorno i izbjegavati stvaranje lažnih ili zavaravajućih sadržaja, jer korištenje tehnologije deepfake-a je u nekim zemljama strogo regulirano i moglo bi dovesti do pravnih posljedica.

DeepFaceLab

DeepSwap

DeepSwap je deepfake softver koji koristi tehnike dubokog učenja za generiranje realističnih zamjena lica. Poznat je po svom pristupačnom korisničkom sučelju i sposobnosti stvaranja visokokvalitetnih deepfake-ova.

Jedna od ključnih značajki DeepSwap-a je njegova sposobnost izvođenja zamjene lica u stvarnom vremenu, što olakšava korisnicima da vide rezultate svojih uređaja i da naprave prilagodbe po potrebi. DeepSwap također koristi arhitekturu neuronske mreže koja je posebno dizajnirana za rad s licima, što mu omogućuje generiranje preciznijih i realističnijih zamjena lica.

Još jedna značajka DeepSwap-a je da koristi tehniku poznatu kao “poravnavanje lica” koja poravnava lica u izvornim i ciljnim slicama. Ova tehnika također omogućuje DeepSwap-u da se snalazi sa slikama s različitim uvjetima osvjetljenja, položajima i izrazima lica.

DeepSwap također nudi različite alate za fino podešavanje postupka zamjene lica, kao što su korekcija boje, podešavanje svjetline i glađenje kože. To omogućuje korisnicima da postignu još bolji i realističniji izgled svojih videa. Osim toga, DeepSwap nudi već istrenirani model koji se može koristiti za brzu i jednostavnu zamjenu lica, što je korisno za korisnike koji žele brzo stvoriti deepfake video bez potrebe za treniranjem vlastitog modela.