Razlike

Slijede razlike između dviju inačica stranice.

--- racfor_wiki:seminari:tehnike_izrade_deep_fake_videa [2023/01/12 21:46]
kl50222 dd
+++ racfor_wiki:seminari:tehnike_izrade_deep_fake_videa [2023/06/19 18:17] (trenutno)
@@ Redak 5: / Redak 5: @@
 U ovom radu će se dati opis deepfake-a te će se objasniti tehnike i znanstvena teorija na kojoj je zasnivan. Opisati će se najpopularniji alati te kako se koriste i pružiti će se uvid u njihove prednosti i nedostatke.
-Ključne riječi: Deepfake; DeepFaceLab; FaceSwap; SimSwap;
+Ključne riječi: Deepfake; autoencoders; GANs; DeepFaceLab; DeepSwap;
@@ Redak 13: / Redak 13: @@
 Lažni videozapisi se mogu koristiti za različite svrhe, uključujući političke lažne vijesti, kompromitiranje poznatih osoba i kreiranje neistinitih informacija. Oni mogu biti štetni za javno mišljenje, a ponekad mogu imati ozbiljne posljedice za pojedince ili društvo u cjelini.
-Rani značajan projekt bio je program Video Rewrite, objavljen 1997. godine, koji je modificirao postojeću video snimku osobe koja govori kako bi prikazala tu osobu kako izgovara riječi sadržane u drugom audio zapisu. Bio je to prvi sustav koji je u potpunosti automatizirao ovu vrstu reanimacije lica, a to je učinio pomoću tehnika strojnog učenja za uspostavljanje veza između zvukova koje proizvodi subjekt videa i oblika lica subjekta.
+Rani značajan projekt bio je program Video Rewrite[1], objavljen 1997. godine, koji je modificirao postojeću video snimku osobe koja govori kako bi prikazala tu osobu kako izgovara riječi sadržane u drugom audio zapisu. Bio je to prvi sustav koji je u potpunosti automatizirao ovu vrstu reanimacije lica, a to je učinio pomoću tehnika strojnog učenja za uspostavljanje veza između zvukova koje proizvodi subjekt videa i oblika lica subjekta.
 Postupci lažiranja informacija i medija nisu neuobičajni, ali bitnu razliku naglašavaju tehnike koje se koriste za lažiranje. Jedan od najpoznatijih primjera lažiranja video sadržaja je pojava deepfake videa koji koriste napredne tehnike korištenja umjetne inteligencije i dubokog učenja kako bi proizveli ovu pojavu.
 ===== Deepfake =====
-Deepfake tehnologija predstavlja novi način stvaranja videozapisa koji omogućuje mijenjanje lica i glasa glumaca ili drugih poznatih osoba s licima i glasovima drugih ljudi. Ova tehnologija koristi se za različite svrhe, uključujući umjetničke projekte, političke lažne vijesti, te zabavne sadržaje.
+Deepfake [2] tehnologija predstavlja novi način stvaranja videozapisa koji omogućuje mijenjanje lica i glasa glumaca ili drugih poznatih osoba s licima i glasovima drugih ljudi. Ova tehnologija koristi se za različite svrhe, uključujući umjetničke projekte, političke lažne vijesti, te zabavne sadržaje.
-Deepfake se koristi umjetnom inteligencijom i tehhnologijama dubokog učenja, posebno generativnih protivničkih mreža (GANs) koje se koriste za generiranje slika, i autoencoderi koji se koriste za pretvaranje lica i glasova iz jednog videa u druge.
+Deepfake se koristi umjetnom inteligencijom i tehhnologijama dubokog učenja, posebno generativnih protivničkih mreža (GANs) [3] koje se koriste za generiranje slika, i autoencoderi [4] koji se koriste za pretvaranje lica i glasova iz jednog videa u druge.
 Ova tehnologija je izazvala veliku pažnju u javnosti, jer je sposobna stvoriti vrlo realistične video zapise, često teško raspoznatljive od stvarnih. To je dovelo do zabrinutosti o mogućnosti zloupotrebe tehnologije za lažne vijesti i manipulaciju javnog mišljenja. Stoga je važno razvijati tehnologije za otkrivanje deepfake videa i promicati odgovornu upotrebu tehnologije. Iako deepfake tehnologija može biti korištena za neetične svrhe, također se koristi za kreativne projekte i istraživačke svrhe.
-Anketa o deepfakeovima, objavljena u svibnju 2020., pruža vremensku traku kako je stvaranje i otkrivanje deepfakeova napredovalo u posljednjih nekoliko godina.[37] Anketa utvrđuje da su se istraživači usredotočili na rješavanje sljedećih izazova stvaranja deepfakea:
+Anketa o deepfakeovima, objavljena u svibnju 2020., pruža vremensku traku kako je stvaranje i otkrivanje deepfakeova napredovalo u posljednjih nekoliko godina.[5] Anketa utvrđuje da su se istraživači usredotočili na rješavanje sljedećih izazova stvaranja deepfakea:
 Generalizacija. Visokokvalitetni deepfakeovi često se postižu vježbanjem na satima snimke mete. Ovaj izazov je smanjiti količinu podataka za obuku i vrijeme za obuku modela potrebnog za proizvodnju kvalitetnih slika i omogućiti izvođenje obučenih modela na novim identitetima (nevidljivim tijekom obuke).
@@ Redak 54: / Redak 54: @@
 ==== Generative Adversarial Networks (GANs) ====
-Generative Adversarial Networks su klasa dubokog učenja modela koji se koriste za generiranje novih i jedinstvenih podataka, poput slika, videa i zvuka. GANs se sastoji od dva glavna dijela: generatora i diskriminatora.
+Generative Adversarial Networks su klasa dubokog učenja modela koji se koriste za generiranje novih i jedinstvenih podataka, poput slika, videa i zvuka. GANs se sastoji od dva glavna dijela: generatora i diskriminatora [6].
 Generator je neuronska mreža koja prima nasumični šum kao ulaz i generira nove podatke u obliku slika, videa ili zvuka. Generator se trenira da nauči podložnu distribuciju podataka koje pokušava generirati.
@@ Redak 68: / Redak 68: @@
 ==== Autoencoders ====
-Autoencoderi su vrsta neuronske mreže koja se koristi za nevezano učenje. Glavni cilj autoencodera je naučiti komprimirano predstavljanje ulaznih podataka, nazvano grlo ili latentna reprezentacija.
+Autoencoderi [7] su vrsta neuronske mreže koja se koristi za nevezano učenje. Glavni cilj autoencodera je naučiti komprimirano predstavljanje ulaznih podataka, nazvano grlo ili latentna reprezentacija.
 Autoencoder se sastoji od dva glavna dijela: kodera i dekodera. Kodiratelj prima ulazne podatke i uči ih komprimirati u nižedimenzionalnu reprezentaciju. Dekodiratelj uzima ovu komprimiranu reprezentaciju i pokušava rekonstruirati izvorni ulazni podatak.
@@ Redak 92: / Redak 92: @@
 ==== DeepFaceLab ====
-==== DeepSwap ====
+DeepFaceLab[8] je vodeći softver za izradu deepfake videozapisa. Radi se o besplatnoj i otvorenoj aplikaciji za generiranje umjetnih lica koja koristi tehnologiju dubokog učenja. Razvijena je od strane skupine hakera i entuzijasta koji se bave generativnim modelima lica.
-DeepSwap je deepfake softver koji koristi tehnike dubokog učenja za generiranje realističnih zamjena lica. Poznat je po svom pristupačnom korisničkom sučelju i sposobnosti stvaranja visokokvalitetnih deepfake-ova.
+Aplikacija se koristi za stvaranje deepfake videa, što znači da koristi duboko učenje za izmjenu lica u videozapisu. To se može postići generiranjem 3D modela lica iz slika i korištenjem tih modela za "prekrivanje" lica u videozapisu.
-Jedna od ključnih značajki DeepSwap-a je njegova sposobnost izvođenja zamjene lica u stvarnom vremenu, što olakšava korisnicima da vide rezultate svojih uređaja i da naprave prilagodbe po potrebi. DeepSwap također koristi arhitekturu neuronske mreže koja je posebno dizajnirana za rad s licima, što mu omogućuje generiranje preciznijih i realističnijih zamjena lica.
+DeepFaceLab je relativno jednostavna za korištenje, a korisnici mogu koristiti bilo koju sliku ili videozapis kao izvor podataka za generiranje modela lica. Aplikacija također dolazi s nekoliko različitih algoritama koji se mogu koristiti za generiranje lica, što omogućuje korisnicima da prilagode svoj rad prema potrebama.
-Još jedna značajka DeepSwap-a je da koristi tehniku poznatu kao "poravnavanje lica" koja poravnava lica u izvornim i ciljnim slicama. Ova tehnika također omogućuje DeepSwap-u da se snalazi sa slikama s različitim uvjetima osvjetljenja, položajima i izrazima lica.
+S više od 13 000 zvjezdica na GitHubu, DeepFaceLab se pojavio kao popularno rješenje za potrošačko i profesionalno stvaranje deepfakea. Uspjeh DeepFaceLaba proizlazi iz ideje u dizajnu koji uravnotežuje brzinu i jednostavnost korištenja te procvat računalnog vida u prepoznavanju lica, usklađivanju, rekonstrukciji, segmentaciji itd.
-DeepSwap također nudi različite alate za fino podešavanje postupka zamjene lica, kao što su korekcija boje, podešavanje svjetline i glađenje kože. To omogućuje korisnicima da postignu još bolji i realističniji izgled svojih videa. Osim toga, DeepSwap nudi već istrenirani model koji se može koristiti za brzu i jednostavnu zamjenu lica, što je korisno za korisnike koji žele brzo stvoriti deepfake video bez potrebe za treniranjem vlastitog modela.
+Postoje četiri glavne karakteristike iza njegove implementacije:
+Praktičnost. DeepFaceLab nastoji iskoristiti svoje cjevovode, uključujući učitavač i obradu podataka, model treniranja i naknadnu obradu, što je lakše i produktivnije moguće. Za razliku od drugih sustava zamjene lica, DeepFaceLab pruža kompletan alat naredbenog razvoja sa svim aspektima cjevovoda koji se mogu implementirati na način koji korisnici odaberu. Ljudi bi mogli postići glatkoću i fotorealistični rezultati zamjene lica bez potrebe za odabranim značajkama, ako slijede postavke
+tijeka rada, ali samo uz potrebu dva videozapisa: izvorni video (src) i odredišni video (dst) bez ponovnog zahtjeva za uparivanje istog izraza lica između src i dst.
-===== Zaključak =====
+Široka inženjerska potpora. Neke praktične mjere dodane su za poboljšanje performansi: podrška za više GPU
+priključaka, obuka polupreciznosti, upotreba prikvačene CUDA memorije za poboljšanje propusnosti, korištenje višestrukih dretvi za ubrzanje grafičkih operacija i obradu podataka. Čak i računaklo s 2 GB VRAM-a također može biti uspješan u izradi zamjene lica.
+Proširivost Kako bi se ojačala fleksibilnost rada DeepFaceLaba protok i privlačenje interesa istraživačke zajednice, korisnici mogu slobodno zamijeniti bilo koju komponentu DeepFaceLaba koja ne ispunjava njihove zahtjeve. Većina njegovih modula su dizajnirani da se mogu zamjeniti i lako nadograditi. Na primjer, ljudi bi mogli pružiti noviji detektor lica za postizanje boljih performansi u otkrivanju lica s ekstremnim kutovima ili vanjskim područjima.
-===== Literatura =====
+Skalabilnost. Imati dobre skupove podataka ključno je za zadatak zamjene lica. Općenito, što su skupovi podataka veći, to će se postići bolji konačni rezultati. Međutim, rezultati koji se izravno izvlače od src i dst su uvijek sa šumovima, što značajno može naštetiti konačnoj kvaliteti. S obzirom na složenu situaciju DeepFaceLab pruža niz mjera za čišćenje skupova podataka. Uz ove mjere, DeepFaceLab smanjuje skalabilnost i može čak podržati skupove podataka velikih razmjera te provesti zamjenu lica kinematografske kvalitete na temelju velikih skupova podataka.
+==== DeepSwap ====
-[1] [[https://dl.acm.org/doi/pdf/10.1145/1161366.1161375| Wang W., Farid H.: Exposing Digital Forgeries in Video by Detecting Double MPEG Compression]]
+DeepSwap[9] je deepfake softver koji koristi tehnike dubokog učenja za generiranje realističnih zamjena lica. Poznat je po svom pristupačnom korisničkom sučelju i sposobnosti stvaranja visokokvalitetnih deepfake-ova.
-[2] [[http://clem.dii.unisi.it/~vipp/website_resources/publications/conferences/2014_ICASSP_GironiFBPB_A_Video_Forensic_Technique_For_Detecting_Frame_Deletion_And_Insertion.pdf | A. Gironi, M. Fontani, T. Bianchi, A. Piva, M. Barni: A VIDEO FORENSIC TECHNIQUE FOR DETECTING FRAME DELETION AND INSERTION ]]
+Jedna od ključnih značajki DeepSwap-a je njegova sposobnost izvođenja zamjene lica u stvarnom vremenu, što olakšava korisnicima da vide rezultate svojih uređaja i da naprave prilagodbe po potrebi. DeepSwap također koristi arhitekturu neuronske mreže koja je posebno dizajnirana za rad s licima, što mu omogućuje generiranje preciznijih i realističnijih zamjena lica.
-[3] [[https://www.forensicfocus.com/articles/forensics-bitcoin/]]
+Još jedna značajka DeepSwap-a je da koristi tehniku poznatu kao "poravnavanje lica" koja poravnava lica u izvornim i ciljnim slicama. Ova tehnika također omogućuje DeepSwap-u da se snalazi sa slikama s različitim uvjetima osvjetljenja, položajima i izrazima lica.
-DeepFake:
+DeepSwap također nudi različite alate za fino podešavanje postupka zamjene lica, kao što su korekcija boje, podešavanje svjetline i glađenje kože. To omogućuje korisnicima da postignu još bolji i realističniji izgled svojih videa. Osim toga, DeepSwap nudi već istrenirani model koji se može koristiti za brzu i jednostavnu zamjenu lica, što je korisno za korisnike koji žele brzo stvoriti deepfake video bez potrebe za treniranjem vlastitog modela.
-https://www.wipo.int/wipo_magazine/en/2022/02/article_0003.html
+===== Zaključak =====
-https://news.berkeley.edu/2019/06/18/researchers-use-facial-quirks-to-unmask-deepfakes/
-https://github.com/iperov/DeepFaceLab
+Deepfake videozapisi se brzo razvijaju i imaju potencijal promijeniti način na koji stvaramo i konzumiramo medije. Ovi su alati korisnicima olakšali stvaranje realističnih i uvjerljivih deepfake videozapisa, a neki čak mogu izvršiti zamjenu lica u stvarnom vremenu.Međutim, uz mogućnost stvaranja vrlo uvjerljivih deepfake videa dolazi i mogućnost zlouporabe. Deepfakeovi se mogu koristiti za stvaranje zavaravajućeg i lažnog sadržaja, koji se može koristiti za širenje dezinformacija ili lažno predstavljanje pojedinaca. To je dovelo do poziva na donošenje propisa i zakona kako bi se spriječilo zlonamjerno korištenje.
+Budućnost korištenja umjetne inteligencije i dubokog učenja u stvaranju medijskog sadržaja je nepredvidiva. Deepfake tehnologije predstavljaju tek početak tog aspekta te će se sa daljnjim razvojem sigurno proizvesti kvalitetnija i preciznija metodologija izrade medijskih sadržaja. Iako tehnologija za lažiranje video sadržaja postaje sve sofisticiranija, postoje načini za prepoznavanje lažnih videozapisa. Neki od tih načina uključuju analizu slike i zvuka, te korištenje algoritama za otkrivanje neprirodnih pokreta ili promjena u licu. Međutim, važno je da javnost bude svjesna opasnosti lažnih videozapisa i da se poduzmu mjere za sprječavanje njihovog širenja. To uključuje promicanje odgovorne upotrebe tehnologije, kao i podizanje svijesti o prepoznavanju lažnih videozapisa. Kako se tehnologija nastavlja razvijati, bit će ključno uspostaviti ravnotežu između njezinih prednosti i potencijalnih rizika.
+===== Literatura =====
-https://www.deepswap.ai/
+[1] [[https://dl.acm.org/doi/10.1145/258734.258880 | Bregler, Christoph; Covell, Michele; Slaney, Malcolm (1997). "Video Rewrite: Driving Visual Speech with Audio". Proceedings of the 24th Annual Conference on Computer Graphics and Interactive Techniques]]
-https://towardsdatascience.com/what-the-heck-are-vae-gans-17b86023588a
+[2] [[https://www.foxnews.com/tech/terrifying-high-tech-porn-creepy-deepfake-videos-are-on-the-rise| Brandon, John (16 February 2018). "Terrifying high-tech porn: Creepy 'deepfake' videos are on the rise". Fox News.]]
-https://github.com/neuralchen/SimSwap
+[3] [[https://www.sciencedirect.com/science/article/pii/S2667096820300045|Aggarwal, Mittal, Battineni; Generative adversarial network: An overview of theory and applications]]
-https://analyticsindiamag.com/guide-to-simswap-an-efficient-framework-for-high-fidelity-face-swapping/
+[4] [[https://irep.ntu.ac.uk/id/eprint/38737/1/1247050_Lee.pdf| Kietzmann, J.; Lee, L. W.; McCarthy, I. P.; Kietzmann, T. C. (2020). "Deepfakes: Trick or treat?" (PDF). Business Horizons]]
-https://en.wikipedia.org/wiki/Generative_adversarial_network
+[5] [[https://dl.acm.org/doi/10.1145/3425780| Mirsky, Yisroel; Lee, Wenke (12 May 2020). "The Creation and Detection of Deepfakes: A Survey". ACM Computing Surveys]]
-https://en.wikipedia.org/wiki/Autoencoder
+[6] [[https://theaisummer.com/gan-computer-vision/#vanilla-gan-generative-adversarial-networks-2014| "Vanilla GAN (GANs in computer vision: Introduction to generative learning)". theaisummer.com. AI Summer. April 10, 2020.]]
-https://towardsdatascience.com/family-fun-with-deepfakes-or-how-i-got-my-wife-onto-the-tonight-show-a4454775c011
+[7] [[https://www.researchgate.net/profile/Abir_Alobaid/post/To_learn_a_probability_density_function_by_using_neural_network_can_we_first_estimate_density_using_nonparametric_methods_then_train_the_network/attachment/59d6450279197b80779a031e/AS:451263696510979@1484601057779/download/NL+PCA+by+using+ANN.pdf| Kramer, Mark A. (1991). "Nonlinear principal component analysis using autoassociative neural networks"]]
-https://www.alanzucconi.com/2018/03/14/understanding-the-technology-behind-deepfakes/
+[8] [[https://github.com/iperov/DeepFaceLab| Github Repository: DeepFaceLab]]
-https://www.washingtonpost.com/technology/2019/06/12/top-ai-researchers-race-detect-deepfake-videos-we-are-outgunned/
+[9] [[https://www.deepswap.ai/| DeepSwap Official Website]]

racfor_wiki/seminari/tehnike_izrade_deep_fake_videa.1673556399.txt.gz · Zadnja izmjena: 2023/06/19 18:15 (vanjsko uređivanje)