| Starije izmjene na obje strane
Starija izmjena
Novija izmjena
|
Starija izmjena
|
racfor_wiki:tehnike_izrade_deep_fake_videa [2021/01/16 15:41]
gdoric [Tehnike izrade deepfake videa] |
racfor_wiki:tehnike_izrade_deep_fake_videa [2023/06/19 18:17] (trenutno)
|
| |
| |
| ====== Tehnike izrade deep fake videa====== | ===== Tehnike izrade deepfake videa===== |
| ==== Sažetak ==== | ==== Sažetak ==== |
| |
| Deepfake sadržaj umjetno je generarani sadržaj u kojem se osoba s originalnog videa ili slike zamjenjuje s nekom drugom osobom. Ovakvi sadržaji za cilj najčešće imaju širenje lažnih informacija i obmanu. Stvaraju se naprednim metodama dubokog učenja, najčešće korištenjem takozvanih autoenkodera (engl. autoencoders) ili generativnih suparničkih mreža (engl. Generative adversial networks, GAN). S obzirom da se deepfake većinom koristi u negativne svrhe, pokušava ih se detektirati kako bi ih se uklonilo s različitih društvenih mreža ili upozorilo da se radi o neautentičnom sadržaju. | Deepfake sadržaj umjetno je generirani sadržaj u kojem se osoba s originalnog videa ili slike zamjenjuje s nekom drugom osobom. Ovakvi sadržaji za cilj najčešće imaju širenje lažnih informacija i obmanu. Stvaraju se naprednim metodama dubokog učenja, najčešće korištenjem takozvanih autoenkodera (engl. autoencoders) ili generativnih suparničkih mreža (engl. Generative adversial networks, GAN). S obzirom da se deepfake većinom koristi u negativne svrhe, pokušava ih se detektirati kako bi ih se uklonilo s različitih društvenih mreža ili upozorilo da se radi o neautentičnom sadržaju. |
| |
| Ključne riječi: deepfake, strojno učenje, duboko učenje, autoenkoderi, GAN | Ključne riječi: deepfake, strojno učenje, duboko učenje, autoenkoderi, GAN |
| Tehnike generiranja deepfake videa temelje se na metodama dubokog učenja. Konkretno, koriste se generativni modeli čija je specifičnost da pokušavaju naučiti distribucije iz kojih dolaze pojedini primjeri. Generativni modeli koji se najčešće koriste u svrhu izrade deepfake videa su autoenkoderi i generativne suparnične mreže te su objašnjeni kasnije u tekstu. | Tehnike generiranja deepfake videa temelje se na metodama dubokog učenja. Konkretno, koriste se generativni modeli čija je specifičnost da pokušavaju naučiti distribucije iz kojih dolaze pojedini primjeri. Generativni modeli koji se najčešće koriste u svrhu izrade deepfake videa su autoenkoderi i generativne suparnične mreže te su objašnjeni kasnije u tekstu. |
| |
| | Sljedeća dva slikovna zapisa predstavljaju videa, odnosno //gifove// nastale korištenjem deepfake tehnologije. |
| |
| {{ :racfor_wiki:deepfake_trump.gif?direct&400 |}} | {{ :racfor_wiki:deepfake_trump.gif?direct&400 |}} |
| |
| Još neke od primjena su: izrada Internet //meme//-ova, umjetnost, filmovi, aplikacije kao Swapface, FakeApp i slične aplikacije za stavljanje korisnikova lica u scene poznatih filmova i serija. | Još neke od primjena su: izrada Internet //meme//-ova, umjetnost, filmovi, aplikacije kao Swapface, FakeApp i slične aplikacije za stavljanje korisnikova lica u scene poznatih filmova i serija. |
| | |
| |
| |
| |
| ==== Tehnike izrade deepfake videa ==== | ==== Tehnike izrade deepfake videa ==== |
| |
| |
| |
| |
| |
| | Slika ispod pokazuje opisanu razliku između diskriminativnih i generativnih modela. |
| |
| {{ :racfor_wiki:generative_vs_discriminative.png?nolink&400 |}} | {{ :racfor_wiki:generative_vs_discriminative.png?nolink&400 |}} |
| ===Autoenkoderi=== | ===Autoenkoderi=== |
| |
| Autoenkoderi vrsta su dubokih generativnih neuronskih mreža čiji je glavni cilj naučiti mrežu koja što bolje kopira ulazni vektor (slika, video ili audio zapisan u obliku vektora). Izlaz autoenkodera nije ključna stavka ovdje – on će biti što vjernija kopija ulaza, ali ono što je od interesa je skriveni sloj koji izvlači bitne značajke ulaznih podataka. Te značajke možemo primijeniti tamo gdje ih ne možemo ručno označiti, te gdje su one možda i teške za interpretaciju čovjeku. Mreža te značajke sama uči, prilagođene su skupu za treniranje i kao takve pogodne za generiranje novih podataka. | Autoenkoderi vrsta su dubokih generativnih neuronskih mreža čiji je glavni cilj naučiti mrežu koja što bolje kopira ulazni vektor(vektor je slika, video ili audio zapisan u obliku vektora). Izlaz autoenkodera nije ključna stavka ovdje – on će biti što vjernija kopija ulaza, ali ono što je od interesa je skriveni sloj koji izvlači bitne značajke ulaznih podataka. Te značajke mogu se primijeniti tamo gdje ih se ne može ručno označiti, te gdje su one možda i teške za interpretaciju čovjeku. Mreža te značajke sama uči, prilagođene su skupu za treniranje i kao takve pogodne za generiranje novih podataka. |
| |
| Autoenkoderi se sastoje od 3 kompomente – enkodera, uskog grla (engl. //bottleneck//) i dekodera. Enkoder kodira ulaz i izvlači najbitnije latentne (skrivene) značajke iz ulaza. Dekoder uzima latentne značajke s izlaza enkodera i rekonstruira sliku. //Bottleneck// je latentni vektor koji nastaje kao izlaz enkodera, a koji se koristi kao ulaz dekodera. | Autoenkoderi se sastoje od 3 kompomente – enkodera, uskog grla (engl. //bottleneck//) i dekodera. Enkoder kodira ulaz i izvlači najbitnije latentne (skrivene) značajke iz ulaza. Dekoder uzima latentne značajke s izlaza enkodera i rekonstruira sliku. //Bottleneck// je latentni vektor koji nastaje kao izlaz enkodera, a koji se koristi kao ulaz dekodera. |
| | |
| | Na slici ispod prikazana je arhitektura autoenkodera. |
| |
| {{ :racfor_wiki:autoencoder.png?nolink&500 |}} | {{ :racfor_wiki:autoencoder.png?nolink&500 |}} |
| Generator pokušava prevariti diskriminator, a diskriminator pokušava uočiti prijevaru. Njihovo natjecanje tjera ih da i jedna i druga mreža budu što bolje što rezultira time da generator generira realistične umjetne slike. | Generator pokušava prevariti diskriminator, a diskriminator pokušava uočiti prijevaru. Njihovo natjecanje tjera ih da i jedna i druga mreža budu što bolje što rezultira time da generator generira realistične umjetne slike. |
| |
| | Slika ispod prikazuje arhitekturu GAN mreže. |
| |
| {{ :racfor_wiki:gan_diagram_1.png?nolink&650 |}} | {{ :racfor_wiki:gan_diagram_1.png?nolink&650 |}} |
| Postoje mnogi //machine learning// detektori koji koriste gore navedene metode kako bi uspješno klasificirali sliku ili video u klase //fake// ili //not fake//. Takve detektore koriste mnoge društvene mreže poput Twittera i Facebooka. Google pak koristi alat za konverziju teksta u govor kako bi verificirao govornika. | Postoje mnogi //machine learning// detektori koji koriste gore navedene metode kako bi uspješno klasificirali sliku ili video u klase //fake// ili //not fake//. Takve detektore koriste mnoge društvene mreže poput Twittera i Facebooka. Google pak koristi alat za konverziju teksta u govor kako bi verificirao govornika. |
| |
| Međutim, generatori //deep fake// videa sve više napreduju i rješavaju navedene nedostatke. Zbog toga je sve teže uočiti neautentične sadržaje pa se koriste sofisticiranije metode. | Međutim, generatori //deepfake// videa sve više napreduju i rješavaju navedene nedostatke. Zbog toga je sve teže uočiti neautentične sadržaje pa se koriste sofisticiranije metode. |
| Napredniji detektori koriste takozvane digitalne otiske (engl. //digital fingerprint//). Osim što originalni video može imati jedinstveni digitalni otisak koji ga razlikuje od generiranih videa, ustanovilo se da i deep fake videa, odnosno njihovi generatori, imaju svoje digitalne otiske s obzirom da svaki pojedini generator generira slike i videa na jedinstven način iz određene distribucije. | Napredniji detektori koriste takozvane digitalne otiske (engl. //digital fingerprint//). Osim što originalni video može imati jedinstveni digitalni otisak koji ga razlikuje od generiranih videa, ustanovilo se da i deepfake videa, odnosno njihovi generatori, imaju svoje digitalne otiske s obzirom da svaki pojedini generator generira slike i videa na jedinstven način iz određene distribucije. |
| |
| Alternativni način detektiranja deep fake sadržaja temelji se na korištenju modela koji procjenjuju puls, odnosno otkucaje srca osobe na slici na temelju suptilnih promjena u boji lica koje nastaju zbog protoka krvi u licu. Deepfake videa zasad ne mogu replicirati tu promjenu u boji kože zbog čega je ovo, bar zasad, dobar pristup za detekciju istih. | Alternativni način detektiranja deepfake sadržaja temelji se na korištenju modela koji procjenjuju puls, odnosno otkucaje srca osobe na slici na temelju suptilnih promjena u boji lica koje nastaju zbog protoka krvi u licu. Deepfake videa zasad ne mogu replicirati tu promjenu u boji kože zbog čega je ovo, bar zasad, dobar pristup za detekciju istih. |
| |
| ====Zaključak==== | ====Zaključak==== |
| |
| Deep fake sadržaji postali su dio ljudske svakodnevnice. Nastaju korištenjem naprednih metoda iz područja dubokog učenja koje se u zadnjih desetak godina neprestano razvija. U njima se krije velika opasnost - od uništavanja reputacije pojedinca, sabotiranja izbora do širenja propagande i socijalnog inženjeringa. Iako su deep fake videa dosad bila fokusirana na stavljanje pojedinaca u pojedina videa, već postoje tehnologije koje su u stanju na videu izmijeniti izgled okoliša, vremenskih obilježja itd. U ovom trenu, takve tehnologije nedostupne su široj javnosti. Ova činjenica treba potaknuti ljude na razmišljanje jer je jasno da je sve lakše stvoriti i proširiti lažne informacije, a u budućnosti takvih sadržaja bit će sve više. | Deepfake sadržaji postali su dio ljudske svakodnevnice. Nastaju korištenjem naprednih metoda iz područja dubokog učenja koje se u zadnjih desetak godina neprestano razvija. U njima se krije velika opasnost - od uništavanja reputacije pojedinca, sabotiranja izbora do širenja propagande i socijalnog inženjeringa. Iako su deepfake modeli dosad bila fokusirani na stavljanje lica pojedinaca u videa, već postoje tehnologije koje su u stanju na videu izmijeniti izgled okoliša, vremenskih obilježja itd. U ovom trenu, takve tehnologije nedostupne su široj javnosti. Ova činjenica treba potaknuti ljude na razmišljanje jer je jasno da je sve lakše stvoriti i proširiti lažne informacije, a u budućnosti takvih sadržaja bit će sve više. |
| |
| |
