Razlike

Slijede razlike između dviju inačica stranice.

--- racfor_wiki:seminari:tehnike_detekcije_deep_fake_videa [2023/01/12 19:17]
ss49505 [Sažetak]
+++ racfor_wiki:seminari:tehnike_detekcije_deep_fake_videa [2023/06/19 18:17] (trenutno)
@@ Redak 1: / Redak 1: @@
+===== Tehnike detekcije deep fake videa=====
 ===== Sažetak =====
+Deep fake videi su videi u kojima se lice osobe zamijeni sa licem neke druge osobe, ili se lice osobe iskrivi tak da izgleda kao da govori nešto što nije izgovarala.
+Razvitkom tehnologije sve je teže otkriti da li je video fake ili stvaran. Ovdje dolaze metode detekcije deep fake videa. Postoje razne metode a u ovom seminaru opisane su 2 metode koje su zasnovane na biološkim obilježjima, a to su metoda detekcije zasnovana na treptanju i metoda detekcije zasnovana na brzini otkucaja srca.
+Također obrađena je i metoda povezana s PRNU-om koji je na neki način otisak kamere te se pomoću njega otkriva da li je video deep fake ili stvaran.
+Obrađena je i metoda koja je zasnovana na vremenskoj konzistenciji okvira u kojoj se pomoću neuronskih mreža izdvaja lice iz videa te zatim provjerava vremenska konzistencija okvira iz videa.
+Ključne riječi: deep fake video, detekcija, metode
 ===== Uvod =====
-Budući da tehnologija deep fake videa postaje dostupna sve većoj količini korisnik, društvenim medijima proširilo se mnoštvo lažnih videozapisa. Deepfake se odnosi na manipulirane digitalne medije kao što su slike ili videozapisi gdje se slika ili video osobe zamjenjuju likom druge osobe. Zapravo, deepfake je jedan od sve ozbiljnijih problema u modernom društvu.  Deepfake se koristi za proizvodnju lažnih informacija i glasina najčešće o političarima, a također jako često i za izradu lažnih izjava/videa u kojima se uključuju slavni holivudski glumci. Ove štetne upotrebe deepfakeova mogu imati ozbiljan utjecaj na naše društvo i također mogu širenjem lažnih informacija dovesti do financijske štete nevinih osoba. Naravno deepfake se može i koristiti u bezazlene svrhe, kao što je stvaranje humorističkih videa, te obnavljanje starih fotografija ili "oživljavanje" preminulih pjevača.Jedan noviji primjer je glazbeni video Kendrick Lamar u kojem se reper preobražava u razne slavne osobe. Na slici ispod se može vidjeti Lamarova preobrazba u poznatog glumca Will Smitha.
+Budući da tehnologija deep fake videa postaje dostupna sve većoj količini korisnik, društvenim medijima proširilo se mnoštvo lažnih videozapisa. Deepfake se odnosi na manipulirane digitalne medije kao što su slike ili videozapisi gdje se slika ili video osobe zamjenjuju likom druge osobe. Zapravo, deepfake je jedan od sve ozbiljnijih problema u modernom društvu.
+Deepfake se koristi za proizvodnju lažnih informacija i glasina najčešće o političarima, a također jako često i za izradu lažnih izjava/videa u kojima se uključuju slavni holivudski glumci. Ove štetne upotrebe deepfakeova mogu imati ozbiljan utjecaj na naše društvo i također mogu širenjem lažnih informacija dovesti do financijske štete nevinih osoba. Naravno deepfake se može i koristiti u bezazlene svrhe, kao što je stvaranje humorističkih videa, te obnavljanje starih fotografija ili "oživljavanje" preminulih pjevača.Jedan noviji primjer je glazbeni video Kendrick Lamar u kojem se reper preobražava u razne slavne osobe. Na slici ispod se može vidjeti Lamarova preobrazba u poznatog glumca Will Smitha.
@@ Redak 13: / Redak 23: @@
- Nama je više zanimljivo štetno korištenje kojem se pokušava stati na kraj raznim tehnikama za detekciju deep fake videa. U nastavku ovog seminara biti će opisano nekoliko tehnika za otkrivanje deep fake videa.
+Nama je više zanimljivo štetno korištenje kojem se pokušava stati na kraj raznim tehnikama za detekciju deep fake videa. U nastavku ovog seminara bit će opisano nekoliko tehnika za otkrivanje deep fake videa.
 ===== O deep fake videima  =====
-Kako bi objasnili kako detektirati deep fake video moramo opisati kako on nastaje. Samo ime dolazi od pojma duboko učenje (deep learning). U deep fakeu algoritmi dubokog učenja koji se sami nauče kako riješiti problem na velikom skupu podataka, koriste se za izmjenu lica u videima, slikama i ostalim digitalnim sadržajima u cilju stvaranja što realnijeg sadržaja. Izrada deep fake sadržaja sastoji se od 2 algoritma koji se međusobno natječu, jedan se zove generator, a drugi diskriminator. Generator stvara lažni digitalni sadržaj i traži od diskriminatora da otkrije je li sadržaj stvaran ili umjetan. I tako diskriminator obilježi da li je sadržaj fake ili stvaran te pošalje generatoru rezultate kako bi on mogao poboljšati sljedeći deepfake.
+Kako bi objasnili kako detektirati deep fake video moramo opisati kako on nastaje. Samo ime dolazi od pojma duboko učenje (deep learning). U deep fakeu algoritmi dubokog učenja koji se sami nauče kako riješiti problem na velikom skupu podataka, koriste se za izmjenu lica u videima, slikama i ostalim digitalnim sadržajima u cilju stvaranja što realnijeg sadržaja.
+Izrada deep fake sadržaja sastoji se od 2 algoritma koji se međusobno natječu, jedan se zove generator, a drugi diskriminator. Generator stvara lažni digitalni sadržaj i traži od diskriminatora da otkrije je li sadržaj stvaran ili umjetan. I tako diskriminator obilježi da li je sadržaj fake ili stvaran te pošalje generatoru rezultate kako bi on mogao poboljšati sljedeći deepfake.
 ===== O metodama detekcije =====
-Deep fake videi kreirani su pomoću umjetne inteligencije, a također njihova detekcija se također zasniva na umjetnoj inteligenciji. Točnije različitim algoritmima koji pomoću poznatog seta podataka na različite načine nauče prepoznati deep fake video. Sve metode se zasnivaju na pronalasku nesavršenosti, tj. grešaka u deep fake videima kao što su nedostatak treptanja, nedostatak odsjaja u očima, oblik usta tijekom govora i sl. U nastavku ćemo objasniti par metoda.
+Deep fake videi kreirani su pomoću umjetne inteligencije, a njihova detekcija se također zasniva na umjetnoj inteligenciji. Točnije različitim algoritmima koji pomoću poznatog seta podataka na različite načine nauče prepoznati deep fake video. Sve metode se zasnivaju na pronalasku nesavršenosti, tj. grešaka u deep fake videima kao što su nedostatak treptanja, nedostatak odsjaja u očima, oblik usta tijekom govora i sl. U nastavku ćemo objasniti par metoda.
-Budući da se trenutne metode uglavnom temeljene na dubokom učenju one uvelike ovise o količini podataka, te o izgradnji skupova podataka visoke kvalitete. Kako se deepfake algoritmi razvijaju, novi skupovi podataka biti će potrebni za razvoj naprednih algoritama za suprotstavljanje novim metodama manipulacije.
+Budući da se trenutne metode uglavnom temeljene na dubokom učenju one uvelike ovise o količini podataka, te o izgradnji skupova podataka visoke kvalitete. Kako se deepfake algoritmi razvijaju, novi skupovi podataka bit će potrebni za razvoj naprednih algoritama za suprotstavljanje novim metodama manipulacije.
@@ Redak 36: / Redak 48: @@
 ===== Metode zasnovane na vremenskoj konzistenciji=====
-Ova metoda se provodi u dvije faze. Prva faza uključuje korištenje CNN-a (convolutional neural network) za izdvajanje lica iz svakog okvira videa. Lice se izreže te se poravna/centrira jer to pomaže za prepoznavanje u slijedećem koraku.
+Ova metoda se provodi u dvije faze. Prva faza uključuje korištenje CNN-a (convolutional neural network) za izdvajanje lica iz svakog okvira videa. Lice se izreže te se poravna/centrira jer to pomaže za prepoznavanje u sljedećem koraku.
-Naime radi zamjene lica može doći do narušavanja sličnosti okvira a to je točno ono što i tražimo i zato  slijedi druga faza u kojoj CNN sa LSTM(Long short-term memory) pokušava otkriti vremenske nepravilnosti proizvedene tijekom postupka zamjene lica. Ako su uočene nepravilnosti video se označuje kao fake.
+Naime radi zamjene lica može doći do narušavanja sličnosti okvira a to je točno ono što i tražimo i zato  slijedi druga faza u kojoj CNN sa LSTM(Long short-term memory) pokušava otkriti vremenske nepravilnosti proizvedene tijekom postupka zamjene lica uspoređujući izrezano lice sa svojim skupom podataka. Ako su uočene nepravilnosti video se označuje kao fake.
 {{:racfor_wiki:seminari:pic3.png?650|}}
-U članku [3] je provedena studija koja je koristeči skup podataka od 600 videozapisa, od kojih je polovica prikupljena s raznih web stranica za video hosting, dok je ostalih 300
+U članku [3] je provedena studija koja je koristeći skup podataka od 600 videozapisa, od kojih je polovica prikupljena s raznih web stranica za video hosting, dok je ostalih 300
-slučajni odabiri iz skupa podataka HOHA. Rezultati su pokazali da se ovim pristupom može postiče točnost od čak 97,1% otkrivanja fake videa.
+slučajni odabiri iz skupa podataka HOHA. Rezultati su pokazali da se ovim pristupom postiže točnost od čak 97,1% otkrivanja fake videa.
 ===== Metode zasnovane na treptanju=====
-Treptanje je poznato kao temeljna biološka funkcija koju je iznimno teško oponašati u deepfake video zapisima. S prosječnom stopom od 4,5 treptaja u sekundi i trajanjem treptaja  od 0,1 do 0,4 sekunde, većina skupova podataka za obuku videozapisa koji se koriste za detekciju deep fakea ima mali broj lica sa zatvorenim očima. Stoga nedostatak treptanja očima može biti obećavajući pokazatelj deepfake videa.U članku [4] proučeno je  korištenjem dugotrajne rekurentne konvolucijske mreže (LCRN) za integraciju vremenskog odnosa između video okvira od trenutka kada se oko otvori do trenutka kada se zatvori. Njihova predobrada uključivala je lociranje orijentacije lica pomoću detektora lica i uklanjanje pozadine oko očiju, prvi korak je sličan kao i kod prethodne metode.
+Treptanje je poznato kao temeljna biološka funkcija koju je iznimno teško oponašati u deepfake video zapisima. S prosječnom stopom od 4,5 treptaja u sekundi i trajanjem treptaja  od 0,1 do 0,4 sekunde, većina skupova podataka za obuku videozapisa koji se koriste za detekciju deep fakea ima mali broj lica sa zatvorenim očima. Stoga nedostatak treptanja očima može biti obećavajući pokazatelj deepfake videa. U članku [4] proučeno je  korištenjem dugotrajne rekurentne konvolucijske mreže (LCRN) za integraciju vremenskog odnosa između video okvira od trenutka kada se oko otvori do trenutka kada se zatvori. Njihova predobrada uključivala je lociranje orijentacije lica pomoću detektora lica i uklanjanje pozadine oko očiju, prvi korak je sličan kao i kod prethodne metode.
 {{:racfor_wiki:seminari:pic5.png?400| }}
@@ Redak 72: / Redak 84: @@
 Deep fake videi postaju sve veći problem jer se ljudskim okom teško prepozna razlika između stvarnog i fake videa te time videi gube na vjerodostojnosti jer ne znamo da li su stvarni ili ne.
-Razvitkom tehnologije poboljšava se izrada deep fake videa, te se taj razvoj mora pratiti  i novim tehnologijama koje će uspijevati stati na kraj deep fakeu. Kreativnosti u vezi deep fakea nema kraja te se detekciji treba pokušati pristupiti na sve moguće naćine.
+Razvitkom tehnologije poboljšava se izrada deep fake videa, te se taj razvoj mora pratiti  i novim tehnologijama koje će uspijevati stati na kraj deep fakeu. Kreativnosti u vezi deep fakea nema kraja te se detekciji treba pokušati pristupiti na sve moguće načine. Veliki naglasak kod detekciju je potreba za velikim i kvalitetnim skupom podataka.
 ===== Literatura =====
@@ Redak 81: / Redak 93: @@
 for Face Manipulation Detection in Videos]]
-[3] [[https://www.mdpi.com/1424-8220/22/4556/pdf|Hina Fatima Shahzad,Furqan Rustam,Emmanuel Soriano Flores,Juan Luís Vidal Mazón,Isabel de la Torre Diez , and Imran Ashraf:A Review of Image Processing Techniques for Deepfakes]]
+[3] [[https://pubmed.ncbi.nlm.nih.gov/35746333/|Hina Fatima Shahzad,Furqan Rustam,Emmanuel Soriano Flores,Juan Luís Vidal Mazón,Isabel de la Torre Diez , and Imran Ashraf:A Review of Image Processing Techniques for Deepfakes]]
 [4][[https://www.arxiv-vanity.com/papers/2007.08517/#:~:text=2.3%20Eye%20Blinking&text=With%20an%20average%20rate%20of,indicator%20of%20a%20deepfake%20video.|Armaan Pishori

racfor_wiki/seminari/tehnike_detekcije_deep_fake_videa.1673547444.txt.gz · Zadnja izmjena: 2023/06/19 18:15 (vanjsko uređivanje)