| Starije izmjene na obje strane
Starija izmjena
Novija izmjena
|
Starija izmjena
|
racfor_wiki:seminari:tehnike_detekcije_deep_fake_videa [2023/01/12 19:33]
ss49505 [Metode zasnovane na vremenskoj konzistenciji] |
racfor_wiki:seminari:tehnike_detekcije_deep_fake_videa [2023/06/19 18:17] (trenutno)
|
| |
| ===== O metodama detekcije ===== | ===== O metodama detekcije ===== |
| Deep fake videi kreirani su pomoću umjetne inteligencije, a također njihova detekcija se također zasniva na umjetnoj inteligenciji. Točnije različitim algoritmima koji pomoću poznatog seta podataka na različite načine nauče prepoznati deep fake video. Sve metode se zasnivaju na pronalasku nesavršenosti, tj. grešaka u deep fake videima kao što su nedostatak treptanja, nedostatak odsjaja u očima, oblik usta tijekom govora i sl. U nastavku ćemo objasniti par metoda. | Deep fake videi kreirani su pomoću umjetne inteligencije, a njihova detekcija se također zasniva na umjetnoj inteligenciji. Točnije različitim algoritmima koji pomoću poznatog seta podataka na različite načine nauče prepoznati deep fake video. Sve metode se zasnivaju na pronalasku nesavršenosti, tj. grešaka u deep fake videima kao što su nedostatak treptanja, nedostatak odsjaja u očima, oblik usta tijekom govora i sl. U nastavku ćemo objasniti par metoda. |
| |
| |
| Ova metoda se provodi u dvije faze. Prva faza uključuje korištenje CNN-a (convolutional neural network) za izdvajanje lica iz svakog okvira videa. Lice se izreže te se poravna/centrira jer to pomaže za prepoznavanje u sljedećem koraku. | Ova metoda se provodi u dvije faze. Prva faza uključuje korištenje CNN-a (convolutional neural network) za izdvajanje lica iz svakog okvira videa. Lice se izreže te se poravna/centrira jer to pomaže za prepoznavanje u sljedećem koraku. |
| |
| Naime radi zamjene lica može doći do narušavanja sličnosti okvira a to je točno ono što i tražimo i zato slijedi druga faza u kojoj CNN sa LSTM(Long short-term memory) pokušava otkriti vremenske nepravilnosti proizvedene tijekom postupka zamjene lica. Ako su uočene nepravilnosti video se označuje kao fake. | Naime radi zamjene lica može doći do narušavanja sličnosti okvira a to je točno ono što i tražimo i zato slijedi druga faza u kojoj CNN sa LSTM(Long short-term memory) pokušava otkriti vremenske nepravilnosti proizvedene tijekom postupka zamjene lica uspoređujući izrezano lice sa svojim skupom podataka. Ako su uočene nepravilnosti video se označuje kao fake. |
| |
| {{:racfor_wiki:seminari:pic3.png?650|}} | {{:racfor_wiki:seminari:pic3.png?650|}} |
| |
| |
| U članku [3] je provedena studija koja je koristeči skup podataka od 600 videozapisa, od kojih je polovica prikupljena s raznih web stranica za video hosting, dok je ostalih 300 | U članku [3] je provedena studija koja je koristeći skup podataka od 600 videozapisa, od kojih je polovica prikupljena s raznih web stranica za video hosting, dok je ostalih 300 |
| slučajni odabiri iz skupa podataka HOHA. Rezultati su pokazali da se ovim pristupom može postiče točnost od čak 97,1% otkrivanja fake videa. | slučajni odabiri iz skupa podataka HOHA. Rezultati su pokazali da se ovim pristupom postiže točnost od čak 97,1% otkrivanja fake videa. |
| |
| ===== Metode zasnovane na treptanju===== | ===== Metode zasnovane na treptanju===== |
| Treptanje je poznato kao temeljna biološka funkcija koju je iznimno teško oponašati u deepfake video zapisima. S prosječnom stopom od 4,5 treptaja u sekundi i trajanjem treptaja od 0,1 do 0,4 sekunde, većina skupova podataka za obuku videozapisa koji se koriste za detekciju deep fakea ima mali broj lica sa zatvorenim očima. Stoga nedostatak treptanja očima može biti obećavajući pokazatelj deepfake videa.U članku [4] proučeno je korištenjem dugotrajne rekurentne konvolucijske mreže (LCRN) za integraciju vremenskog odnosa između video okvira od trenutka kada se oko otvori do trenutka kada se zatvori. Njihova predobrada uključivala je lociranje orijentacije lica pomoću detektora lica i uklanjanje pozadine oko očiju, prvi korak je sličan kao i kod prethodne metode. | Treptanje je poznato kao temeljna biološka funkcija koju je iznimno teško oponašati u deepfake video zapisima. S prosječnom stopom od 4,5 treptaja u sekundi i trajanjem treptaja od 0,1 do 0,4 sekunde, većina skupova podataka za obuku videozapisa koji se koriste za detekciju deep fakea ima mali broj lica sa zatvorenim očima. Stoga nedostatak treptanja očima može biti obećavajući pokazatelj deepfake videa. U članku [4] proučeno je korištenjem dugotrajne rekurentne konvolucijske mreže (LCRN) za integraciju vremenskog odnosa između video okvira od trenutka kada se oko otvori do trenutka kada se zatvori. Njihova predobrada uključivala je lociranje orijentacije lica pomoću detektora lica i uklanjanje pozadine oko očiju, prvi korak je sličan kao i kod prethodne metode. |
| |
| {{:racfor_wiki:seminari:pic5.png?400| }} | {{:racfor_wiki:seminari:pic5.png?400| }} |
| Deep fake videi postaju sve veći problem jer se ljudskim okom teško prepozna razlika između stvarnog i fake videa te time videi gube na vjerodostojnosti jer ne znamo da li su stvarni ili ne. | Deep fake videi postaju sve veći problem jer se ljudskim okom teško prepozna razlika između stvarnog i fake videa te time videi gube na vjerodostojnosti jer ne znamo da li su stvarni ili ne. |
| |
| Razvitkom tehnologije poboljšava se izrada deep fake videa, te se taj razvoj mora pratiti i novim tehnologijama koje će uspijevati stati na kraj deep fakeu. Kreativnosti u vezi deep fakea nema kraja te se detekciji treba pokušati pristupiti na sve moguće naćine. | Razvitkom tehnologije poboljšava se izrada deep fake videa, te se taj razvoj mora pratiti i novim tehnologijama koje će uspijevati stati na kraj deep fakeu. Kreativnosti u vezi deep fakea nema kraja te se detekciji treba pokušati pristupiti na sve moguće načine. Veliki naglasak kod detekciju je potreba za velikim i kvalitetnim skupom podataka. |
| ===== Literatura ===== | ===== Literatura ===== |
| |
| for Face Manipulation Detection in Videos]] | for Face Manipulation Detection in Videos]] |
| |
| [3] [[https://www.mdpi.com/1424-8220/22/4556/pdf|Hina Fatima Shahzad,Furqan Rustam,Emmanuel Soriano Flores,Juan Luís Vidal Mazón,Isabel de la Torre Diez , and Imran Ashraf:A Review of Image Processing Techniques for Deepfakes]] | [3] [[https://pubmed.ncbi.nlm.nih.gov/35746333/|Hina Fatima Shahzad,Furqan Rustam,Emmanuel Soriano Flores,Juan Luís Vidal Mazón,Isabel de la Torre Diez , and Imran Ashraf:A Review of Image Processing Techniques for Deepfakes]] |
| |
| [4][[https://www.arxiv-vanity.com/papers/2007.08517/#:~:text=2.3%20Eye%20Blinking&text=With%20an%20average%20rate%20of,indicator%20of%20a%20deepfake%20video.|Armaan Pishori | [4][[https://www.arxiv-vanity.com/papers/2007.08517/#:~:text=2.3%20Eye%20Blinking&text=With%20an%20average%20rate%20of,indicator%20of%20a%20deepfake%20video.|Armaan Pishori |
