U ovom seminarskom radu govoriti ćemo o detekciji brisanja okvira u digitalnom videu. Uvod će nam poslužiti kao pregled potencijalnih opasnosti i posljedica mijenjanja videa brisanjem okvira. Prikazati ćemo jedan primjer mijenjanja digitalnog videa. Zatim ćemo reći osnovne pojmove o video kodiranju da bi mogli lakše pratiti daljni sadržaj seminara. U idućem poglavlju ćemo navesti pregled radova na ovu temu unazad petnaestak godina. U pregledu neće biti pojedinosti navedenih radova, nego samo ključne ideje. Za one koji žele znati više naveli smo popis radova koje smo koristili pa ih upućujemo na daljnje čitanje. U poglavlju nakon, stavili smo naglasak na jednu od novijih (ako ne i najnoviju) metodu otkrivanja brisanja okvira baziranu na algoritmima strojnog učenja koja će se za primjere iz izvedenih eksprerimenata pokazati uvelike preciznom. Na kraju ćemo skrenuti pozornost na anti-forenzičke tehnike i reći zašto je važno uzeti u obzir mogućnost prikrivanja tragova.

Zbog velike popularnosti softvera za uređivanje videa, potvrđivanje autentičnosti medijskih sadržaja od velike je važnosti. U svrhu prikrivanja pojave neke incidencije, nadzorne snimke se mogu lako mijenjati i preinačiti pa se redoslijed okvira koji označava neku nezakonitu aktivnost može ukloniti iz spomenutog isječka. Digitalni video često upotrebljavaju mediji u svrhe izvještavanja, ali i policija kao dokaz odvijanja određenih događaja, a koriste ga i pravne institucije te vladine organizacije. Nadalje, mnogi sustavi videonadzora snimaju snimke koristeći digitalni video zbog njegove lakoće pohranjivanja, ali, nažalost, oslanjanje na digitalni video u primjenama gdje je autentičnost videa od kritične važnosti zakomplicirano je činjenicom da se digitalni video lako izmanipulira i promijeni pomoću softvera za uređivanje videa. U mnogim slučajevima značenje videa bi se moglo izobličiti kao posljedica uklanjana, repliciranja ili umetanja grupe okvira. Od posebne je važnosti detekcija brisanja video okvira. Primjerice, takav napad se pokazuje iznimno opasnim u kontekstima poput video nadzora gdje bi eliminiranje grupe okvira moglo takav jedan video učiniti potpuno beskorisnim. Kod neovlaštenog brisanja okvira, krivotvoritelj briše neke od okvira iz ciljanog videa kako bi prikrio neki događaj ili prisutnost nekog objekta na snimci. Na slici 1. u prvom redu vidimo izvorni video na kojem osoba ulazi u zgradu, a u drugom redu neki su okviri uklonjeni iz autentičnog niza kako bi se prikrio događaj ulaska te osobe u zgradu. Slično tome, krivotvoritelj bi mogao željeti krivotvoriti neki događaj umetanjem nekoliko novih okvira u izvorni niz okvira. Ljudsko oko teško može razlikovati izvorni video od promijenjenog. U svrhu potvrđivanja autentičnosti digitalnih video datoteka, razvijene su forenzičke tehnike koje otkrivaju manipulaciju nad videom i identificiraju krivotvorenja digitalnih videa.

Digitalni video je u osnovi slijed slika (okvira) snimljenih prilično visokom brzinom (tipične vrijednosti su 25 ili 30 slika u sekundi). Rezultirajući signal može se prikladno komprimirati redukcijom prostorne i vremenske redundancije. Neki algoritmi video kodiranja poput MPEG-2 , MPEG-4 i H.264 koriste pristup hibridnog video kodiranja temeljenog na bloku i dijele slike u različite vrste: intra-kodirane slike, tzv I-okviri i prediktivno kodirane slike, obično nazvane P-okviri i B-okviri. Tijekom kodiranja, slike se grupiraju u grupe slika(okvira), koje skraćeno nazivamo GOP (group of pictures), prema strukturi koja uvijek počinje I-okvirom, a zatim dopušta određeni broj prediktivnih okvira. Prilikom kodiranja okvira, koder ih dijeli u makroblokove (MB) i kodira svaki MB zasebno. Detekciju krivotvorenja videa možemo razdvojiti u dvije kategorije: intra-okvirna detekcija krivotvorenja i inter-okvirna detekcija krivotvorenja. Budući da su ta dva načina različita, njima se u istraživanju mora pristupiti koristeći različite, odnosno zasebne tehnike. Intra-okvirno krivotvorenje slično je krivotvorenju statičke slike primjenjivanjem manipulacije uređivanjem na okvir videa u prostornoj domeni. Stoga se metode forenzike slike mogu direktno koristiti i na intra-okvirnu detekciju krivotvorenja. Što se tiče inter-okvirne detekcije krivotvorenja, ona cilja utvrditi ima li krivotvorenja unutar vremenske domene, primjerice ima li brisanja okvira (frame deletion,FD), umetanja ili repliciranja okvira u vremenskom slijedu videa. Kao tipičan zahvat krivotvorenja unutar vremenske domene, FD uključuje uklanjanje nekoliko okvira u sredini niza okvira. Na ovaj način, neki sadržaji bi se zlonamjerno obrisali kako bi se prikrile neke određene činjenice. Kako bi se videe učinilo vjerodostojnim pružateljima činjenica i informacija, istražitelji se koncentriraju na detekciju FD-a.

U literaturi se predlaže mnogo značajnih istraživačkih radova za detekciju krivotvorenja brisanjem okvira. Prvi forenzički trag za detekciju FD-a istražili su Wang i Farid u [1] na temelju pretpostavke da će nakon izvršenog krivotvorenja nad videom uslijediti rekompresija videa. Rekompresija vodi do desinkronizacije na grupi slika (GOP) i uništava njenu podrazumijevanu periodičnost. Na temelju ovog traga implementirani su brojni algoritmi na komprimirane videe. Su i ostali koristili su MCEA (Motion Compensated Edge Artifacts) artefakte za detekciju brisanja okvira u videu [2]. Chao i ostali detektirali su krivotvorenje umetanjem i brisanjem okvira u videu korištenjem nekonzistentnosti u optičkom toku susjednih okvira [3]. Međutim, tehnika je neefikasna za statične scene. Za detekciju krivotvorenja brisanjem i umetanjem između okvira Zhang i ostali predložili su tehniku temeljenu na LBP-u (lokalnom binarnom uzorku) sivih okvira. Međutim, pristup ne radi kad je broj obrisanih okvira mali [4]. Shanableh je predložio detekciju brisanja okvira korištenjem pristupa temeljenog na strojnom učenju [5]. Niz razlikovnih kodirajućih značajki kao što su rezidualna energija, postotak intra kodiranih makroblokova, kvantizacijska skala i PSNR omjer izvučeni su iz P i B okvira toka podataka čime su trenirani modeli SVM,k-NN i logistička regresija. Ova metoda pogodna je za videe kodirane određenim standardima za kodiranje. Drugi pristup baziran na strojnom učenju predložili su Jaiswal i Dhavale u [6]. Stroj potpornih vektora (SVM) korišten je na vektoru značajki generiranom iz DCT, DWT i DFT domene za karakterizaciju predikcije pogreške sekvence (PES) za otkrivanje brisanja i umetanja okvira. Međutim, za testiranje performansi modela korišten je mali set podataka. He i ostali uveli su konvolucijsku neuronsku mrežu gdje predloženi model detektira relocirane I-okvire u dvostruko komprimiranim H.264/AVC videima [7]. Ali, dvostruko (ili čak višestruko) komprimiranje nije uvijek slučaj krivotvorenja. U tom radu modeli strojnog učenja primjenjeni su na specifične značajke kodeka, što ograničava primjenjivost na pojedine videe kodirane s određenim kodekom. U idućem poglavlju vidjet ćemo pristup koji koristi snagu algoritama strojnog učenja na značajkama iz statističke domene.

U radu [8] predloženi su modeli strojnog učenja bazirani na nekim značajkama koji služe za detekciju mijenjanja videa koje se postiže brisanjem okvira. Izvedene su značajke temeljene na deltama koeficijenta korelacije između susjednih okvira te su unesene u tri modela . Analizira se njihovo izvršavanje klasifikacije za detekciju krivotvorenja videa brisanjem okvira. Istražuje se nekonzistentnost u korelacijama između susjednih okvira koja se javlja kad su okviri ispušteni iz kontinuiranog niza. Posljedično, korelacijski uzorak originalnog videa i krivotvorenog videa se malo razlikuju. Koriste se tri modela strojnog učenja, stroj potpornih vektora(Support Vector Machine (SVM)), višeslojni perceptron(Multilayer Perceptron (MLP)) i konvolucijske neuronske mreže (Convolution Neutral Network (CNN)) koji su implementirani kako bi predvidjeli autentičnost video snimaka. Provedeni su eksperimenti na velikom setu podataka koji se sastoji od 600 videa s obrisanih 25, odnosno 100 okvira. Zbog toga što je razlika u korelacijama između udaljenih okvira veća, točnost kod brisanja 100 okvira je puno viša od one za 25 okvira. Predložen CNN model nadmašuje sve druge metode klasifikacije. Rezultati pokazuju da CNN model može klasificirati autentične i krivotvorene sekvence s točnošću od 97% za obrisanih 100 okvira. (OVDJE STAVIM TABLICE) Povećanje detekcijskih i lokalizacijskih mogućnosti postojećih forenzičkih alata, kao i fokusiranje na druge vrste inter-okvirnog i intra-okvirnog krivotvorenja videa, nešto je na što će se u budućim istraživanjima stavljati naglasak.

Wang i Farid u njihovom su radu [1], demonstrirali da brisanje ili dodavanje okvira popraćeno rekompresijom ostavlja trag koji se može forenzički otkriti u MPEG videu. Iako su postojeće digitalne forenzičke tehnike dizajnirane da identificiraju digitalne krivotvorine čak i kad je krivotvorenje ljudima perceptivno neprimjetno, one ne razmatraju mogućnost da bi krivotvoritelji mogli dizajnirati i koristiti anti-forenzičke postupke kako bi uklonili dokaze svog krivotvorenja. Ovo predstavlja problem jer će uspješno dizajnirani anti-forenzički algoritmi omogućiti krivotvoriteljima da stvaraju krivotvorine koje se forenzički ne mogu otkriti. Kad forenzičari ne bi bili svjesni postojanja određenih anti-forenzičkih zahvata, previše bi vjerovati forenzičkim rezultatima koji bi upućivali na to da je ispitivani digitalni sadržaj uistinu autentičan. Jedna od predloženih anti-forenzičkih tehnika radi tako da selektivno povećava pogrešku predikcije u određenim P-okvirima videa tako da niz pogrešaka predikcije P-okvira aproksimira ciljani niz predikcijskih pogrešaka dobiven koristeći model u [9]. Predikcijska pogreška u svakom P-okviru povećava se postavljanjem vektora pokreta određenih makroblokova unutar tog okvira na nulu te zatim ponovnog računanja predikcijske pogreške za taj okvir.

Sve većem broju ljudi dostupni su alati koji mogu mijenjati digitalni video. Mediji, policija, pravne institucije i ostali koriste ga kako bi prenosili neke, ponekad jako važne informacije. Razvijanje tehnika i alata za detekciju brisanja,umetanja i repliciranja okvira važno je kako bi se mogla potvrditi izvornost sadržaja videa. Važno je obratiti pozornost i na tehnike kojima se mogu prikriti tragovi. Pretpostavlja se da će daljnje razvijanje ovog područja temeljiti na modelima strojnog učenja.

[1] W. Wang and H. Farid, ‘‘Exposing digital forgeries in video by detecting double MPEG compression,’’ in Proc. 8th Workshop Multimedia Secur. (MM&Sec), New York, NY, USA, 2006, pp. 37–47. [2] Y. Su, J. Zhang and J. Liu, “Exposing digital video forgery by detecting motion-compensated edge artifact”, In: International conference on computational intelligence and software engineering, pp. 1–4, 2009. [3] J. Chao, X. Jiang and T. Sun, “A novel video inter-frame forgery model detection scheme based on optical flow consistency”, In: Proceedings of the 11th international conference on digital forensics and watermaking, IWDW’12, Springer, Berlin, pp. 267–281, 2013. [4] Z. Zhang, J. Hou and Q. Ma, “Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames” Secur Commun Network, vol 8, no. 2, pp. 311–320, 2015. [5] T. Shanableh, “Detection of frame deletion for digital video forensics” Digital Investigation, vol. 10, no. 4, pp. 350–360. [6] S. Jaiswal and S. Dhavale, “Video forensics in temporal domain using machine learning techniques”, International Journal of Computer Network and Information Security, vol. 5, no. 9, pp. 58–67, 2013. [7] P. He, X. Jiang, T. Sun, S. Wang, B. Li, and Y. Dong, “Frame-wise detection of relocated i-frames in double compressed H.264 videos based on convolutional neural network”, Journal of Visual Communication and Image Representation, vol. 48, pp.149 – 158, Oct 2017. [8] N.Singla, J. Singh, S. Nagpal, “Video frame deletion detection using correlation coefficients”, 8th International Conference on Signal Processing and Integrated Networks (SPIN), 2021. [9] Matthew C. Stamm and K. J. Ray Liu, “ANTI-FORENSICS for frame deletion/addition in MPEG video”, Dept. of Electrical and Computer Engineering, University of Maryland, College Park, 2011. [10] S. Li, H. Huo, “Frame deletion based on optical flow orientation variation”, Department of Information Technology and Cyber Security, People’s Public Security University of China, Beijing, IEEE, 2021.