Razlike

Slijede razlike između dviju inačica stranice.

--- racfor_wiki:fdd:hyperresolution_tehnike [2022/06/08 16:59]
lbago [1. Rezolucija]
+++ racfor_wiki:fdd:hyperresolution_tehnike [2024/12/05 12:24] (trenutno)
@@ Redak 8: / Redak 8: @@
 ===== 2. Super rezolucija u forenzici =====
-===== 2. Tehnike hiper rezolucije =====
+Informacije koje se stječu iz digitalnih slika i videa mogu biti jako dragocjene u polju forenzičke znanosti. Ti medijski zapisi prikupljaju se s nadzornih snimki ili snimki promatrača nekog incidenta te se mogu koristiti kao dokazi u sudskim procesima. Neizbježan problem koji se pojavljuje jest što su slike i videi prikupljeni na taj način najčešće loše kvalitete, odnosno niske rezolucije (engl. LR). Slika niske rezolucije može biti rezultat fizičkih ograničenja kamere kojom je snimana ili rezultat procesuiranja slike nakon snimanja, npr. postupkom kompresije slike s ciljem uštede memorijskog prostora, ona gubi određen dio informacija. To se često događa kod slika snimljenih pametnim telefonima. Kako bi se povratilo što više informacija iz tih LR (nisko rezolucijskih) slika, poželjna je pretvorba u HR (visoko rezolucijske) slike. Rješenje je primjena super rezolucije. S obzirom da je cilj postići vizualno ugodniju sliku ljudskom oku, često su u cijeli proces uključeni i ljudi kako bi dodatno procijenili kvalitetu slika. Postoje razne metode procjene kvalitete te se koriste ovisno o cilju koji se želi postići. Slijedno tome, drugačije se metode primjenjuju na slike snimljene nadzornom kamerom i one snimljene pametnim telefonom.
+S porastom popularnosti raznih kriminalističkih i forenzičkih emisija, porasla su i očekivanja o sposobnostima forenzičke znanosti u kontekstu procesuiranja slika i videozapisa koji se prezentiraju kao dokazi na sudu. Takve emisije često glorificiraju forenziku pridjeljujući joj nepostojeće i nemoguće vještine što zasigurno utječe na percepciju javnosti o dotičnoj znanosti. Jednim istraživanjem pokazano je kako su gledatelji tih emisija puno kritičniji prema prezentiranim dokazima te ih češće smatraju nepouzdanima i manje vjerodostojnima nego oni koji ne gledaju kriminalističke serije. To se naziva CSI efekt. U stvarnim istragama nije tako lako pronaći registracijske tablice s početno nečitljive slike ili provući neki uzorak kroz bazu podataka te u nekoliko sekundi riješiti slučaj. Postoje ograničenja u poboljšavanju kvalitete slika, ali i dodatna ograničenja u dopuštenim alteracijama bez obzira na mogućnosti neke tehnike. Naime, tehnike koje se primjenjuju u povećanju kvalitete slika podrazumijevaju mijenjanje podataka i informacija u slici, a kao što znamo, u forenzici je točnost informacija važnija od ijedne druge komponente i treba ju očuvati. Stoga, iako je neka slika nakon procesuiranja možda ugodnija ljudskom oku, u forenzici je važnija ona originalna zbog informacija koje nosi. Kada bi se ipak odlučilo primijeniti neku tehniku na izvornu sliku, treba odabrati onu koja radi minimalne promjene, tj. koja radi najmanje pretpostavke.
+===== 3. SISR vs. MISR =====
+Postoje dvije osnovne grupe super rezolucijskih tehnika, a to su SISR i MISR. SISR (engl. Single-Image Super-Resolution) uključuje postizanje visoke rezolucije iz samo jedne izvorne slike niske rezolucije, dok MISR (engl. Multiple-Image Super-Resolution) upotrebljava više nisko rezolucijskih slika (engl. LR) iste scene kako bi se dobila slika visoke rezolucije (engl. HR). Obje se metode mogu primijeniti na slike ručno ili se mogu koristiti neuronske mreže.
+SISR tehnike koriste se kad na raspolaganju imamo samo jednu originalnu sliku, a mogu se dalje podijeliti u dvije skupine tehnika, one koje se izvode pomoću interpolacije i one temeljene na učenju, točnije strojnom učenju. Interpolaciju smo već spomenuli kao jednu od tradicionalnih metoda, a strojnog učenja ćemo se dotaknuti u nastavku rada. Kada na raspolaganju imamo više dostupnih slika, na primjer, kada više kamera s gotovo iste točke pogleda snimi istu scenu, možemo primijeniti MISR tehnike. Osim toga, MISR se primjenjuje i kada na raspolaganju imamo videozapis koji je zapravo skup velikog broja slika. Tako jedan okvir neke video sekvence može sadržavati mnogo malo posmaknutih ili rotiranih nisko rezolucijskih slika danog objekta iz kojih se mogu rekonstruirati detalji koji nedostaju.
+Postoje razna mišljenja u vezi ovih tehnika te koja je od njih superiornija. Tako neki smatraju SISR tehnike boljima zbog visoke učinkovitosti. No, visoko rezolucijske slike nastale pomoću MISR tehnika bazirane su na većem broju dostupnih podataka pa se stoga manje podataka o slici pogađa i procjenjuje iz ulaznih slika, kao u slučaju SISR tehnika. Što se tiče forenzike, već je spomenuto kako treba koristiti metode koje što manje mijenjaju informacije iz slike pa bi stoga bilo primjereno zaključiti kako su MISR tehnike prikladnije.
+===== 4. Uvod u hiper rezoluciju =====
+Super rezolucija slika je tehnika koja se koristi za poboljšavanje rezolucije slike, odnosno za postizanje visoke rezolucije (engl. high resolution, HR) iz slika niske rezolucije (engl. low resolution, LR). Hiper rezolucija predstavlja novu tehniku super rezolucijske rekonstrukcije slika. Temelji se na usklađivanju pojedinosti ciljane slike niske rezolucije s pripadajućim pojedinostima visoke rezolucije iz baze podataka slika. Ova tehnika ima široku primjenu u različitim važnim područjima kao što je medicina, gdje snimanje snimki magnetske rezonance (MRI) visoke razlučivosti može biti dugotrajno i nezgodno zbog vremena skeniranja te omjera signala i šuma. Hiper rezolucija u ovom slučaju pruža mogućnost generiranja snimki magnetske rezonance visoke rezolucije iz MRI snimki niske rezolucije. Također, hiper rezolucija se primjenjuje za otkrivanje, prepoznavanje i izvođenje prepoznavanja lica na slikama niske rezolucije dobivenih na sigurnosnim kamerama. Osim toga, hiper rezolucija se koristi i za smanjenje troškova prijenosa podataka sa servera tako što omogućuje da se mediji prenose u nižoj rezoluciji nakon čega se kasnijom primjenom hiper rezolucije dobije medij više rezolucije.
+===== 5. Neuronske mreže =====
+Postoji mnogo metoda za postizanje visoko rezolucijskih (HR) slika iz jedne ili više nisko rezolucijskih (LR) slika među kojima su interpolacija k-najbližih susjeda, bilinearna interpolacija, bikubna interpolacija, transponirani konvolucijski sloj, subpikselski sloj itd. Ove metode mogu se primijeniti ručno, ali i uz pomoć neuronskih mreža koje su trenirane da pretvore LR slike u HR slike. S obzirom da su neuronske mreže jedan od algoritama strojnog učenja, to podrazumijeva postojanje barem dvaju skupova podataka. To su skup za učenje i skup za testiranje. Sam naziv oba skupa indicira čemu služe. Na skupu za učenje učimo, tj. treniramo model, a zatim pomoću tog modela radimo predikciju na skupu za testiranje, na kojem računamo točnost ili pogrješku predikcije. Skup za učenje podrazumijeva podatke koji su nam već poznati, a s obzirom da se radi o nadziranom učenju kao vrsti strojnog učenja, na raspolaganju imamo podatke u obliku (ulaz, izlaz). Pritom je ulaz LR slika, a izlaz je njena HR verzija. Neuronska mreža se trenira tako da se uzme LR verzija slike iz skupa za učenje na temelju koje se napravi njena HR verzija te se onda računa funkcija gubitka. Funkcija gubitka govori koliko dobro mreža predviđa izlaz uspoređujući HR sliku koju je proizvela s onom koju već imamo u skupu za učenje. Mreža se dalje optimizira s ciljem minimiziranja funkcije gubitka. Nakon što naučimo mrežu na tom skupu podataka, dobijemo skup za testiranje u kojem su ponuđeni samo ulazi, a neuronska mreža mora odrediti pripadajuće izlaze, tj. predvidjeti ih.
+===== 6. Tehnike hiper rezolucije =====
 Slike niske rezolucije mogu se modelirati u slike visoke rezolucije koristeći formulu prikazanu na slici. Oznaka D predstavlja funkciju degradacije, Ix  označava sliku niske rezolucije, a Iy  sliku visoke rezolucije. Oznaka σ predstavlja šum.
@@ Redak 23: / Redak 40: @@
-==== 2.1 Unaprijedno uzorkovanje ====
+==== 6.1 Unaprijedno uzorkovanje ====
 Metode koje pripadaju ovoj grupi pripadaju tradicionalnim tehnikama, a najpopularnija među njima je tehnika SRCNN (engl. Super-Resolution Convolutional Neural Network) koja među prvima primjenjuje duboko učenje. SRCNN tehnika koristi konvolucijsku neuronsku mrežu te se sastoji od tri sloja: sloja za ekstrakciju, sloja nelinearnog mapiranja te sloja rekonstrukcije. Prvi sloj koristi se za izdvajanje gustih zakrpa na ulazu te njihovo predstavljanje pomoću konvolucijskih filtara. Sloj nelinearnog mapiranja sastoji se od konvolucijskih filtara 1x1 koje se koriste za dodavanje nelinearnosti te promjenu broja kanala. Na posljetku, sloj rekonstrukcije rekonsturira sliku visoke rezolucije. SRCNN tehnika prikazana je na slici.
@@ Redak 35: / Redak 52: @@
 Na ulazu u mrežu interopolira se slika niske rezolucije nakon čega ulazi u mrežu. Interpolirana slika zatim prolazi kroz niz konvolucijskih i ReLu slojeva te dolazi do poslijednjeg D-tog (rezidualnog) konvolucijskog sloja te se njegov izlaz sumira s početnom interpoliranom slikom niske rezolucije (ILR) čime nastaje slika visoke rezolucije (HR).
-==== 2.2 Unazadno uzorkovanje ====
+==== 6.2 Unazadno uzorkovanje ====
 Prilikom unaprijednog uzorkovanja proces ekstrakcije značajki izvršava se u prostoru visoke rezolucije za čiji je izračun potrebna velika računalna snaga. Kako bi se izračun smanjio, ekstrakcija značajki se izvodi u prostoru niske razlučivosti te se uzorkovanje vrši samo na kraju. Tehnika unazadnog uzorkovanja koja se često primjenjuje je FSRCNN (engl. Fast Super-Resolution Convolutional Neural Network). U usporedbi sa SRCNN metodom unaprijednog uzorkovanja, FSRCNN tehnika postiže bolje rezultate te je u konačnici i brža. FSRCNN za razliku od SRCNN metode nema prethodnu predobradu ulaznih podataka niti naknadnog uzorkovanja. Kako bi se smanjilo računanje te količina potrebne memorije, ova tehnika nakon početne 5x5 konvolucije koristi 1x1 konvoluciju i time smanjuje broj potrebnih kanala. Uzorkovanje se vrši pomoću naučenog dekonvolucijskog filtra čime se poboljšava model. Usporedba ovih dviju metoda prikazana je na slici 2.3.
@@ Redak 41: / Redak 58: @@
 {{:racfor_wiki:fdd:srcnn_fsrcnn.png}}
-==== 2.3 Rekurzivne mreže ====
+==== 6.3 Rekurzivne mreže ====
 Još jedna od tehnika hiper rezolucije su rekurzivne mreže. Rekurzivne mreže koriste dijeljene parametre mreže u konvolucijskim slojevima kako bi reducirale svoj memorijski otisak, tj. kako bi smanjile zauzeće glavne memorije.
@@ Redak 61: / Redak 78: @@
 {{:racfor_wiki:fdd:graf.png?400|}}
-==== 2.4 Mreže s većim brojem grananja ====
+==== 6.4 Mreže s većim brojem grananja ====
 Dosada smo pokazali kako dublje mreže daju bolje rezultate, no, učenje dubljih mreža je zahtjevno s obzirom na tok informacija. Rezidualne mreže taj problem donekle rješavaju korištenjem prečaca. Mreže s većim brojem grananja rade na poboljšanju toka informacija tako da sadrže više grana putem kojih mogu prolaziti informacije. To rezultira u spajanju informacija iz više receptivnih polja što onda podrazumijeva bolje učenje mreže.
@@ Redak 71: / Redak 88: @@
 Kaskadna podmreža sastoji se od dviju grana. Svaka grana ima različite veličine filtara pa stoga daje drugačija receptivna polja. Kao što smo već spomenuli, spajanje informacija iz više različitih receptivnih polja rezultira boljim tokom informacija. Više blokova MSC modula slaže se jedan iza drugoga kako bi se postupno i iterativno smanjila razlika između izlaza i slike visoke rezolucije. Izlazi iz svih blokova predaju se zajedno rekonstrukcijskom bloku kako bi se dobila finalni izlaz visoke rezolucije.
-===== Zaključak =====
+===== 7. Adobe Super Resolution alat=====
-Hiper rezolucija je jedan od novih algoritama za povećanje rezolucije slika. Temelji samog algoritma leže u restrukturiranju piksela oko rubova, tj. restrukturiranju podataka o slici. Povećana rezolucija postiže se povećavanjem nisko rezolucijskih tekstura u ciljanoj slici pomoću visoko rezolucijskih rubova struktura preuzetih iz baze podataka originalne slike. Usporedivši hiper rezoluciju s već postojećim metodama, zaključeno je kako ona pruža bolju kvalitetu, veću fleksibilnost i brže performanse. Što se tiče iskoristivosti hiper rezolucije u današnje vrijeme, primjenjiva je na gotovo sve sfere čovjekovog života.
+Postoje brojni alati koji se koriste kako bi se ostvarila hiper rezolucija, a u sklopu ovog seminarskog rada bit će predstavljen Adobe super resolution alat koji omogućava udvostručavanje linearne razlučivosti fotografije (ukupan broj piksela je učetverostručen) te tu metodu predstavlja boljom od bilo kojeg drugog algoritma uzorkovanja. U 13.2 verziji Camera Raw, Adobe je dodao novu opciju pod nazivom Super Resolution koja može povećati uzorkovanje bilo koje slike na četiri puta veći broj od izvornog broja megapiksela. Time se širina i visina izvorne slike udvostručava te će originalna slika od 12 megapiksela povećati broj megapiksela na 48, dok će slika od 48 megapiksela imati 192 megapiksela. Za razliku od tradicionalnih alata, Super resolution alat koristi algoritam uzorkovanja primjenom umjetne inteligencije koji je treniran i testiran na milijunima slika kako bi u konačnici dao što bolje rezultate. Početni zaslon alata s učitanom fotografijom prikazan je na slici.
+{{:racfor_wiki:fdd:adobe1.png?400|}}
+Nakon što se u alat učita željena fotografija, desnim klikom miša odabire se opcija enhance čime se otvara prozor s opcijama super rezolucije prikazan na slici ispod.
+{{:racfor_wiki:fdd:adobe2.png?400|}}
+To je jednostavan dijaloški okvir i nakon što se na okviru označi opcija Super Resolution, program će dati procjenu koliko dugo će uzorkovanje trajati. Klikom na gumb Enhance, nakon nekog vremena prikazati će se slika više rezolucije kao druga verzija slike, što je prikazano na slici ispod.
+{{:racfor_wiki:fdd:adobe3.png?400|}}
+Na slici je crvenom bojom označena dobivena slika više rezolucije koja se sada po želji može nastaviti uređivati koristeći ostale mogućnosti koje alat nudi.
+===== Zaključak =====
+Hiper rezolucija je jedan od novih algoritama za povećanje rezolucije slika. Temelji samog algoritma leže u restrukturiranju piksela oko rubova, tj. restrukturiranju podataka o slici. Povećana rezolucija postiže se povećavanjem nisko rezolucijskih tekstura u ciljanoj slici pomoću visoko rezolucijskih rubova struktura preuzetih iz baze podataka originalne slike. Usporedivši hiper rezoluciju s već postojećim metodama, zaključeno je kako ona pruža bolju kvalitetu, veću fleksibilnost i brže performanse. Što se tiče iskoristivosti hiper rezolucije u forenzici, još uvijek nisu postignute sve mogućnosti koje prikazuje Hollywood u svojim kriminalističkim serijama. Osim nerealnih očekivanja, postoje i brojna ograničenja koja ne dopuštaju prevelike izmjene informacija koje nosi slika te se tehnike super rezolucije primjenjuju jedino u slučajevima kada bi medijski zapis mogao identificirati sumnjivca. Ono što valja napomenuti je kako se u nadziranom modelu neuronskih mreža dosta oslanja na sličnosti između podataka u skupu za učenje i podataka u skupu za testiranje kako bi mreža proizvela što točniji izlaz. No, kako se tijekom vođenja nekog slučaja ne znaju istina i ishod unaprijed, teško je vrjednovati metode koje se koriste, a da se pritom zadrži nepristranost. Postoji mogućnost validacije metoda i aproksimiranja stope pogrješke nad izmišljenim podatcima iz skupa za testiranje, ali je potencijalno zahtjevno izmisliti te testne primjere i procijeniti njihovu sličnost sa stvarnim slučajevima. Stoga je potrebno još istraživanja prije nego li se tehnike super rezolucije budu mogle nesmetano i u potpunosti primjenjivati u forenzici.
 ===== Literatura =====
-[1] [[http://www.cs.binghamton.edu/~lijun/Research/FaceModeling/RelatedPublications/HyperRes_CaG_Reprint.pdf| Lijun Yin, Matt Yourst: Hyper-Resolution: Image detail reconstruction
+[1] [[http://www.cs.binghamton.edu/~lijun/Research/FaceModeling/RelatedPublications/HyperRes_CaG_Reprint.pdf| Lijun Yin; Matt Yourst: Hyper-Resolution: Image detail reconstruction
 through parametric edges]]
 [2] [[https://blog.paperspace.com/image-super-resolution/ | Anil Chandra Naidu Matcha: Image Super-Resolution: A Comprehensive Review ]]
+[3] [[https://scripties.uba.uva.nl/download?fid=678278/ | Floor Dussel: Super-Resolution Methods For Image Analysis in Forensic Science ]]
+[4] [[https://ieeexplore.ieee.org/document/8929309/ | Amritha Abdul Salam; Manjunatha Mahadevappa: Single Image Super-Resolution Technique using Precision learning of Low Resolution Images ]]
+[5] [[https://photographylife.com/reviews/adobe-super-resolution/ | Spencer Cox: Adobe Super Resolution ]]
  ~~DISCUSSION~~

racfor_wiki/fdd/hyperresolution_tehnike.1654707551.txt.gz · Zadnja izmjena: 2024/12/05 12:23 (vanjsko uređivanje)