Razlike

Slijede razlike između dviju inačica stranice.

--- racfor_wiki:fdd:hyperresolution_tehnike [2022/06/08 17:01]
lbago [3. SISR vs. MISR]
+++ racfor_wiki:fdd:hyperresolution_tehnike [2024/12/05 12:24] (trenutno)
@@ Redak 23: / Redak 23: @@
 Super rezolucija slika je tehnika koja se koristi za poboljšavanje rezolucije slike, odnosno za postizanje visoke rezolucije (engl. high resolution, HR) iz slika niske rezolucije (engl. low resolution, LR). Hiper rezolucija predstavlja novu tehniku super rezolucijske rekonstrukcije slika. Temelji se na usklađivanju pojedinosti ciljane slike niske rezolucije s pripadajućim pojedinostima visoke rezolucije iz baze podataka slika. Ova tehnika ima široku primjenu u različitim važnim područjima kao što je medicina, gdje snimanje snimki magnetske rezonance (MRI) visoke razlučivosti može biti dugotrajno i nezgodno zbog vremena skeniranja te omjera signala i šuma. Hiper rezolucija u ovom slučaju pruža mogućnost generiranja snimki magnetske rezonance visoke rezolucije iz MRI snimki niske rezolucije. Također, hiper rezolucija se primjenjuje za otkrivanje, prepoznavanje i izvođenje prepoznavanja lica na slikama niske rezolucije dobivenih na sigurnosnim kamerama. Osim toga, hiper rezolucija se koristi i za smanjenje troškova prijenosa podataka sa servera tako što omogućuje da se mediji prenose u nižoj rezoluciji nakon čega se kasnijom primjenom hiper rezolucije dobije medij više rezolucije.
-===== 2. Tehnike hiper rezolucije =====
+===== 5. Neuronske mreže =====
+Postoji mnogo metoda za postizanje visoko rezolucijskih (HR) slika iz jedne ili više nisko rezolucijskih (LR) slika među kojima su interpolacija k-najbližih susjeda, bilinearna interpolacija, bikubna interpolacija, transponirani konvolucijski sloj, subpikselski sloj itd. Ove metode mogu se primijeniti ručno, ali i uz pomoć neuronskih mreža koje su trenirane da pretvore LR slike u HR slike. S obzirom da su neuronske mreže jedan od algoritama strojnog učenja, to podrazumijeva postojanje barem dvaju skupova podataka. To su skup za učenje i skup za testiranje. Sam naziv oba skupa indicira čemu služe. Na skupu za učenje učimo, tj. treniramo model, a zatim pomoću tog modela radimo predikciju na skupu za testiranje, na kojem računamo točnost ili pogrješku predikcije. Skup za učenje podrazumijeva podatke koji su nam već poznati, a s obzirom da se radi o nadziranom učenju kao vrsti strojnog učenja, na raspolaganju imamo podatke u obliku (ulaz, izlaz). Pritom je ulaz LR slika, a izlaz je njena HR verzija. Neuronska mreža se trenira tako da se uzme LR verzija slike iz skupa za učenje na temelju koje se napravi njena HR verzija te se onda računa funkcija gubitka. Funkcija gubitka govori koliko dobro mreža predviđa izlaz uspoređujući HR sliku koju je proizvela s onom koju već imamo u skupu za učenje. Mreža se dalje optimizira s ciljem minimiziranja funkcije gubitka. Nakon što naučimo mrežu na tom skupu podataka, dobijemo skup za testiranje u kojem su ponuđeni samo ulazi, a neuronska mreža mora odrediti pripadajuće izlaze, tj. predvidjeti ih.
+===== 6. Tehnike hiper rezolucije =====
 Slike niske rezolucije mogu se modelirati u slike visoke rezolucije koristeći formulu prikazanu na slici. Oznaka D predstavlja funkciju degradacije, Ix  označava sliku niske rezolucije, a Iy  sliku visoke rezolucije. Oznaka σ predstavlja šum.
@@ Redak 37: / Redak 40: @@
-==== 2.1 Unaprijedno uzorkovanje ====
+==== 6.1 Unaprijedno uzorkovanje ====
 Metode koje pripadaju ovoj grupi pripadaju tradicionalnim tehnikama, a najpopularnija među njima je tehnika SRCNN (engl. Super-Resolution Convolutional Neural Network) koja među prvima primjenjuje duboko učenje. SRCNN tehnika koristi konvolucijsku neuronsku mrežu te se sastoji od tri sloja: sloja za ekstrakciju, sloja nelinearnog mapiranja te sloja rekonstrukcije. Prvi sloj koristi se za izdvajanje gustih zakrpa na ulazu te njihovo predstavljanje pomoću konvolucijskih filtara. Sloj nelinearnog mapiranja sastoji se od konvolucijskih filtara 1x1 koje se koriste za dodavanje nelinearnosti te promjenu broja kanala. Na posljetku, sloj rekonstrukcije rekonsturira sliku visoke rezolucije. SRCNN tehnika prikazana je na slici.
@@ Redak 49: / Redak 52: @@
 Na ulazu u mrežu interopolira se slika niske rezolucije nakon čega ulazi u mrežu. Interpolirana slika zatim prolazi kroz niz konvolucijskih i ReLu slojeva te dolazi do poslijednjeg D-tog (rezidualnog) konvolucijskog sloja te se njegov izlaz sumira s početnom interpoliranom slikom niske rezolucije (ILR) čime nastaje slika visoke rezolucije (HR).
-==== 2.2 Unazadno uzorkovanje ====
+==== 6.2 Unazadno uzorkovanje ====
 Prilikom unaprijednog uzorkovanja proces ekstrakcije značajki izvršava se u prostoru visoke rezolucije za čiji je izračun potrebna velika računalna snaga. Kako bi se izračun smanjio, ekstrakcija značajki se izvodi u prostoru niske razlučivosti te se uzorkovanje vrši samo na kraju. Tehnika unazadnog uzorkovanja koja se često primjenjuje je FSRCNN (engl. Fast Super-Resolution Convolutional Neural Network). U usporedbi sa SRCNN metodom unaprijednog uzorkovanja, FSRCNN tehnika postiže bolje rezultate te je u konačnici i brža. FSRCNN za razliku od SRCNN metode nema prethodnu predobradu ulaznih podataka niti naknadnog uzorkovanja. Kako bi se smanjilo računanje te količina potrebne memorije, ova tehnika nakon početne 5x5 konvolucije koristi 1x1 konvoluciju i time smanjuje broj potrebnih kanala. Uzorkovanje se vrši pomoću naučenog dekonvolucijskog filtra čime se poboljšava model. Usporedba ovih dviju metoda prikazana je na slici 2.3.
@@ Redak 55: / Redak 58: @@
 {{:racfor_wiki:fdd:srcnn_fsrcnn.png}}
-==== 2.3 Rekurzivne mreže ====
+==== 6.3 Rekurzivne mreže ====
 Još jedna od tehnika hiper rezolucije su rekurzivne mreže. Rekurzivne mreže koriste dijeljene parametre mreže u konvolucijskim slojevima kako bi reducirale svoj memorijski otisak, tj. kako bi smanjile zauzeće glavne memorije.
@@ Redak 75: / Redak 78: @@
 {{:racfor_wiki:fdd:graf.png?400|}}
-==== 2.4 Mreže s većim brojem grananja ====
+==== 6.4 Mreže s većim brojem grananja ====
 Dosada smo pokazali kako dublje mreže daju bolje rezultate, no, učenje dubljih mreža je zahtjevno s obzirom na tok informacija. Rezidualne mreže taj problem donekle rješavaju korištenjem prečaca. Mreže s većim brojem grananja rade na poboljšanju toka informacija tako da sadrže više grana putem kojih mogu prolaziti informacije. To rezultira u spajanju informacija iz više receptivnih polja što onda podrazumijeva bolje učenje mreže.
@@ Redak 85: / Redak 88: @@
 Kaskadna podmreža sastoji se od dviju grana. Svaka grana ima različite veličine filtara pa stoga daje drugačija receptivna polja. Kao što smo već spomenuli, spajanje informacija iz više različitih receptivnih polja rezultira boljim tokom informacija. Više blokova MSC modula slaže se jedan iza drugoga kako bi se postupno i iterativno smanjila razlika između izlaza i slike visoke rezolucije. Izlazi iz svih blokova predaju se zajedno rekonstrukcijskom bloku kako bi se dobila finalni izlaz visoke rezolucije.
-===== Zaključak =====
+===== 7. Adobe Super Resolution alat=====
-Hiper rezolucija je jedan od novih algoritama za povećanje rezolucije slika. Temelji samog algoritma leže u restrukturiranju piksela oko rubova, tj. restrukturiranju podataka o slici. Povećana rezolucija postiže se povećavanjem nisko rezolucijskih tekstura u ciljanoj slici pomoću visoko rezolucijskih rubova struktura preuzetih iz baze podataka originalne slike. Usporedivši hiper rezoluciju s već postojećim metodama, zaključeno je kako ona pruža bolju kvalitetu, veću fleksibilnost i brže performanse. Što se tiče iskoristivosti hiper rezolucije u današnje vrijeme, primjenjiva je na gotovo sve sfere čovjekovog života.
+Postoje brojni alati koji se koriste kako bi se ostvarila hiper rezolucija, a u sklopu ovog seminarskog rada bit će predstavljen Adobe super resolution alat koji omogućava udvostručavanje linearne razlučivosti fotografije (ukupan broj piksela je učetverostručen) te tu metodu predstavlja boljom od bilo kojeg drugog algoritma uzorkovanja. U 13.2 verziji Camera Raw, Adobe je dodao novu opciju pod nazivom Super Resolution koja može povećati uzorkovanje bilo koje slike na četiri puta veći broj od izvornog broja megapiksela. Time se širina i visina izvorne slike udvostručava te će originalna slika od 12 megapiksela povećati broj megapiksela na 48, dok će slika od 48 megapiksela imati 192 megapiksela. Za razliku od tradicionalnih alata, Super resolution alat koristi algoritam uzorkovanja primjenom umjetne inteligencije koji je treniran i testiran na milijunima slika kako bi u konačnici dao što bolje rezultate. Početni zaslon alata s učitanom fotografijom prikazan je na slici.
+{{:racfor_wiki:fdd:adobe1.png?400|}}
+Nakon što se u alat učita željena fotografija, desnim klikom miša odabire se opcija enhance čime se otvara prozor s opcijama super rezolucije prikazan na slici ispod.
+{{:racfor_wiki:fdd:adobe2.png?400|}}
+To je jednostavan dijaloški okvir i nakon što se na okviru označi opcija Super Resolution, program će dati procjenu koliko dugo će uzorkovanje trajati. Klikom na gumb Enhance, nakon nekog vremena prikazati će se slika više rezolucije kao druga verzija slike, što je prikazano na slici ispod.
+{{:racfor_wiki:fdd:adobe3.png?400|}}
+Na slici je crvenom bojom označena dobivena slika više rezolucije koja se sada po želji može nastaviti uređivati koristeći ostale mogućnosti koje alat nudi.
+===== Zaključak =====
+Hiper rezolucija je jedan od novih algoritama za povećanje rezolucije slika. Temelji samog algoritma leže u restrukturiranju piksela oko rubova, tj. restrukturiranju podataka o slici. Povećana rezolucija postiže se povećavanjem nisko rezolucijskih tekstura u ciljanoj slici pomoću visoko rezolucijskih rubova struktura preuzetih iz baze podataka originalne slike. Usporedivši hiper rezoluciju s već postojećim metodama, zaključeno je kako ona pruža bolju kvalitetu, veću fleksibilnost i brže performanse. Što se tiče iskoristivosti hiper rezolucije u forenzici, još uvijek nisu postignute sve mogućnosti koje prikazuje Hollywood u svojim kriminalističkim serijama. Osim nerealnih očekivanja, postoje i brojna ograničenja koja ne dopuštaju prevelike izmjene informacija koje nosi slika te se tehnike super rezolucije primjenjuju jedino u slučajevima kada bi medijski zapis mogao identificirati sumnjivca. Ono što valja napomenuti je kako se u nadziranom modelu neuronskih mreža dosta oslanja na sličnosti između podataka u skupu za učenje i podataka u skupu za testiranje kako bi mreža proizvela što točniji izlaz. No, kako se tijekom vođenja nekog slučaja ne znaju istina i ishod unaprijed, teško je vrjednovati metode koje se koriste, a da se pritom zadrži nepristranost. Postoji mogućnost validacije metoda i aproksimiranja stope pogrješke nad izmišljenim podatcima iz skupa za testiranje, ali je potencijalno zahtjevno izmisliti te testne primjere i procijeniti njihovu sličnost sa stvarnim slučajevima. Stoga je potrebno još istraživanja prije nego li se tehnike super rezolucije budu mogle nesmetano i u potpunosti primjenjivati u forenzici.
 ===== Literatura =====
-[1] [[http://www.cs.binghamton.edu/~lijun/Research/FaceModeling/RelatedPublications/HyperRes_CaG_Reprint.pdf| Lijun Yin, Matt Yourst: Hyper-Resolution: Image detail reconstruction
+[1] [[http://www.cs.binghamton.edu/~lijun/Research/FaceModeling/RelatedPublications/HyperRes_CaG_Reprint.pdf| Lijun Yin; Matt Yourst: Hyper-Resolution: Image detail reconstruction
 through parametric edges]]
 [2] [[https://blog.paperspace.com/image-super-resolution/ | Anil Chandra Naidu Matcha: Image Super-Resolution: A Comprehensive Review ]]
+[3] [[https://scripties.uba.uva.nl/download?fid=678278/ | Floor Dussel: Super-Resolution Methods For Image Analysis in Forensic Science ]]
+[4] [[https://ieeexplore.ieee.org/document/8929309/ | Amritha Abdul Salam; Manjunatha Mahadevappa: Single Image Super-Resolution Technique using Precision learning of Low Resolution Images ]]
+[5] [[https://photographylife.com/reviews/adobe-super-resolution/ | Spencer Cox: Adobe Super Resolution ]]
  ~~DISCUSSION~~

racfor_wiki/fdd/hyperresolution_tehnike.1654707660.txt.gz · Zadnja izmjena: 2024/12/05 12:23 (vanjsko uređivanje)