Nekoliko zadnjih desetljeća obilježio je uspon platformi kao što su YouTube, Netflix, HBO, Facebook i slično. One su postale neizbježan dio naše svakodnevnice iz kojeg profitiramo, ali u kojem i uživamo. Tehnologije koje se koriste na ovim streaming platformama stalno se mijenjaju kako se industrija razvija, a najutjecajniji pokretač tog konstantnog razvoja su potrošači. Oni od svih pružatelja usluga očekuju redovit i brz napredak pa tržište stalno hvata korak s onim što je trenutno popularno i traženo. Što se tiče ovih streaming platformi, korisnici od njih očekuju videozapise i slike vrlo visoke razlučivosti na svim mogućim uređajima preko kojih mogu konzumirati takav sadržaj. Stoga su tehnike koje omogućuju točnu i učinkovitu rekonstrukciju detalja visoko razlučivih slika u velikoj potražnji, a konkurencija na tržištu svakodnevno raste. Osim primjene u industriji zabave i opuštanja, ove tehnike upotrebljavaju se i u forenzici, nad nadzornim snimkama, za povećavanje fotografija, restoraciju osjetljivih likovnih i umjetničkih djela, medicinsku dijagnozu pomoću magnetske rezonance itd. U nastavku ovog seminarskog rada usredotočit ćemo se na primjenu tehnika za poboljšanje slika u kontekstu forenzičke znanosti.

Super rezolucija slika je tehnika koja se koristi za poboljšavanje rezolucije slike, odnosno za postizanje visoke rezolucije (engl. high resolution, HR) iz slika niske rezolucije (engl. low resolution, LR). Hiper rezolucija predstavlja novu tehniku super rezolucijske rekonstrukcije slika. Temelji se na usklađivanju pojedinosti ciljane slike niske rezolucije s pripadajućim pojedinostima visoke rezolucije iz baze podataka slika. Ova tehnika ima široku primjenu u različitim važnim područjima kao što je medicina, gdje snimanje snimki magnetske rezonance (MRI) visoke razlučivosti može biti dugotrajno i nezgodno zbog vremena skeniranja te omjera signala i šuma. Hiper rezolucija u ovom slučaju pruža mogućnost generiranja snimki magnetske rezonance visoke rezolucije iz MRI snimki niske rezolucije. Također, hiper rezolucija se primjenjuje za otkrivanje, prepoznavanje i izvođenje prepoznavanja lica na slikama niske rezolucije dobivenih na sigurnosnim kamerama. Osim toga, hiper rezolucija se koristi i za smanjenje troškova prijenosa podataka sa servera tako što omogućuje da se mediji prenose u nižoj rezoluciji nakon čega se kasnijom primjenom hiper rezolucije dobije medij više rezolucije.

Slike niske rezolucije mogu se modelirati u slike visoke rezolucije koristeći formulu prikazanu na slici. Oznaka D predstavlja funkciju degradacije, Ix označava sliku niske rezolucije, a Iy sliku visoke rezolucije. Oznaka σ predstavlja šum.

Prilikom rješavanja problema hiper rezolucije slika i videozapisa često se primjenjuju neuronske mreže. S obzirom da su podatci o funkciji degradacije i šumu nepoznati, zadatak neuronskih mreža je pronaći inverz funkcije degradacije koristeći podatke slika visoke i niske rezolucije. U sklopu ovoga rada, bit će obrađene sljedeće tehnike hiper rezolucije:

1. Unaprijedno uzorkovanje
2. Unazadno uzorkovanje
3. Rekurzivne mreže
4. Mreže s većim brojem grananja

Metode koje pripadaju ovoj grupi pripadaju tradicionalnim tehnikama, a najpopularnija među njima je tehnika SRCNN (engl. Super-Resolution Convolutional Neural Network) koja među prvima primjenjuje duboko učenje. SRCNN tehnika koristi konvolucijsku neuronsku mrežu te se sastoji od tri sloja: sloja za ekstrakciju, sloja nelinearnog mapiranja te sloja rekonstrukcije. Prvi sloj koristi se za izdvajanje gustih zakrpa na ulazu te njihovo predstavljanje pomoću konvolucijskih filtara. Sloj nelinearnog mapiranja sastoji se od konvolucijskih filtara 1×1 koje se koriste za dodavanje nelinearnosti te promjenu broja kanala. Na posljetku, sloj rekonstrukcije rekonsturira sliku visoke rezolucije. SRCNN tehnika prikazana je na slici.

Poboljšanje SRCNN metode predstavlja metoda vrlo dublje hiper rezolucije, VDSR (engl. Very Deep Super Resolution). Za razliku od SRCNN metode koja koristi manju mrežu s velikim konvolucijskim filterima, VDSR metoda koristi duboku mrežu s malim konvolucijskim filterima (3×3). Slika prikazuje arhitekturu VDSR mreže.

Na ulazu u mrežu interopolira se slika niske rezolucije nakon čega ulazi u mrežu. Interpolirana slika zatim prolazi kroz niz konvolucijskih i ReLu slojeva te dolazi do poslijednjeg D-tog (rezidualnog) konvolucijskog sloja te se njegov izlaz sumira s početnom interpoliranom slikom niske rezolucije (ILR) čime nastaje slika visoke rezolucije (HR).

Prilikom unaprijednog uzorkovanja proces ekstrakcije značajki izvršava se u prostoru visoke rezolucije za čiji je izračun potrebna velika računalna snaga. Kako bi se izračun smanjio, ekstrakcija značajki se izvodi u prostoru niske razlučivosti te se uzorkovanje vrši samo na kraju. Tehnika unazadnog uzorkovanja koja se često primjenjuje je FSRCNN (engl. Fast Super-Resolution Convolutional Neural Network). U usporedbi sa SRCNN metodom unaprijednog uzorkovanja, FSRCNN tehnika postiže bolje rezultate te je u konačnici i brža. FSRCNN za razliku od SRCNN metode nema prethodnu predobradu ulaznih podataka niti naknadnog uzorkovanja. Kako bi se smanjilo računanje te količina potrebne memorije, ova tehnika nakon početne 5×5 konvolucije koristi 1×1 konvoluciju i time smanjuje broj potrebnih kanala. Uzorkovanje se vrši pomoću naučenog dekonvolucijskog filtra čime se poboljšava model. Usporedba ovih dviju metoda prikazana je na slici 2.3.

Još jedna od tehnika hiper rezolucije su rekurzivne mreže. Rekurzivne mreže koriste dijeljene parametre mreže u konvolucijskim slojevima kako bi reducirale svoj memorijski otisak, tj. kako bi smanjile zauzeće glavne memorije.

Jedna od vrsta rekurzivnih mreža jest DRCN, tj. duboka rekurzivna konvolucijska mreža (engl. Deep Recursive Convolutional Network) koja podrazumijeva primjenjivanje istih konvolucijskih slojeva više puta. Na slici ispod može se primijetiti kako su konvolucijski slojevi u rezidualnom bloku dijeljeni.

Izlazi svih unutarnjih dijeljenih konvolucijskih blokova, uključujući i ulaz, šalju se rekonstrukcijskom sloju koji generira sliku visoke rezolucije koristeći sve ulaze. S obzirom da postoji više ulaza pomoću kojih se generira izlaz, ovakva arhitektura rekurzivne mreže može se promatrati kao ansambl mreža. Slika ispod ilustrira opisani koncept.

Postoji i poboljšanje DRCN mreže, a to je DRRN (engl. Deep Recursive Residual Network). Umjesto običnih rekurzivnih konvolucijskih slojeva kao kod DRCN, DRRN ima stog rezidualnih blokova unutar kojih su onda rekurzivni konvolucijski slojevi. Parametri svakog rezidualnog bloka dijele se s ostalima, što je moguće vidjeti na slici ispod.

Na sljedećem je grafu vidljivo kako DRRN nadmašuje neke neuronske mreže od kojih smo između ostalog spomenuli i SRCNN, VDSR i DRCN.

Dosada smo pokazali kako dublje mreže daju bolje rezultate, no, učenje dubljih mreža je zahtjevno s obzirom na tok informacija. Rezidualne mreže taj problem donekle rješavaju korištenjem prečaca. Mreže s većim brojem grananja rade na poboljšanju toka informacija tako da sadrže više grana putem kojih mogu prolaziti informacije. To rezultira u spajanju informacija iz više receptivnih polja što onda podrazumijeva bolje učenje mreže.

Jedna od konkretnih mreža koja koristi ovu tehniku je CMSC (engl. Cascaded Multi-Scale Cross-Network). Ona se sastoji od sloja za izdvajanje značajki, kaskadnih podmreža i rekonstrukcijskog sloja, što je prikazano na slici ispod.

Kaskadna podmreža sastoji se od dviju grana. Svaka grana ima različite veličine filtara pa stoga daje drugačija receptivna polja. Kao što smo već spomenuli, spajanje informacija iz više različitih receptivnih polja rezultira boljim tokom informacija. Više blokova MSC modula slaže se jedan iza drugoga kako bi se postupno i iterativno smanjila razlika između izlaza i slike visoke rezolucije. Izlazi iz svih blokova predaju se zajedno rekonstrukcijskom bloku kako bi se dobila finalni izlaz visoke rezolucije.

Hiper rezolucija je jedan od novih algoritama za povećanje rezolucije slika. Temelji samog algoritma leže u restrukturiranju piksela oko rubova, tj. restrukturiranju podataka o slici. Povećana rezolucija postiže se povećavanjem nisko rezolucijskih tekstura u ciljanoj slici pomoću visoko rezolucijskih rubova struktura preuzetih iz baze podataka originalne slike. Usporedivši hiper rezoluciju s već postojećim metodama, zaključeno je kako ona pruža bolju kvalitetu, veću fleksibilnost i brže performanse. Što se tiče iskoristivosti hiper rezolucije u današnje vrijeme, primjenjiva je na gotovo sve sfere čovjekovog života.

[1] Lijun Yin, Matt Yourst: Hyper-Resolution: Image detail reconstruction through parametric edges

[2] Anil Chandra Naidu Matcha: Image Super-Resolution: A Comprehensive Review