Sadržaj
Analiza alata Bulk Extractor
Prezentacija: OneDrive link
Uvod
Bulk Extractor je računalni program koji se može koristiti kao pomoć u otkrivanju i ekstrakciji informacija iz danih datoteka. Program je izrađen u programskom jeziku C++ te može skenirati sliku diska, datoteku ili direktorij datoteka i izvlačiti korisne informacije bez analize datotečnog sustava ili struktura datotečnog sustava. Rezultati su pohranjeni u datotekama značajki (eng. feature files) koje se mogu lako pregledati, analizirati ili obraditi automatiziranim alatima.
Bulk Extractor također stvara histograme značajki koje pronađe, budući da značajke koje se češće pronađu, obično budu od važnije vrijednosti. Također, postoji i mali broj python programa koji izvode automatiziranu obradu datoteka značajki.
Postoji i korisničko sučelje Bulk Extractor Viewer (BEViewer) za pregledavanje značajki pohranjenih u datotekama značajki i za pokretanje Bulk Extractor skeniranja, kao i alat za pokretanje u naredbenom retku. U kasnijim uputama za korištenje bit će opisano sučelje BEViewer zbog preglednosti i lakoće korištenja.
Karakteristike rada
Bulk Extractor se razlikuje od ostalih forenzičkih alata svojom brzinom i temeljitošću. Budući da zanemaruje strukturu datotečnog sustava, Bulk Extractor može paralelno obraditi različite dijelove diska. U praksi, program dijeli disk na stranice od 16 MByte i obrađuje jednu stranicu na svakoj dostupnoj jezgri. To znači da strojevi s 24 jezgre obrađuju disk otprilike 24 puta brže od stroja s 1 jezgrom. Bulk Extractor je također temeljit. To je zato što Bulk Extractor automatski otkriva, dekomprimira i rekurzivno ponovno obrađuje komprimirane podatke koji su komprimirani različitim algoritmima.
Testiranje je pokazalo da postoji značajna količina komprimiranih podataka u nedodijeljenim regijama datotečnih sustava koje propušta većina forenzičkih alata koji se danas često koriste. Još jedna prednost ignoriranja datotečnih sustava je da se bulk_extractor može koristiti za obradu bilo kojeg digitalnog medija. Koristio se program za obradu tvrdih diskova, SSD-ova, optičkih medija, kartica za fotoaparate, mobitela, ispisa mrežnih paketa i drugih vrsta digitalnih informacija.
Dakle, ključne značajke alata su:
- Skeneri koji traže osjetljive informacije koje su ključne u forenzičkog analizi
- Rekurzivno analiziranje kompresiranih podataka
- Rezultati se pohranjuju u feature files
- Višedretvenost
Višedretvenost
Interni sustav odabira posla i stvaranja dretvi može se vidjeti na sljedećoj slici.
Slika pokazuje kako se za procesuiranje ulazne slike stvara jedna dretva, dok ostale dretve pripadaju pojedinačnom skeneru. Nakon toga svaki skener producira svoj output, npr. email skener će stvoriti datoteku email.txt s pronađenim email adresama. Odjeljak programa za procesuiranje histograma stvorit će više datoteka koje mogu poslužiti kao korisne informacije u odvajanju pravih informacija od lažnih ili potencijalno beskorisnih. Izlazne datoteke, kao i izlaz histogramskog procesora, prikazuje se korisniku na grafičkom sučelju ili u tekstualnom obliku u komandnom retku.
Upute za korištenje alata
Produkcijska verzija aplikacije dostupna je na:
https://downloads.digitalcorpora.org/downloads/bulk_extractor
Za pokretanje programa potreban je C++ 17 te ga je moguće pokrenuti na Windowsu, Linuxu i Mac OS-u.
Nakon instalacije, na bilo kojem sustavu moguće je pokrenuti program u naredbenom retku s naredbom:
bulk_extractor -o output mydisk.raw
U gornjoj naredbi izlaz je direktorij koji će se stvoriti za pohranu Bulk Extractor rezultata i ona ne može već postojati. Ulaz mydisk.raw je slika diska koju treba obraditi.
Za ulaz u alat omogućeni su formati koji su industrijski standard u forenzičkoj analizi:
- E01
- AFF
- raw
- split raw
- individual disk files
Primjer korištenja grafičkog alata BE Viewer:
Prikazana je slika alata pri početku programa spremnog na unos ulazne datoteke.
Pri pokretanju alata Bulk Extractor mogu se vidjeti sve opcije i parametri pokretanja kao i skeneri.
Na početku se nudi opcija biranja datoteke te direktorija u koji će se pohraniti rješenje analize tj. izlazne datoteke.
Također, moguće je promjeniti internet parametre programa kao što su veličina stranice page size ili broj dretvi koji će se koristiti Number of threads.
Izlaz alata Bulk Extractor su sljedeće datoteke:
- alerts.txt
- ccn.txt
- ccn_track2.txt
- domain.txt
- email.txt
- ether.txt
- exif.txt
- find.txt
- identified_blocks.txt
- ip.txt
- rfc822.txt
- tcp.txt
- telephone.txt
- url.txt
- url_searches.txt
- url_services.txt
- wordlist.txt
- wordlist_*.txt
- zip.txt
U svakom od pojedinih datoteka nalazi se informacije o odgovarajućem entitetu. Za svaku pojedinačnu datoteku stvorit će se dvije dodatne datoteke _stopped.txt i _histogram.txt kojima se proširuje informacije stop listama i histogramom.
Histogrami za npr. email adrese su korisni kako bih se utvrdilo broj ponavljanja pojedine adrese te povezanost s ostalim adresama, informacije o organizaciji korisnika, primarne korespondente i slično.
Histogrami su vrlo koristan alat kojim se vrlo brzo može doći do tih korisnih informacija kao prikazano na sljedećoj slici.
Tim se alatom može ažurno vidjeti npr. najčešće korištene IP pakete kao što je prikazano na prethodnoj slici.
Primjer analize izlazne datoteke email.txt i pretrage pronađenih email adresa može se vidjeti na sljedećoj slici.
Post-procesiranje
Za post-procesiranje izlaznih datoteka mogu se koristiti četiri python alata:
- bulk_diff.py : pokazuje razliku između dva pokretanja BE programa
- cda_tool.py : čita vise izvještaja te ih korelira s tehnikom Cross Drive Analysis
- identify_filenames.py : uzima BE feature datoteku te producira datoteku s anotacijama mogućnosti i drugim opcijama
- make_context_stop_list.py : stvaranja stop lista na kontekstno osjetljiv način kako se npr. email adrese ne bih mogle sakriti
Zaključak
Alat Bulk Extractor vrlo je koristan, brz i učinkovit alat pri forenzičkoj analizi velikih podataka. Kao ulaz prima datoteke koji su industrijski standard u forenzičkoj analizi, a kao izlaz generira veliki broj izlaznih datoteka koje odgovaraju rezultatu pojedinog skener alata. Za učinkovitost i brzinu pretraživanja datoteka odgovorne su brojne dretve koje se stvaraju u tom procesu analize te činjenica da alat ne treba interno pretraživati i analizirati strukturu datotečnog sustava diska kojeg pretražuje. Alat se može lako koristiti s grafičkim sučeljem BEViewer, no koristan je i alat bulk_extractor u komandnom retku.