| Starije izmjene na obje strane
Starija izmjena
Novija izmjena
|
Starija izmjena
|
racfor_wiki:fdd:antiforenzika_glasa [2022/06/08 08:31]
pilic [Tehnike i alati] |
racfor_wiki:fdd:antiforenzika_glasa [2024/12/05 12:24] (trenutno)
|
| |
| **Promjena značajki glasa** uključuje mijenjanje visine, intenziteta, boje i drugih karakteristika glasa. Može se provesti pomoću alata za obradu audio snimki kao što su //[[https://www.audacityteam.org/|Audacity]]// ili //[[https://www.avid.com/pro-tools|Pro Tools]]//. **Kloniranje glasa** je složeniji postupak koji se sastoji od ekstrakcije značajki, odnosno otiska glasa iz jedne snimke te stvaranja umjetnog glasa. Umjetni glas se onda koristi za generiranje potpuno novih, lažnih snimki ili dijelova snimke. Tehnike kloniranja glasa najčešće se temelje na modelima dubokog učenja i koriste za stvaranje **audio //Deepfakeova//**. U nastavku su opisani neki od alata za kloniranje glasa. Postoji velika mogućnost zlouporabe tih alata za skrivanje ili krađu identiteta. Posljedice zlouporabe su posebno opasne ako se generirane snimke koriste kao dokaz na sudu jer je ponekad vrlo teško otkriti da je snimka umjetna. | **Promjena značajki glasa** uključuje mijenjanje visine, intenziteta, boje i drugih karakteristika glasa. Može se provesti pomoću alata za obradu audio snimki kao što su //[[https://www.audacityteam.org/|Audacity]]// ili //[[https://www.avid.com/pro-tools|Pro Tools]]//. **Kloniranje glasa** je složeniji postupak koji se sastoji od ekstrakcije značajki, odnosno otiska glasa iz jedne snimke te stvaranja umjetnog glasa. Umjetni glas se onda koristi za generiranje potpuno novih, lažnih snimki ili dijelova snimke. Tehnike kloniranja glasa najčešće se temelje na modelima dubokog učenja i koriste za stvaranje **audio //Deepfakeova//**. U nastavku su opisani neki od alata za kloniranje glasa. Postoji velika mogućnost zlouporabe tih alata za skrivanje ili krađu identiteta. Posljedice zlouporabe su posebno opasne ako se generirane snimke koriste kao dokaz na sudu jer je ponekad vrlo teško otkriti da je snimka umjetna. |
| | |
| |
| |
| //[[https://www.descript.com|Descript]]// je alat za audio i video uređivanje. Jedan od ključnih elemenata //Descripta// je //Lyrebird AI//, softver za kloniranje glasa temeljen na umjetnoj inteligenciji. //Lyrebird// na temelju vrlo kratkog isječka govora može izgraditi umjetni glas. Primjenjuje se u kreiranju audio knjiga, za //text-to-speech// čitače i sl. //Lyrebird AI// može se isprobati u besplatnoj verziji alata //Descript// s limitom od tisuću riječi. Neograničeno korištenje moguće je u //Pro// verziji i cijena je 24 dolara mjesečno. | //[[https://www.descript.com|Descript]]// je alat za audio i video uređivanje. Jedan od ključnih elemenata //Descripta// je //Lyrebird AI//, softver za kloniranje glasa temeljen na umjetnoj inteligenciji. //Lyrebird// na temelju vrlo kratkog isječka govora može izgraditi umjetni glas. Primjenjuje se u kreiranju audio knjiga, za //text-to-speech// čitače i sl. //Lyrebird AI// može se isprobati u besplatnoj verziji alata //Descript// s limitom od tisuću riječi. Neograničeno korištenje moguće je u //Pro// verziji i cijena je 24 dolara mjesečno. |
| |
| Primjer 1. Klonirani glas Petre Ilić dobiven pomoću alata //Descript// | {{ :racfor_wiki:fdd:descript.mp3 |}} |
| |
| | Primjer 1. Klonirani glas Petre Ilić dobiven pomoću alata //Descript// |
| |
| === Resemble AI === | === Resemble AI === |
| Primjer 2. Klonirani glas Petre Ilić dobiven pomoću alata //Resemble AI// | Primjer 2. Klonirani glas Petre Ilić dobiven pomoću alata //Resemble AI// |
| |
| Primjer 3. Primjeri kloniranih glasova dostupnih //Resemble AI// platformi | {{ :racfor_wiki:fdd:saprjxqx.mp3 |}} |
| | |
| | {{ :racfor_wiki:fdd:ldbgdset.mp3 |}} |
| | |
| | Primjer 3. Primjeri kloniranih glasova dostupnih na //Resemble AI// platformi |
| |
| === Respeecher === | === Respeecher === |
| {{ https://fs.hubspotusercontent00.net/hubfs/6187708/audition-voices/alice_d.wav }} | {{ https://fs.hubspotusercontent00.net/hubfs/6187708/audition-voices/alice_d.wav }} |
| |
| Primjer 3. Primjeri kloniranih glasova dostupnih na platformi //Respeecher// \\ | Primjer 4. Primjeri kloniranih glasova dostupnih na //Respeecher// platformi \\ |
| [[https://www.respeecher.com/voice-marketplace?hsLang=en|izvor]] | [[https://www.respeecher.com/voice-marketplace?hsLang=en|izvor]] |
| |
| |
| === Aktualni radovi na temu antiforenzike glasa === | === Aktualni radovi iz područja antiforenzike glasa === |
| | \\ |
| | **[[https://ieeexplore.ieee.org/document/9246264?fbclid=IwAR1Xoil3ctFf_hvMyzYQVURtx0dhzUsysHLG_mQOmYHIv_quuVL7Yys8cXg | NAUTILUS: A Versatile Voice Cloning System]]** \\ |
| | U navedenom radu predstavljen je NAUTILUS - sustav sinteze govora koji može generirati iz tekstualnog ulaza ili iz audio zapisa proizvoljnog govornika. Posebnost sustava je treniranje enkodera i dekodera na skupu više govornika, čime se ostvaruje mogućnost kloniranja neviđenog glasa samo na temelju neoznačenog govora ciljanog govornika. |
| | |
| | **[[https://ieeexplore.ieee.org/abstract/document/9239750?fbclid=IwAR3IkAJvJ_EOTR8juUbGflg2wMiSIO1FF014ffdnGtKdtcCEWXH_ZG3LrLw | Research on Voice Cloning with a Few Samples]]** \\ |
| | Za razliku od većine modela gdje je za kloniranje glasa potrebna velika računalna snaga, puno vremena i puno uzoraka, u ovom radu predstavljene su i testirane ideje kloniranja glasa temeljene na LPCNET modelu koji omogućuje kloniranje glasa na slabijem hardveru i na manjem broju uzoraka. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9373282?fbclid=IwAR0Nae5UDmjPBHPH4WBMkdbfOy0OHzef29H01q3CJiZsfNXlezyiZ5EGRQA | Multilingual Speech Synthesis for Voice Cloning]]** \\ |
| | U spomenutom radu naglasak je na probleme privatnosti i sigurnosti alata kloniranja glasa i glasovnih asistenata potpomognutim umjetnom inteligencijom. |
| | |
| | **[[https://ieeexplore.ieee.org/document/8999436?fbclid=IwAR2ozVYe2YS_h_DHPHippRDca0GCxSWfcCZhX5WOmXRdsGSYh2uG2IDAIxk | Deep Learning Serves Voice Cloning: How Vulnerable Are Automatic Speaker Verification Systems to Spoofing Trials?]]** \\ |
| | U radu je provedeno istraživanje koje provjerava pouzdanost sustava za automatsku verifikaciju govornika (ASV) na novim metodama sinteze baziranih na dubokim neuronskim mrežama. Autori u radu izražavaju zabrinutost jer projekti poput WaveNet, Deep Voice i Deep Loop uspijevaju generirati vrlo prirodne i kvalitetne glasove koji mogu klonirati identitet glasa. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9747319 | Cloning One’s Voice Using Very Limited Data in the Wild]]** \\ |
| | Problemi kojima se ovaj rad bavi su kloniranje glasa s ograničenom količinom podataka te kontrola stila i prozodije kloniranog glasa. Predstavljen je model Hieratron koji prozodiju i timbar modelira pomoću dva modula, što omogućava neovisnu kontrolu različitih karakteristika glasa. Hieratron za ograničenu količinu podataka daje bolje rezultate od tradicionalne metode u kojoj se karakteristike glasa modeliraju zajedno. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9771377 | Neural Fusion For Voice Cloning]]** \\ |
| | Uz ograničenu količinu podataka, teško je osigurati visoku kvalitetu i sličnost stvarnog i kloniranog glasa. U ovom radu predstavljena je arhitektura neuralne fuzije s ciljem rješavanja navedenog problema. Model neuralne fuzije sastoji se od tekstualnog kodera, akustičnog dekodera i referentnog kodera. Rezultati pokazuju da neuralna fuzija poboljšava sličnost stvarnog i kloniranog glasa. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9573848 | Emotional Speech Cloning using GANs]]** \\ |
| | Umjetno generiran govor često zvuči monotono. Ovaj radi bavi se problemom generiranja govora prožetog emocijama. Predstavljen je pristup u kojem se govor i emocije modeliraju kao dva različita entiteta. Prvi dio modela sadrži sintetizator glasa koji generira govor bez emocija koristeći što manje podataka. Izlaz se kombinira s nizom različitih emocija i predaje EmoGAN-u, modificiranoj verziji CycleGAN-a. Cilj je omogućiti dodavanje različitih emocija ovisno o kontekstu rečenice. |
| |
| ===== Detekcija kloniranog glasa ===== | ===== Detekcija kloniranog glasa ===== |
| * dijarizacija govornika | * dijarizacija govornika |
| * otkrivanje koja osoba trenutno govori u slučaju kada se u snimci često izmjenjuje nekoliko osoba | * otkrivanje koja osoba trenutno govori u slučaju kada se u snimci često izmjenjuje nekoliko osoba |
| * {{ https://streamable.com/uef39?|Primjer dijarizacije govornika}} | * [[ https://streamable.com/uef39?|Primjer dijarizacije govornika]] |
| * detekcija lažnog govora | * detekcija lažnog govora |
| * provjera radi li se o legitimnoj ili lažnoj snimci usporedbom sličnosti potencijalno lažnog govora sa stvarnim govorom | * provjera radi li se o legitimnoj ili lažnoj snimci usporedbom sličnosti potencijalno lažnog govora sa stvarnim govorom |
| |
| [7] [[https://github.com/resemble-ai/Resemblyzer]] | [7] [[https://github.com/resemble-ai/Resemblyzer]] |
| | |
| | [8] [[https://ieeexplore.ieee.org/document/9246264?fbclid=IwAR1Xoil3ctFf_hvMyzYQVURtx0dhzUsysHLG_mQOmYHIv_quuVL7Yys8cXg|NAUTILUS: A Versatile Voice Cloning System]], 2020. |
| | |
| | [9] [[https://ieeexplore.ieee.org/abstract/document/9239750?fbclid=IwAR3IkAJvJ_EOTR8juUbGflg2wMiSIO1FF014ffdnGtKdtcCEWXH_ZG3LrLw|Research on Voice Cloning with a Few Samples]], 2020. |
| | |
| | [10] [[https://ieeexplore.ieee.org/document/9373282?fbclid=IwAR0Nae5UDmjPBHPH4WBMkdbfOy0OHzef29H01q3CJiZsfNXlezyiZ5EGRQA|Multilingual Speech Synthesis for Voice Cloning]], 2021. |
| | |
| | [11] [[https://ieeexplore.ieee.org/document/8999436?fbclid=IwAR2ozVYe2YS_h_DHPHippRDca0GCxSWfcCZhX5WOmXRdsGSYh2uG2IDAIxk|Deep Learning Serves Voice Cloning: How Vulnerable Are Automatic Speaker Verification Systems to Spoofing Trials?]], 2020. |
| | |
| | [12] [[https://ieeexplore.ieee.org/document/9747319|Cloning One’s Voice Using Very Limited Data in the Wild]], 2022. |
| | |
| | [13] [[https://ieeexplore.ieee.org/document/9771377|Neural Fusion For Voice Cloning]], 2022. |
| | |
| | [14] [[https://ieeexplore.ieee.org/document/9573848|Emotional Speech Cloning using GANs]], 2021. |
| |
| ~~DISCUSSION~~ | ~~DISCUSSION~~ |
| |
| |
