| Starije izmjene na obje strane
Starija izmjena
Novija izmjena
|
Starija izmjena
|
racfor_wiki:fdd:antiforenzika_glasa [2022/06/06 18:13]
pilic [Tehnike i alati] |
racfor_wiki:fdd:antiforenzika_glasa [2024/12/05 12:24] (trenutno)
|
| |
| **Promjena značajki glasa** uključuje mijenjanje visine, intenziteta, boje i drugih karakteristika glasa. Može se provesti pomoću alata za obradu audio snimki kao što su //[[https://www.audacityteam.org/|Audacity]]// ili //[[https://www.avid.com/pro-tools|Pro Tools]]//. **Kloniranje glasa** je složeniji postupak koji se sastoji od ekstrakcije značajki, odnosno otiska glasa iz jedne snimke te stvaranja umjetnog glasa. Umjetni glas se onda koristi za generiranje potpuno novih, lažnih snimki ili dijelova snimke. Tehnike kloniranja glasa najčešće se temelje na modelima dubokog učenja i koriste za stvaranje **audio //Deepfakeova//**. U nastavku su opisani neki od alata za kloniranje glasa. Postoji velika mogućnost zlouporabe tih alata za skrivanje ili krađu identiteta. Posljedice zlouporabe su posebno opasne ako se generirane snimke koriste kao dokaz na sudu jer je ponekad vrlo teško otkriti da je snimka umjetna. | **Promjena značajki glasa** uključuje mijenjanje visine, intenziteta, boje i drugih karakteristika glasa. Može se provesti pomoću alata za obradu audio snimki kao što su //[[https://www.audacityteam.org/|Audacity]]// ili //[[https://www.avid.com/pro-tools|Pro Tools]]//. **Kloniranje glasa** je složeniji postupak koji se sastoji od ekstrakcije značajki, odnosno otiska glasa iz jedne snimke te stvaranja umjetnog glasa. Umjetni glas se onda koristi za generiranje potpuno novih, lažnih snimki ili dijelova snimke. Tehnike kloniranja glasa najčešće se temelje na modelima dubokog učenja i koriste za stvaranje **audio //Deepfakeova//**. U nastavku su opisani neki od alata za kloniranje glasa. Postoji velika mogućnost zlouporabe tih alata za skrivanje ili krađu identiteta. Posljedice zlouporabe su posebno opasne ako se generirane snimke koriste kao dokaz na sudu jer je ponekad vrlo teško otkriti da je snimka umjetna. |
| | |
| |
| |
| //[[https://www.descript.com|Descript]]// je alat za audio i video uređivanje. Jedan od ključnih elemenata //Descripta// je //Lyrebird AI//, softver za kloniranje glasa temeljen na umjetnoj inteligenciji. //Lyrebird// na temelju vrlo kratkog isječka govora može izgraditi umjetni glas. Primjenjuje se u kreiranju audio knjiga, za //text-to-speech// čitače i sl. //Lyrebird AI// može se isprobati u besplatnoj verziji alata //Descript// s limitom od tisuću riječi. Neograničeno korištenje moguće je u //Pro// verziji i cijena je 24 dolara mjesečno. | //[[https://www.descript.com|Descript]]// je alat za audio i video uređivanje. Jedan od ključnih elemenata //Descripta// je //Lyrebird AI//, softver za kloniranje glasa temeljen na umjetnoj inteligenciji. //Lyrebird// na temelju vrlo kratkog isječka govora može izgraditi umjetni glas. Primjenjuje se u kreiranju audio knjiga, za //text-to-speech// čitače i sl. //Lyrebird AI// može se isprobati u besplatnoj verziji alata //Descript// s limitom od tisuću riječi. Neograničeno korištenje moguće je u //Pro// verziji i cijena je 24 dolara mjesečno. |
| |
| Primjer kloniranog glasa Petre Ilić dobivenog pomoću alata //Descript//: | {{ :racfor_wiki:fdd:descript.mp3 |}} |
| | |
| {{ :racfor_wiki:fdd:snimka1.ogg |}} | |
| |
| | Primjer 1. Klonirani glas Petre Ilić dobiven pomoću alata //Descript// |
| |
| === Resemble AI === | === Resemble AI === |
| //[[https://www.resemble.ai/|Resemble AI]]// je alat za kloniranje glasa. Na temelju jednog ili više uzoraka izgrađuje umjetni glas. Iz legalnih i etičkih razloga, mora se tražiti dozvola osobe čiji se glas želi klonirati. Nakon izgradnje glasa, pomoću //text-to-speech// čitača generira se snimka govora. Ovaj alat omogućuje kreiranje više verzija istog glasa s različitim emocijama. Također, moguće je generirati govor na nekoliko različitih jezika. Kloniranje glasa pomoću alata //Resebmle AI// može se isprobati besplatno s limitom od 2000 riječi, odnosno oko dvije minute govora. Uzorci se moraju snimiti na //Resebmle AI// platformi. Za 30 dolara mjesečno moguće je generirati snimku govora duljine do dva sata. | //[[https://www.resemble.ai/|Resemble AI]]// je alat za kloniranje glasa. Na temelju jednog ili više uzoraka izgrađuje umjetni glas. Iz legalnih i etičkih razloga, mora se tražiti dozvola osobe čiji se glas želi klonirati. Nakon izgradnje glasa, pomoću //text-to-speech// čitača generira se snimka govora. Ovaj alat omogućuje kreiranje više verzija istog glasa s različitim emocijama. Također, moguće je generirati govor na nekoliko različitih jezika. Kloniranje glasa pomoću alata //Resebmle AI// može se isprobati besplatno s limitom od 2000 riječi, odnosno oko dvije minute govora. Uzorci se moraju snimiti na //Resebmle AI// platformi. Za 30 dolara mjesečno moguće je generirati snimku govora duljine do dva sata. |
| | |
| | {{ :racfor_wiki:fdd:snimka1.ogg |}} |
| | |
| | Primjer 2. Klonirani glas Petre Ilić dobiven pomoću alata //Resemble AI// |
| | |
| | {{ :racfor_wiki:fdd:saprjxqx.mp3 |}} |
| | |
| | {{ :racfor_wiki:fdd:ldbgdset.mp3 |}} |
| | |
| | Primjer 3. Primjeri kloniranih glasova dostupnih na //Resemble AI// platformi |
| |
| === Respeecher === | === Respeecher === |
| //[[https://www.respeecher.com/product?hsLang=en/|Respeecher]]// je, za razliku od prethodna dva, //speech-to-speech// alat. Prednost //speech-to-speech// konverzije je mogućnost generiranja dinamičnijeg i emocijama prožetog govora. //Respeecher// koristi obradu signala i duboko učenje za stvaranje umjetnog glasa i govora visoke kvalitete. Koristi se u produkciji filmova, video igara, audio knjiga i sl. Cijena alata //Respeecher// je 200 dolara mjesečno. | //[[https://www.respeecher.com/product?hsLang=en/|Respeecher]]// je, za razliku od prethodna dva, //speech-to-speech// alat. Prednost //speech-to-speech// konverzije je mogućnost generiranja dinamičnijeg i emocijama prožetog govora. //Respeecher// koristi obradu signala i duboko učenje za stvaranje umjetnog glasa i govora visoke kvalitete. Koristi se u produkciji filmova, video igara, audio knjiga i sl. Cijena alata //Respeecher// je 200 dolara mjesečno. |
| |
| {{ https://www.youtube.com/watch?v=t5yw5cR79VA&ab_channel=respeecher?|Speaking in the voice of Obama (Voice cloning) }} | [[ https://www.youtube.com/watch?v=t5yw5cR79VA&ab_channel=respeecher?|Speaking in the voice of Obama (Voice cloning) ]] |
| | |
| Primjeri kloniranih glasova generiranih pomoću alata //Respeecher//: \\ | |
| [[https://www.respeecher.com/voice-marketplace?hsLang=en|izvor]] | |
| |
| {{ https://fs.hubspotusercontent00.net/hubfs/6187708/audition-voices/deborah_d.wav }} | {{ https://fs.hubspotusercontent00.net/hubfs/6187708/audition-voices/deborah_d.wav }} |
| {{ https://fs.hubspotusercontent00.net/hubfs/6187708/audition-voices/alice_d.wav }} | {{ https://fs.hubspotusercontent00.net/hubfs/6187708/audition-voices/alice_d.wav }} |
| |
| === Aktualni radovi na temu antiforenzike glasa === | Primjer 4. Primjeri kloniranih glasova dostupnih na //Respeecher// platformi \\ |
| | [[https://www.respeecher.com/voice-marketplace?hsLang=en|izvor]] |
| | |
| | |
| | === Aktualni radovi iz područja antiforenzike glasa === |
| | \\ |
| | **[[https://ieeexplore.ieee.org/document/9246264?fbclid=IwAR1Xoil3ctFf_hvMyzYQVURtx0dhzUsysHLG_mQOmYHIv_quuVL7Yys8cXg | NAUTILUS: A Versatile Voice Cloning System]]** \\ |
| | U navedenom radu predstavljen je NAUTILUS - sustav sinteze govora koji može generirati iz tekstualnog ulaza ili iz audio zapisa proizvoljnog govornika. Posebnost sustava je treniranje enkodera i dekodera na skupu više govornika, čime se ostvaruje mogućnost kloniranja neviđenog glasa samo na temelju neoznačenog govora ciljanog govornika. |
| | |
| | **[[https://ieeexplore.ieee.org/abstract/document/9239750?fbclid=IwAR3IkAJvJ_EOTR8juUbGflg2wMiSIO1FF014ffdnGtKdtcCEWXH_ZG3LrLw | Research on Voice Cloning with a Few Samples]]** \\ |
| | Za razliku od većine modela gdje je za kloniranje glasa potrebna velika računalna snaga, puno vremena i puno uzoraka, u ovom radu predstavljene su i testirane ideje kloniranja glasa temeljene na LPCNET modelu koji omogućuje kloniranje glasa na slabijem hardveru i na manjem broju uzoraka. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9373282?fbclid=IwAR0Nae5UDmjPBHPH4WBMkdbfOy0OHzef29H01q3CJiZsfNXlezyiZ5EGRQA | Multilingual Speech Synthesis for Voice Cloning]]** \\ |
| | U spomenutom radu naglasak je na probleme privatnosti i sigurnosti alata kloniranja glasa i glasovnih asistenata potpomognutim umjetnom inteligencijom. |
| | |
| | **[[https://ieeexplore.ieee.org/document/8999436?fbclid=IwAR2ozVYe2YS_h_DHPHippRDca0GCxSWfcCZhX5WOmXRdsGSYh2uG2IDAIxk | Deep Learning Serves Voice Cloning: How Vulnerable Are Automatic Speaker Verification Systems to Spoofing Trials?]]** \\ |
| | U radu je provedeno istraživanje koje provjerava pouzdanost sustava za automatsku verifikaciju govornika (ASV) na novim metodama sinteze baziranih na dubokim neuronskim mrežama. Autori u radu izražavaju zabrinutost jer projekti poput WaveNet, Deep Voice i Deep Loop uspijevaju generirati vrlo prirodne i kvalitetne glasove koji mogu klonirati identitet glasa. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9747319 | Cloning One’s Voice Using Very Limited Data in the Wild]]** \\ |
| | Problemi kojima se ovaj rad bavi su kloniranje glasa s ograničenom količinom podataka te kontrola stila i prozodije kloniranog glasa. Predstavljen je model Hieratron koji prozodiju i timbar modelira pomoću dva modula, što omogućava neovisnu kontrolu različitih karakteristika glasa. Hieratron za ograničenu količinu podataka daje bolje rezultate od tradicionalne metode u kojoj se karakteristike glasa modeliraju zajedno. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9771377 | Neural Fusion For Voice Cloning]]** \\ |
| | Uz ograničenu količinu podataka, teško je osigurati visoku kvalitetu i sličnost stvarnog i kloniranog glasa. U ovom radu predstavljena je arhitektura neuralne fuzije s ciljem rješavanja navedenog problema. Model neuralne fuzije sastoji se od tekstualnog kodera, akustičnog dekodera i referentnog kodera. Rezultati pokazuju da neuralna fuzija poboljšava sličnost stvarnog i kloniranog glasa. |
| | |
| | **[[https://ieeexplore.ieee.org/document/9573848 | Emotional Speech Cloning using GANs]]** \\ |
| | Umjetno generiran govor često zvuči monotono. Ovaj radi bavi se problemom generiranja govora prožetog emocijama. Predstavljen je pristup u kojem se govor i emocije modeliraju kao dva različita entiteta. Prvi dio modela sadrži sintetizator glasa koji generira govor bez emocija koristeći što manje podataka. Izlaz se kombinira s nizom različitih emocija i predaje EmoGAN-u, modificiranoj verziji CycleGAN-a. Cilj je omogućiti dodavanje različitih emocija ovisno o kontekstu rečenice. |
| |
| ===== Detekcija kloniranog glasa ===== | ===== Detekcija kloniranog glasa ===== |
| * dijarizacija govornika | * dijarizacija govornika |
| * otkrivanje koja osoba trenutno govori u slučaju kada se u snimci često izmjenjuje nekoliko osoba | * otkrivanje koja osoba trenutno govori u slučaju kada se u snimci često izmjenjuje nekoliko osoba |
| * {{ https://streamable.com/uef39?|Primjer dijarizacije govornika}} | * [[ https://streamable.com/uef39?|Primjer dijarizacije govornika]] |
| * detekcija lažnog govora | * detekcija lažnog govora |
| * provjera radi li se o legitimnoj ili lažnoj snimci usporedbom sličnosti potencijalno lažnog govora sa stvarnim govorom | * provjera radi li se o legitimnoj ili lažnoj snimci usporedbom sličnosti potencijalno lažnog govora sa stvarnim govorom |
| |
| [7] [[https://github.com/resemble-ai/Resemblyzer]] | [7] [[https://github.com/resemble-ai/Resemblyzer]] |
| | |
| | [8] [[https://ieeexplore.ieee.org/document/9246264?fbclid=IwAR1Xoil3ctFf_hvMyzYQVURtx0dhzUsysHLG_mQOmYHIv_quuVL7Yys8cXg|NAUTILUS: A Versatile Voice Cloning System]], 2020. |
| | |
| | [9] [[https://ieeexplore.ieee.org/abstract/document/9239750?fbclid=IwAR3IkAJvJ_EOTR8juUbGflg2wMiSIO1FF014ffdnGtKdtcCEWXH_ZG3LrLw|Research on Voice Cloning with a Few Samples]], 2020. |
| | |
| | [10] [[https://ieeexplore.ieee.org/document/9373282?fbclid=IwAR0Nae5UDmjPBHPH4WBMkdbfOy0OHzef29H01q3CJiZsfNXlezyiZ5EGRQA|Multilingual Speech Synthesis for Voice Cloning]], 2021. |
| | |
| | [11] [[https://ieeexplore.ieee.org/document/8999436?fbclid=IwAR2ozVYe2YS_h_DHPHippRDca0GCxSWfcCZhX5WOmXRdsGSYh2uG2IDAIxk|Deep Learning Serves Voice Cloning: How Vulnerable Are Automatic Speaker Verification Systems to Spoofing Trials?]], 2020. |
| | |
| | [12] [[https://ieeexplore.ieee.org/document/9747319|Cloning One’s Voice Using Very Limited Data in the Wild]], 2022. |
| | |
| | [13] [[https://ieeexplore.ieee.org/document/9771377|Neural Fusion For Voice Cloning]], 2022. |
| | |
| | [14] [[https://ieeexplore.ieee.org/document/9573848|Emotional Speech Cloning using GANs]], 2021. |
| |
| ~~DISCUSSION~~ | ~~DISCUSSION~~ |
| |
| |
