Diana Iordan (Ciorba)

Master Terapia limbajului si audiologie educationala

Disciplina: Neurobiologia auditiei si fonatiei

Referat:

Analiza si reprezentarea vorbirii

1. Introducere

Vorbirea, privita ca fenomen fizic, consta in modificari ale presiunii acustice aparute ca urmare

a intrarii in actiune a organelor fonatorii. Variatiile presiunii genereaza unde acustice care se propaga

intr-un mediu de comunicare (de cele mai multe ori, aer). Semnalul sonor este captat ulterior de catre

segmente ale analizatorului auditiv ale receptorului si procesat la nivelul cortexului (Greenberg et al,

2001).

Un microfon plasat in campul acustic permite o analiza a semnalului sonor. Se obtine un semnal

electric care descrie variatiile presiunii acustice ca variatii de intensitate electrica in functie de timp.

Semnalul vocal contine informatii despre continutul mesajului verbal, informatii legate de

persoana care a vorbit, despre mediul in care s-a realizat convorbirea, tipul de canal de comunicare

folosit (microfon, echipament de inregistrare, etc.) si altele (Everest, 2001).

Analiza vorbirii se poate realiza la mai multe niveluri: analiza bazata pe semnal – analiza

frecventelor semnalului sonor, analiza bazata pe modele de producere a semnalului verbal (de exemplu

modelul liniar al producerii vorbirii) si analiza bazata pe perceptia mesajului sonor (Greenberg et al,

2001).

2. Tehnici utilizate in analiza vorbirii

2.1. Achizitia de date

Primul pas in achizitia de date ale semnalului vocal este reprezentat de inregistrarea semnalului

sonor. Se utilizeaza de obicei un microfon capabil sa capteze stimuli cu frecvente de la 0 la 10kHz. Al

doilea pas este convertirea semnalului sonor analogic in semnal digital.

2.2. Analiza pe termen scurt

Semnalul verbal nu este un semnal stationar, deoarece organele fonatorii sunt intr-o permanenta

miscare in timpul vorbirii. In schimb, un segment al vorbirii realizat intr-o perioada foarte scurta de

timp poate fi considerat stationar si poate fi deci analizat dupa tehnici de procesare a semnalelor

stationare. De aceea, un enunt va fi impartit in mai multe segmente desfasurate in timp scurt. Aceasta

impartire poarta numele de cadrare. Cadrele pot fi egale sau marimea lor poate varia in timp. Uneori

anumite segmente ale semnalului vorbit poate fi partajat intre doua cadre. Pentru atenuarea efectelor

cadrelor adiacente asupra masurarii parametrilor unor segmente ale semnalului sonor, se realizeaza

operatia de ferestruire, adica multiplicarea valorilor esantioanelor respective cu o fereastra. Cea mai

cunoscuta fereastra in prelucrarea semnalului sonor este fereastra Hamming (Boldea, 2003).

Odata cu divizarea semnalului in segmente cvasistationare, poate debuta procesul de analiza

efectiva a vorbirii. Analiza pe termen scurt a semnalului verbal este prezentata schematic in Figura 1.

(Greenberg et al, 2001)

Exista, dupa cum am precizat mai sus, trei categorii de tehnici de analiza a vorbirii: bazate pe

semnal, bazate pe producerea semnalului si bazate pe perceptia semnalului verbal.

Figura 1. Analiza pe termen scurt a vorbirii (dupa Greenberg)

2.3. Tehnici bazate pe semnal

Analiza bazata pe semnal ia in considerare elementele fundamentale ale semnalului sonor

verbal, fara sa tina cont de modul in care acest semnal a fost produs si nici de modul in care el va fi

procesat de aparatul auditiv. Astfel vorbirea va fi analizata pe fragmente mici, considerate semnale

stationare. Una din metodele de baza de analiza bazata pe semnal este analiza Fourier, care

descompune semnalul in constituentii sau sinusoidali in functie de frecventa si faza. Aplicarea analizei

Fourier pe un segment scurt de vorbire duce la o reprezentare cunoscuta sub numele de Transformarea

Fourier pe termen scurt, prescurtat STFT (short-time Fourier transform). STFT este utilizata in general

ca un banc de filtre, analiza semnalului sonor realizandu-se asemanator cu cea de la nivelul

analizatorului auditiv.

In Figura 2 este reprezentata o forma de unda a semnalului vocal “este o scurta” (Boldea, 2003).

Figura 2. Reprezentarea sub forma de unda a semnalului vocal (dupa Boldea)

Se poate observa amplitudinea mare a vocalelor si amplitudinea mica a consoanelor, mai ales

“t” si “c”.

Din STFT se poate obtine o spectrograma. In spectrograma, intensitatea unei marimi este data

de o scala de gri sau de culori diferite. Spectrograma poate fi de banda larga (rezolutie redusa in

frecventa si mare in timp) si de banda ingusta (rezolutie crescuta in frecventa si redusa in timp). In

spectrograma in banda larga (interval de analiza de 5ms) cvasiperiodicitatea se manifesta prin striuri

verticale corespunzatoare variatiilor energiei semnalului analizat. Zonele de intensitate crescuta situate

la diferite frecvente pe durata diferitelor sunete poarta numele de formanti. Formantii sunt rezonante

ale anumitor cavitati ale tractului vocal prin care oscilatiile de presiune acustica se propaga spre in

exterior, pe parcursul producerii sunetelor vorbirii.

Figura 3. Spectrograme de banda larga si de banda ingusta (dupa Boldea)

In Figura 4 este prezentat rezultatul unei estimari automate a valorilor frecventelor primilor 5

formanti, reprezentate prin puncte suprapuse peste spectograma de banda larga. Frecventele formantilor

constituie o reprezentare foarte compacta a sunetelor vorbirii (Boldea, 2003).

Figura 4. Primii cinci formanti ai semnalului din Figura 3 (dupa Boldea)

In spectrograma se pot evidentia deasemenea diferitele aspecte ale acelorasi consoane si vocale

in functie de contextul de coarticulatie. In Figura 5. se observa formele diferite ale fonemelor “l” si “i”

in propozitia “Si-a luat ladite goale in juru-i” (Boldea, 2003).

Figura 5. Spectrograma pentru evidentierea aspectelor diferite a unor foneme in functie de fenomenul

de coarticulatie (dupa Boldea, 2003).

Analiza vorbirii ce utilizeaza bancul de filtre realizat de STFT are mai multe inconveniente:

filtrele au aceeasi forma, frecventele centrale sunt spatiate la intervele egale, fenestrarea liniteaza

rezolutia analizei.

O alta tehnica de analiza a vorbirii foloseste wavelets, functii matematice ce descompun

sunetele in frecventele lor componente. Filtrele ce utilizeaza wavelets sunt utilizate pentru analiza

semnalelor nestationare atat in domeniul audio cat si video (Akansu & Smith, 1996, citat de Greenberg,

2001). Sunt utilizate in aceasta tehnica cadre ce se contracta sau se dilata pentru a pune in evidenta

detalii ale semnalului ce depind de propritatile sale temporale. Moore, 1989 (citat de Greenberg et al,

2001) considera ca un tip similar de analiza a frecventei sunetelor este utilizat de analizatorul auditiv

uman.

2.4. Tehnici bazate pe producere

Semnalul vocal nu este un semnal sonor arbitrar; el este produs de un sistem fizic bine definit

(tractul vocal) intr-o maniera inca neelucidata pe deplin.

Unul din cele mai folosite si cunoscute modele ale producerii semnalului vocal utilizate in

analiza vorbirii este modelul liniar al vorbirii (Fant, 1960, citat de Greenberg et al, 2001). Vorbirea este

rezultatul trecerii semnalului generat de o sursa sonora localizata la nivelul tractului vocal, printr-un

filtru. Acest filtru este reprezentat de variatiile geometrice ale tractului fonator ocazionate de diferitele

miscari articulatorii, cuplarea intermitenta a cavitatii nazale la cavitatea rezonatorie bucala, efectele

tesuturilor netede de la nivelul peretilor tractului vocal asupra fluxului de aer expirat, efectele frecarii si

conducerii caldurii de la nivelul peretilor tractului vocal, ale vibratiei acestuia (Greenberg et al,

2001).Sursa sonora cuprinde o componenta cvasiperiodica in raport cu vibratiile corzilor vocale,

generata deci la nivelul glotei si responsabila de producerea vocalelor, a consoanelor sonore si a

sonantelor precum si o componenta neperiodica in raport cu pozitia indepartata a corzilor vocale, in

cazul vorbirii in soapta sau a pronuntiei consoanelor surde, fricative si ocluzive. In vorbirea fluenta,

caracteristicile sursei si filtrului se modifica in timp, astfel incat apare o variatie in timp a frecventelor

sunetelor emise.

In modelul liniar al producerii vorbirii se considera ca proprietatile filtrului (de exemplu

invelisul spectral) transporta cea mai mare parte a mesajului lingvistic, in timp ce rolul sursei este de a

determina excitatii la nivelul filtrului in scopul producerii semnalului acustic audibil. Varfurile

invelisului spectral corespund varfurilor formantilor. Frecventele formantilor depind de geometria

cavitatilor fonatorii si sunt tipic mai inalte la femei si copii, si mai joase la barbati.

Analiza prin predictie liniara a fost introdusa in analiza vorbirii in anii 1970. Se estimeaza

valoarea unui esantion din semnal pe baza unei combinatii liniare a unui numar de esantioane

anterioare. Numarul de coeficienti de predictie folositi depinde de largimea de banda a semnalului

vocal analizat si de precizia dorita a modelarii. Analiza prin predictie liniara se aplica eficient pentru

portiunile sonore ale semnalului vocal. Consoanele surde si cele nazale nu pot fi bine caracterizate.

Scopul acestei analize este mai ales sa determine invelisul spectral. Cu cat marimea de ordine a

modelului de predictie liniara creste, cu atat spectrul poate fi analizat mai bine aproximat.

O alta posibilitate de estimare a invelisului spectral al semnalului vocal o reprezinta analiza

cepstrala. Daca se logaritmeaza transformata Fourier a unui semnal sonor, se obtine o transformata

Fourier inversa, care face trecerea dintr-un domeniu de frecventa intr-un alt domeniu definit prin

anagramarea unor caracteristici din domeniul frecventa (cvefrenta - frecventa, cepstrul - spectrul).

Importanta acestei analize rezida in posibilitatea folosirii cepstrului in algoritmi de decizie asupra

caracterului sonor sau nesonor al unor segmente ale semnalului vocal. In plus, valorile cepstrului de la

cvefrente joase pot fi puse in corespondenta cu componenta lent variabila a spectrului determinata de

tractul vocal (filtru), iar cele de la cvefrente superioare cu structura spectrala fina datorata excitatiei.

Analiza cepstrala poate fi deci utilizata si pentru separarea componentelor sursei de cele ale filtrului

(Greenberg et al, 2001).

2.5. Tehnici bazate pe perceptie

Aceste tehnici incearca sa prezinte semnalul vocal din perspectiva sistemului de procesare al

vorbirii si isi propune sa extraga din vorbire numai informatiile relevante pentru sistemul auditiv.

Tehnicile de analiza ce utilizeaza scala de frecventa neliniara au aparut in anii 1970, cand

Makhoul (citat de Greenberg et al, 2001) a aproximat diferite parti ale spectrului vorbirii cu modele de

predictie liniara de ordine diferite: banda de frecventa mai joasa a spectrului este aproximata cu un

model de predictie liniara de ordin inalt, in timp ce banda de frecventa mai inalta a spectrului este

aproximata cu un model de predictie liniara de ordin scazut, ceea ce face ca la frecvente inalte sa se

obtina mai putine detalii despre spectru.

Analiza cepstrala Mel este folosita in mod uzul astazi de catre sistemele de recunoasterea

automata a vorbirii. Mel este unitatea de masura a scarii melodice folosita pentru inaltimea sunetelor

(scala a fost construita dupa multe experimente ce au facut corelatia intre frecventa unui sunet si

inaltimea sa – marime perceptiva; vezi Figura 5). Cepstrul melodic este obtinut prin modificarea

analizei cepstrale, luand in considerare perceptia neliniara cu frecventa a inaltimii sunetelor.

Figura 5. Corespondenta dintre inaltime si frecventa (dupa Boldea)

Integrarea in analiza cepstrala a fenomenului perceptiei neliniare cu frecventa a inaltimii, se

face estimand un spectru melodic dupa transformarea Fourier directa prin sumarea ponderata a

componentelor spectrale din benzi de frecventa corespunzatoare unui anumit numar de filtre, fiind

astfel atenuate efectele structurii spectrale fine (Boldea, 2003).

Un alt tip de tehnici propuse pentru analiza vorbirii bazata pe perceptie iau in considerare

proprietatile dinamice ale perceptiei auditive, ca de exemplu rezolutia temporala, efectul de mascare,

adaptarea temporala, si altele.

Reprezentarile auditive complexe bazate pe descrierea mecanismelor fiziologice ale perceptiei

auditive umane au dus la construirea unor sisteme performante de recunoastere automata a vorbirii.

Macarea temporala a fost folosita pentru cresterea eficacitatii codarii semnalelor muzicale si vorbite.

Greenberg si Kingsbury (1997), (citati de Greenberg et al, 2001), au dezvoltat un instrument de

vizualizarea a vorbirii, reprezentand vorbirea in termeni de frecvente modulate dominant (in jur de 2-

8Hz). Spectrograma lor modulata utilizeaza o inalta rezolutie a frecventei modulate si o rezolutie

temorala redusa.

3. Utilitatea analizei si reprezentarii vorbirii in psihopedagogia speciala

Progresele realizate in analiza si reprezentarea vorbirii au permis conceperea, adaptarea si

utilizarea unor programe computerizate de vizualizare a vorbirii, care ofera persoanelor cu deficienta de

auz un feedback, care sa le permita controlul asupra unor parametrii perturbati ai limbajului lor oral.

Subiectii cu surditate prezinta deseori o voce monotona, in falset, ragusita, nazala sau inspirata. In

cursul vorbirii apar deseori “caderi”, ce denota dificultati in realizarea controlului tensiunilor corzilor

vocale si a presiunii subglotice (Ivimey, 1995, citat de Preda, 2007). Deficientii de auz prezinta

deasemenea o frecventa fundamentala mai ridicata decat la normoauzitori, ca urmare a unui slab

control laringian si a tensiunii corzilor vocale, precum si a nivelului ridicat de stres asociat cu efortul

producerii vorbirii, care genereaza o gestiune incorecta a curentullui de aer (Giusti, 2000, citata de

Preda, 2007). Pentru a avea succes in domeniul recuperarii si reabilitarii limbajului verbal la copiii cu

deficienta de auz programele de vizualizarea vorbirii trebuie sa indeplineasca criterii esentiale:

patternul vizual trebuie sa fie simplu si clar pentru ca elevul hipoacuzic sa-l inteleaga si sa-l valorifice

in antrenamentele verbale, patternul vizual trebuie prezentat in timp real si programul trebuie sa fie

usor de transportat si de folosit acasa.

Analizand limbajul copiilor cu deficiente de auz de grade diferite, precum a copiilor sau

adultilor cu implant cohlear, au fost puse in evidenta in mod obiectiv particularitatile de articulare, de

voce, de ritm si fluenta, de intonatie. In ceea ce priveste tulburarile de articulare ale vocalelor, acestea

au fost puse in evidenta mai ales in legarea lor in silabe si cuvinte, si mai putin frecvent in pronuntia

izolata. Cauza principala este lipsa de coordonare intre planul articulator si fonator si necesita seturi

specifice de exercitii de corectare, adecvate pronuntiei fircarei vocale (Anca, 2005).

Pornind de la ipoteza ca vizualizarea vorbirii permite o evaluare obiectiva a pronuntiei

deficientilor de auz, spectrogramele pot fi utile in cadrul programelor personalizate de antrenament

auditiv-verbal, de corectare a pronuntiei prin raportarea pronuntiei defectuoase la cea standard, cat si

prin comparatii succesive ale pronuntiei aflate in diverse stadii de corectare (Anca, 2005).

4. Exemplu de program pentru analiza si reprezentarea vorbirii

Paul Boersma si David Weenink, profesori la departamentul de Fonetica a Universitatii din

Amsterdam au conceput un program numit Praat (varianta actuala este 5.1.23), cu ajutorul caruia se pot

realiza analiza, sinteza si manipularea vorbirii. Programul se poate descarca gratuit de pe site-ul

Laboratorului de Fonetica al Universitatii olandeze.

Bibliografie:

1. Anca, M. (2005) Logopedie (a doua editie). Cluj-Napoca, Presa Universitara Clujeana.

2. Boldea, M. (2003) Contributii la recunoasterea automata a vorbirii continue in limba romana.

Teza de doctorat. Universitatea Politehnica din Timisoara, Facultatea de Automatizari si

Calculatoare.

3. Everest, F.A. (2001) Master Handbook of Acoustics, Fourth Edition, Mc. Grow Hill

4. Greenberg, S., Ainsworth, W.A., Popper, A.N., Fay, R.R. (2001) Speech Processing in the

Auditory System. First Edition, Springer.

5. Http://www.fon.hum.uva.nl/praat/

6. Preda, V. (2007) Elemente de psihopedagogie speciala, Cluj-Napoca, Eikon.