IOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmall

–

curs 2

Anca Popescu - [email protected] – [email protected]

1 Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei 2013 - 2014

Cuprins

1. Modelul Interpretarii imaginii2. Modelul intelegerii si valorizarii vorbirii3. Fluxuri informationale umane4. Dispozitive I/O la sisteme om-masina5. Performante I/O la om6. Exemple de sisteme om-masina (ALADIN, KIM)7. Sisteme om-masina bazate pe voce

2013 - 2014 Universitatea Politehnica Bucuresti

Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei

2



3

Modelul Interpretarii imaginii



4

Modelul intelegerii si valorizarii vorbirii



5

Fluxuri informationale la om



6

aparat comportare partener rata de date (kByte/s)

Tastatura intrare om 0.01

Maus intrare om 0.02

Intrare vorbire intrare om 0.02

scanner intrare om 200

Iesire vorbire iesire om 0.6

Imprimanta.... iesire om 1

Imprimanta laser iesire om 100

Afisare grafica iesire om 30.000

CPU iesire masina 200

Terminal de retea Intrare sau iesire masina 0.05

Terminal LAN Intrare sau iesire masina 200

Memorie optica memorie masina 500

Banda magnetica memorie masina 2.000

Discheta memorie masina 2.000

CD-ROM memorie masina 6.000

Dispozitive I/O la sisteme om-masina



7

Performante I/O la om

Organul uman Rata de date I/O (kByte/s)

Intarzierea I/O

Ureche 8000 – 60000 10Ochi: citire text 0.030 – 0.370 10Ochi: intelegerea de forme

125.000 10

Mana: Tastare 0.010 – 0.025 100Voce 0.003 – 0.015 100Pentru comparatie: ISDN

8000



8

Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population

: Dezvoltarea de sisteme preventive si de asistenta care sa permita persoanelor in varsta sa traiasca independente in propriile locuinte

: un sistem de iluminare adaptiv, capabil sa se adapteze la nevoile psiho-fiziologice ale unei persoane in varsta

: • Tendinte socio-demografice , rata natalitatii in scadere in societatiel vestice• Durata asteptata de viata in crestere datorita progresului tehnologic si inmedicina • Grup vulnerabil, cu dizabilitati• Programe europene de “active ageing” (imbatranire activa)• Programe similare: sisteme de securitate (prin senzori de miscare si pozitie);sisteme de compensare (alarme pentru activitati fizice, medicamentatie, etc); sisteme de asistare ambientala (AAL – ambient assisted living – monitorizarea starii de sanatate si a nivelului cognitiv prin observare continua)



9


Concept: Lumina are capacitatea de a imbunatati performantele cognitive si de a reduce influentele negative



10




11


Input

Psycho-Physiological Signals

Output

Light Parameters

Signal Processing and

Feature Extraction

Features

Signal Parameters

Controller Controller

Decision and

“Prediction”

Compute the New Light

Parameters

Co

mpa

rato

r

Target / Reference Values

Describe the desired “wellbeing” of the subject

Deviation



12

Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population Fuzzy



13

Exemple (2) Knowledge-driven Information Mining (KIM)

• Cautare la nivel semantic• Acces simplu la cunostinte si date• Descoperire interactiva de cunostinte• Partajarea informatiilor cu alti utilizatori• Interfete vizuale noi• Opereaza cu volume mari de date• Se adapteaza la utilizator si la scenariileformulate de acesta

• O colectie de algoritmi pentru extragerea detrasaturi primitive • Un algoritm de invatare automata (reteaBayesiana) pentru generarea imaginilor clasificate • Un sistem de management al bazelor de datepentru popularea cataloagelor de continut, semantica si cunostinte



14


Moduri de operare

• interogari semantice• permite explorarea unui volum mare de date

• explorarea continutului imaginilor• regasire probabilistica de informatii integrata cu invatare interactiva si clasificareaimaginilor

• extragerea de cunostinte, interpretarea si intelegerea structurilor si obiectelor



15




16




17




18

Sisteme om-masina bazate pe voce

Cele 2 directii de comunicare trebuie tratate separat:



19

Sisteme om-masina bazate pe voce

Avantajele comunicarii prin vorbire: 1. Vorbirea este cea mai naturala si confortabila forma de comunicare

pentru om 2. In cazul sistemelor de control, actionarea prin vorbire ofera

posibilitatea de control “fara maini” 3. Persoane cu dizabilitati motrice 4. Eficient si in absenta iluminarii 5. Nu necesita nici un fel de instruire pentru utilizator



20

Sisteme om-masina bazate pe voce Comunicarea masina-om: Exemplu: call centers, GPS Metode: 1. Sinteza de voce artificiala – exploateaza un set predefinit de esantioane

de vorbire naturala; foloseste baze de date de vorbire si metode de selectie si cuplare a elementelor vorbite pentru generarea de secvente de vorbire. Dezavantaj: limitarea numarului de rostiri posibile

2. Generare de semnal vocal – calculatorul simuleaza procesul natural de producere a vorbirii (se simuleaza activitatea laringelui, coardelor vocale, nazalizari, articulari, modulatii)



21

Sisteme om-masina bazate pe voce Comunicarea om-masina: Recunoasterea automata a vorbirii de catre masina: • introducere date prin input verbal • control al robotilor si masinilor industriale • interactiune cu servicii automate (e.g. phone-banking) 1. Achizitia semnalului si transmiterea acestuia catre sistem2. Preprocesare pentru accentuarea trasaturlor 3. Segmentare pentru localizarea elementelor recognoscibile (foneme, trifoni, etc) 4. Extragerea trasaturilor 5. Recunoasterea elementelor si reconstructia vorbirii 6. Analiza lexicala, sintactica si semantica a vorbirii recunoscute7. Intelegerea sensului frazei rostite

Sistemul fonator uman

22

Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei

• Vorbirea = comunica informatii de

la vorbitor spre ascultator, printr-un

sistem de sunete articulate

• Aparat fonator uman = adaptarea

aparatelor respirator si masticator

la producerea vorbirii

Modelarea producerii vorbirii

23


Generator de impulsuri

Circuit de formare

Generator de zgomot

Modelare traiect vocal

Model radiatie

vocalizate

nevocalizate

Parametri traiect vocal

H(z) R(z)

V(z)

s(n) k

AV

AN

• Cei mai parametri ai modelului:

Tonul fundamental

Decizia vocalizat/nevocalizat

AN ,AV

Modelul tractului vocal al

Foneme

24


• Fonem = cea mai mica unitate fonetica cu sens prezenta in

vorbire; similar cu litera în limbajul scris

• Tipuri de foneme:

Vocale: a, e, i, o, u, â

Consoane

Nazale (m, n)

Fricative nevocalizate (f, s,

Fricative vocalizate (v, z)

Stopatele vocalizate (b, d, g)

Foneme

25


Consoane

Stopatele nevocalizate (p, t, c)

Glisante (r)

Africative (z, h)

Lichide (l)

26


Urechea medie

Memebrana

Presiunea pe timpan

Deplasarea

Deplasarea membranei

• Urechea 3 : urechea urechea

urechea medie

• Omul vorbirea prin 4 parametri:

calitate, intensitate, sunetelor

Parametri semnalului vocal

27


• Decizia vocalizat/nevocalizat: tipul semnalului de . În

cazul semnalelor vocalizate, trenul de impulsuri periodic

semnalului o ;

• Tonul fundamental: perioada trenului de impulsuri folosit ca

în cazul sunetelor vocalizate;

• Formant: concentrare de energie într-o de

de produse în traiectul

vocal

Analiza în timp a semnalului vocal

28


• Scop: determinarea parametrilor globali pentru semnal,

valabil pe termen scurt

• Clasificare:

–

29 Universitatea Politehnica Bucuresti


a e i o u â

f

t

t

• Evenimentele vorbirii se prin intermediul sursei

de semnal:

de



• Semnalul vocal permanent

caracteristicile pentru a codifica diverse succesiuni de foneme

• Nu se pot aplica metodele standard de calcul ce pornesc de la

ipoteza unui sistem liniar invariant în timp

• Pentru decodarea de interlocutor, parametrii

fonem sunt pe o

• Analiza semnalului vocal se face pe în care

semnalul este considerat

30

Ferestruirea semnalului vocal



• caracterului analiza semnalului vocal se

pe segmente de (ferestre) presupus

• Durata ferestrei de : dimensiune 20 – 30 ms

• Pas de prelucrare:

în timp între ferestre de

consecutive;

dimensiune: 10-15 ms

Ferestruirea semnalului vocal



• Ferestruirea semnalului în timp:

• În :

• Orice tip de are un spectru de tip trece jos (un lob

principal la joase mai lobi secundari

diferit

• Dezavantaj: schimbarea structurii spectrale a semnalului

][][][ nwnxnxw

)()()( WXX w



A.

• sub numele de Dirichlet

• Cel mai simplu tip de

• Preia o de semnal, a efectua

• Conduce la de la capete

restinNn

nw,0

10,1][

s

f

TT

N



• pentru minimizarea primului lob secundar

restin

NnN

nnw

,0

0,1

2cos46.054.0][

• Efect de aliere

restin

NnN

nnw

,0

0,1

2cos15.0][

Reprezentare timp

Reprezentare timp

Reprezentare

Reprezentare



-13 dB

-21 dB

Hanning -30 dB

Hamming -40 dB

Blackmann -51 dB

14

N

N4

N4

N4

N4

IOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmall

Documents

Transcript of IOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmall