Download - Vasile Bogdan

Transcript
Page 1: Vasile Bogdan

Vasile Bogdan<[email protected]>

Vasile Bogdan<[email protected]>

UNIVERSITY POLITEHNICA of BUCHARESTDEPARTMENT OF COMPUTER SCIENCE

UNIVERSITY POLITEHNICA of BUCHARESTDEPARTMENT OF COMPUTER SCIENCE

Transmisia datelor multimedia in retele de Transmisia datelor multimedia in retele de calculatoarecalculatoare

Content Based Architecture For Video transcodingContent Based Architecture For Video transcoding

Page 2: Vasile Bogdan

2

Page 3: Vasile Bogdan

CuprinsIntroducereTranscodingMPEG-1Tipuri de transcodereAbordarea propusăConcluziiÎntrebăriReferinţe

3

Page 4: Vasile Bogdan

IntroducereOdată cu dezvoltarea terminalelor mobile

si a retelelor de comunicatie cantitatea de date multimedia destinate acestora a crescut considerabil

O foarte mare parte din datele care circula intre si catre dispozitivele mobile sunt stream-uri video

Necesare prelucrări ale sursei pentru a obtine compatibilitate cu dispozitivul destinaţie.

4

Page 5: Vasile Bogdan

Introducere(2)Ecranele dispozitivelor mobile sunt de obicei

mici ca rezoluţie şi de calitate slabă comparativ cu ecranele mari.

Puterea de calcul de care dispun terminalele este redusă, ceea ce înseamnă ca prelucrările asupra fluxului de date nu pot fi făcute offline, pe dispozitivul client

Lăţimea de bandă nu este nici ea foarte mare, ceea ce poate crea probleme în ceea ce priveşte cursivitatea redării.

5

Page 6: Vasile Bogdan

TranscodingPentru a adapta datele video condiţiilor impuse

de terminale si de reţelele de comunicaţie care le deservesc, formatul video trebuie modificat dinamic, online, astfel incât să ajungă gata de redare la client.

Această procedură poartă numele de transcoding şi presupune transformarea formatului folosit pentru date vizând unul din aspectele:Conversie de bitrateConversie de rezoluţieConversie sintactică

6

Page 7: Vasile Bogdan

Conversie de bitrateFormatul sursă presupune un video la o

calitate bună sau foarte bună, dar transferul său consumă foarte multă bandă.

Terminalele în general nu pot beneficia de suplimentul de calitate.

Clipul este transformat in unul cu bitrate mai mic, ceea ce duce la o incărcare mai mică a retelei şi la o redare mai fluentă.

7

Page 8: Vasile Bogdan

Conversie de rezoluţieÎn cele mai multe cazuri, rezoluţia ecranelor

terminalelor este mică în comparaţie cu rezoluţia sursei

Se face conversia la o rezoluţie mai mică, compatibilă cu terminalul

Rezolvă şi probleme privitoare la lăţimea de bandă

8

Page 9: Vasile Bogdan

Conversia sintacticăPresupune transformarea formatului datelor

în un format suportat de dispozitivul mobilPoate fi făcută atât online, cât şi offline în

cazul în care dispozitivele suportă instalarea de codecuri.

De cele mai multe ori, sunt folosite combinaţii ale celor trei metode, alaturi de algoritmi de compresie a datelor.

9

Page 10: Vasile Bogdan

MPEGProtocol care permite comprimarea unui stream

video şi a unuia audio, într-un format lossy Profită de imposibilitatea ochiului uman de a

distinge între schimbările subtile în cromatică (spre deosebire de strălucire)

Constituit din diverse tipuri de frame-uri:I-frame : Frame-uri care conţin informaţii ce

permit căutarea în fişier şi prelucrarea acestuiaP-Frame(Predicted Frame): Conţin variaţiile faţă

de frame-urile de bază, folosite pentru a reconstitui frame-uri complete.

10

Page 11: Vasile Bogdan

MPEG(1)B-Frames(Bidirectional Frames): Folosite pentru

reconstituirea unei scene pe baza unor frame-uri precedente, precum şi a unora viitoare

D-Frames: Conţin numai coeficienţii DC ai transformarii cosinus discrete

Macroblocks: Blocuri de 16x16 pixeli. Desi MPEG este definit pentru blocuri de 8x8, datorita rescalarii in domeniul cromatic sunt necesare aceste blocuri mai mari

Vectori de Miscare: La nivel de macroblock, memorează variaţiile din scene consecutive

11

Page 12: Vasile Bogdan

Transcoder in cascadă

Cel mai simplu transcoder este cel în cascadăFluxul de date este decodat comform protoculului

folosit iniţial şi apoi este recodat în formatul necesarConsumă multe resurse computaţionale

12

Page 13: Vasile Bogdan

Transcoder pentru scăderea de bitratePentru reducerea de bitrate este preferabilă în

schimb utilizarea unui transcoder care să aibă la intrare formatul sursă şi la iesire formatul destinaţie, cu toate transformările necesare deja efectuate.

Bitrate-ul redus este obţinut prin folosirea transformării cosinus discrete(coeficienţii transformării sunt scalaţi sau ignoraţi optimal)[1]

Erorile de reconstituire sunt cumulative.Vectorii de mişcare din sursă nu pot fi folosiţi ca

atare în noul format, din cauza variaţiei mari de bitrate.

13

Page 14: Vasile Bogdan

Transcoder pentru scăderea de bitrate(1)

Scalarea vectorilor de mişcare ar asigura o calitate bună dar consumă multe resurse computaţionale

Se foloseşte o scalare parţială a vectorilor de miscare, luându-se drept sursă doar o parte a imaginii.

14

Page 15: Vasile Bogdan

O abordare mai eficientă

15

Page 16: Vasile Bogdan

Extragerea de caracteristiciFiecare vector de mişcare corespunde unui bloc

de 16x16 pixeliSunt necesare informaţiile folosite pentru TCDVectorii de mişcare sunt grupaţi in funţie de

magnitudine şi de direcţie şi mulţimea obţinută este considerată ca fiind un potenţial obiect

Analiză de texturi şi marginiPe baza coeficienţilor TCD, se calculează

energia texturii, ca un mod de a obţine caracteristici diferite pentru obiectele în sine şi fundal

16

Page 17: Vasile Bogdan

Calculul energiei – model propus

17

Page 18: Vasile Bogdan

• Folosind coeficienţii TCD se pot deduce caracteristicile diagonale, orizontale şi verticale ale blocurilor, ceea ce va permite diferenţierea lor in blocuri textură şi blocuri de graniţă

18

Page 19: Vasile Bogdan

Control temporalFolosind vectorii de mişcare se merge pe ideea că

o mişcare lină corespunde unor vectori de mişcare care nu reflectă schibări bruşte.

În acest fel se poate stabili gradul de corelaţie între diferite frame-uri şi astfel se poate decide ponderea unui frame în determinarea altor frame-uri apropiate

19

Page 20: Vasile Bogdan

TranscodareaTranscodarea va fi controlată de un modul

special, pentru a asigura scalabilitatea soluţiei

După toate etapele prezentate, transcodarea în sine se va realiza tot prin scalarea coeficienţilor TCD în cazul modificarii de bitrate, la care se adaugă operaţiile necesare reducerii rezoluţiei în cazul în care aceasta este necesară.

20

Page 21: Vasile Bogdan

ConcluziiAvând în vedere trecerea tot mai accentuată în

domeniul live-streaming, metote tot mai eficiente de transcodare trebuiesc găsite.

Deşi terminalele devin tot mai puternice, la fel se întâmplă şi cu setea de HD a utilizatorilor (dar şi a marketerilor)

Pe viitor necesitatea de a obţine algoritmi care să ofere o calitate tot mai bună a imaginii va fi tot mai mare, dispariţia nevoii de a rescala filmele nu va insemna dispariţia nevoii de transcodare.

21

Page 22: Vasile Bogdan

Întrebări?

22

Page 23: Vasile Bogdan

ReferinţeCONTENT BASED ARCHITECTURE FOR VIDEO

TRANSCODING – Ashraf M.A. Ahmad1, Bashar Mammon Ahmad

MPEG-1 format : http://en.wikipedia.org/wiki/MPEG-1#Part_1:_Systems

Image Compresion: http://www.acm.org/crossroads/xrds6-3/sahaimgcoding.html

Texas Instruments DaVinci hardware Transcoder

http://www.ti.com/corp/docs/landing/transcoding/index.htm

23