MANIPULATOARE SI ROBOTI INDUSTRIALI -...

71
ROBOTI INDUSTRIALI 1 Vederea artificiala Un robot lucrand in lumea reala poate realiza sarcini multiple fara a utiliza vederea artificiala Cu cat lumea perceputa de robot devine din ce in ce mai putin perfecta, viziunea va deveni din ce in ce mai importanta pentru robot, ajutandu-l sa se adapteze schimbarilor si circumstantelor necunoscute.

Transcript of MANIPULATOARE SI ROBOTI INDUSTRIALI -...

Page 1: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 1

Vederea artificiala

• Un robot lucrand in lumea reala poate realiza

sarcini multiple fara a utiliza vederea artificiala

• Cu cat lumea perceputa de robot devine din

ce in ce mai putin perfecta, viziunea va deveni

din ce in ce mai importanta pentru robot,

ajutandu-l sa se adapteze schimbarilor si

circumstantelor necunoscute.

Page 2: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 2

Viziunea umana

• Serveste atat ca sistem senzorial pentru distante scurte cat

si pentru distante lungi

• Organul de procesare al imaginii : OCHIUL

• Informatia vizuala plecand de la ambii ochi urmareste doua

cai numite:

• calea informatiei “ce a fost vazuta”

• calea informatiei “unde a fost vazuta scena sau

obiectul”.

Page 3: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 3

Viziunea umana

Page 4: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 4

Ochiul unei muste

Marit de

200 de ori

Page 5: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 5

Etapele viziunii umane pe care le-

am dori realizate de catre roboti

Procesul viziunii porneste de la momentul

observarii unui obiect care este iluminat de

o sursa de lumina observabila.

SURSA DE ILUMINARE – pentru om –

consta in energie electromagnetica din

domeniul vizibil.

Page 6: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Spectrul Electromagnetic

ROBOTI INDUSTRIALI 6

Spectru Vizibil

700 nm 400 nm

Page 7: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 7

Etapele viziunii umane pe care le-

am dori realizate de catre roboti

Ochiul converteste energia luminoasa in

semnale electrice care pot fi procesate de catre

lantul sistemului vizual.

In cadrul acestui sistem, semnalul este analizat

pentru detectarea miscarii si marginilor, apoi, a

liniilor, a formelor si in final pentru intelegerea

imaginii.

Page 8: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 8

Senzorul vizual - OCHIULActioneaza ca o camera de luat vederi inteligenta procesand

informatia inainte de a o transmite la creier.

Page 9: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Comparatie

9

Sase muschi extraoculari (fixeaza

globul ocular in orbite)

CMUcam2+

Page 10: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 10

Etape in extragerea

caracteristicilor scenei

Detectare contururi - procesul de gasire a marginilor intre

diverse arii cu intensitati luminoase diferite ale energiei

vizuale. Sarcina realizata de catre ochiul uman.

Detectare miscare - procesul de detectare a lucrurilor care

se misca in campul vizual. La om acest proces are loc la

nivelul creierului (mesencephalon).

Page 11: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 11

Etape in extragerea

caracteristicilor scenei

Detectare linii obiecte - procesul de reprezentare a

marginilor identificate sub forma de linii.

Detectare forma obiecte - procesul de preluare a liniilor

detectate si studiul in a identifica daca acestea formeaza

obiecte de forme cunoscute.

Page 12: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 12

Perfomanta sistem de viziune

uman si animal

Capacitati deosebite in a

recunoaste obiecte

plecand de la

vizualizarea numai a

unor parti ale acestora.

Abilitatea aceasta

provine din experienta.

Page 13: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 13

Etape in extragerea

caracteristicilor scenei

Intelegerea scenei - procesul final din lantul de procesare a

informatiei vizuale. Uneori nici oamenii nu finalizeaza acest

pas.

Culoare, Nuante, Textura – informatii suplimentare asupra

scenei vizualizate.

Page 14: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 14

Etape in extragerea

caracteristicilor scenei

Informatie preconizata – informatie care ia

in calcul experienta umana => cheia

procesarii atat de rapide in sistemul de

viziune umana. Utilizarea acestui tip de

informatie reprezinta in fapt o filtrare. Ajuta

la reducerea supraincarcarii cu informatie.

Page 15: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 15

Etape in extragerea

caracteristicilor sceneiAlt mod de evitare al captarii excesului de informatie – operare

cu senzori vizuali cu intrerupere controlata si detectare de nivel

luminos.

Controlul intreruperii unui dispozitiv tip senzor vizual conduce

la furnizarea informatiei catre procesor numai in momentul in care

intrarea contine ceva nou, unic de analizat.

Detectie nivel informatie vizuala – permite intrarii sa solicite o

intrerupere numai cand noua informatie primita constituie o

modificare fata de informatia anterioara cu cel putin un nivel

anterior setat al unei caracteristici a informatiei vizuale.

Page 16: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 16

Ce intelegem dintr-o imagine ?

FLY

pe verticala

Page 17: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 17

Ce intelegem dintr-o imagine ?

WIN

pe verticala

Page 18: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 18

Ce intelegem dintr-o imagine ?

Page 19: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 19

Ati vazut si tanara doamna ?

Page 20: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 20

Sistemul de viziune artificial

Obiect

Elem.

sensibile

Convertor

semnal optic

in electric

Reprez.

Imag.

Extrag.

caract.

Caract.

Obiect

Caract.

Obiecte

Actiune robot

Lumina

reflectata Senzori vizuali

Recunoastere totala sau partiala

+ -

Page 21: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 21

Analizoare de imagine cu matrice

de diode

Cir

cuit

de

ad

resa

re s

i ta

ct

Reg

istr

u

Poarta de

transfer

Poarta de

transfer

Poarta de

transfer

Registru

de citire

Matrice

bidimensionala

de fotodiode

start

Page 22: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 22

Analizoare de imagine cu tub

Vidicon

Constructia tubului Vidicon

Page 23: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 23

Analizoare de imagine cu tub Vidicon

Schema electrica

echivalenta

Acest analizor realizeaza

prelucrarea imaginii linie

cu linie printr-un baleiaj

al tintei cu un fascicul

electronic emis de un tun

electronic, sub actiunea

unor campuri electrice si

magnetice.

Page 24: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 24

Captarea imaginii

Imginea este captata de catre

un senzor ( camera TV

monocroma sau color) si

digitizata.

Daca iesirea senzorului nu

furnizeaza deja semnalul in

forma digitala, se utilizeaza un

convertor analog-digital.

Page 25: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 25

Captarea imaginii

Camera video are 2 parti:

Lentile care colecteaza tipul de

radiatie corespunzator emis de

catre obiect si care formeaza

imaginea obiectului real.

Un dispozitiv semiconductor

CCD care converteste radiatia

planului de imagine in semnal

electric.

Page 26: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 26

“Frame Grabber”

“Frame grabber” – circuite

care digitizeaza semnalul

electric furnizat de

senzorul de imagine

pentru a stoca imaginea

in memoria RAM a

calculatorului.

Page 27: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Reprezentare imagine

Imaginile sunt reprezentate printr-o functie

intensitate luminoasa f(x,y) unde:

– x si y sunt coordonate spatiale;

– Valoarea functiei f este proportionala cu

luminozitatea (nivel de gri) imaginii.

O imagine digitala u(m,n) este reprezentata

printr-o matrice (nr. liniei si al coloanei

identifica punctul imaginii iar valoarea in

matrice indica nivelul de gri al acelui

punct). Un punct = „pixel‟.

Page 28: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Imaginea Imagine : o arie de pixeli bidimensionala

Indicii [i, j] ai pixelilor : valori intregi

Page 29: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Reprezentare Imagine

Pentru stocare in calculator se construieste o matrice ale carei elemente

contin valori de nivel de gri corespunzatoare unui pixel (i,j).

O reprezentare tipica a unei imagini poate contine valori a 256 nivele de

gri (pe 8 biti).

Valorile stocate sunt intre 0-255.

Page 30: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Esantionare, impartire in

pixeli si cuantificare Esantionare

– Imaginea reala este esantionata intr-un numar finit

de puncte.

– Rata de esantionare: rezolutie imagine

Cati pixeli poate avea o imagine digitala ?

e.g.) 640 x 480, 320 x 240, etc.

Pixel

– Fiecare esantion al unei imagini

– In punctul de esantionare = o valoare intreaga a

intensitatii luminoase a imaginii

Page 31: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Cuantificare

– Fiecare esantion este reprezentat pe

un cuvant (word) de dimensiune fixa

in calculator.

– Cate nivele ale intensitatii luminoase

pot fi utilizate pentru a reprezenta

intensitatea intr-un punct de

esantionare ?

– exp.) 28 = 256, 25 = 32, etc.

Page 32: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Interfatare Camera Digitala la CPU

Interfatare la CPU (Central Processing Unit):

• Complet dependenta de specificatiile senzorului camerei

• Senzorii necesita diverse tipuri de protocoale de interfatare

versatilitate proiectare hardware

software foarte complicat

• Tipic: 8 biti paralel (sau 4, 16, serial)

• Necesare multe semnale de control.

Page 33: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Interfatare Camera Digitala la CPU

Senzorii camerelor digitale sunt chip-uri foarte complexe.– prezinta similitudinile unor chipuri de controlere

embedded.

Unii senzori au un buffer prentru datele camerei si permit citirea lenta via handshake (ideal pentru microprocesoare lente)

Multi alti senzori trimit intreaga imagine tip streamdupa semnalul de start– (CPU suficient de rapid pentru a citi, sau sa utilizeze buffer

hardware sau DMA)

Page 34: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Diagrama simplificata a

interfetei camera - CPU

Page 35: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Probleme – Camere Digitale

Problema

• Fiecare pixel de la camera cauzeaza o intrerupere

• Rutinele care deservesc intreruperile dureaza mult, deoarece trebuie sa stocheze valorile registrilor in stiva

• Totul este incetinit

Solutie

• Utilizati buffer RAM pentru imagine si cititi datele intregii imagini cu o singura intrerupere

Page 36: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

• Idee

• Utilizare FIFO ca buffer al datelor imaginii

• FIFO este similar unui RAM, si e necesar deoarece nu exista o sincronizare intrecamera si CPU

• Cand FIFO este jumatate plin, se va genera o intrerupere

• Rutina de tratare a intreruperii va citi din FIFO pana il va goli

• (Se presupune o intarziere destul de mica pentru a evita suprascrierea FIFO)

Page 37: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Camere digitale Chip camera nivele de gri : 160×120 pixeli

1 Byte per pixel

Page 38: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Camere digitale

Chip camera color: 160×120 „pixeli‟

Bayer Pattern

1 Byte per patrat

4 patrate formeaza un pixel

Page 39: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Operare pe matricea de

imagine Filtrarea spatiala presupune suprapunerea unei masti cu

ponderi, sau kernel, peste imaginea originala. Valoarea

pixelului din centrul kernelului se va inlocui cu suma

produselor ponderilor din masca cu valorile pixelilor de

sub acestea.

Page 40: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Operatori spatiali pe imagine

Operatie realizata asupra pixelilor vecini

Fiecare pixel va primi ca valoare suma

valorilor ponderate ale pixelilor vecini

Filtru median: diminuare zgomot imagine

Efect de blurare

Page 41: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Masti – detectare contur

Page 42: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Segmentarea Include:

– Lucrul cu nivele de prag (thresholding);

– Detectare contur;

Thresholding – separarea unor portiuni din

imagine pe baza unui prag aplicat nivelelor

de gri.

Page 43: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Etichetare Fiecare grup este etichetat cu o valoare unica; Se

scaneaza imagine si cand se intalneste un pixel

alb, toti vecinii albi din acel grup se eticheteaza cu

aceeasi valoare.

Valoare “1”

Page 44: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Detectare contur

Segmentarea imaginii prin determinarea

diferentelor mari intre 2 portiuni;

Utilizare masca spatiala

Page 45: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Extragere caracteristici

Determinarea caracteristicilor unei imagini segmentate.

Uzual se realizeaza pe o imagine binara, rezultat al unei operatii de thresholding.

Cele mai comune caracteristici extrase:

1. Arie.

2. Perimetru.

3. Centru de masa.

4. Grad de compactizare.

Page 46: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Extragere caracteristici - arie

Algoritm simplu: scanare imagine si

numarare nr de pixeli asignati cu valoare

“2”

Page 47: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Extragere caracteristici - perimetru

Pixeli de pe perimetru

Pixelii de pe o arie (alba), invecinati cu un pixelul etichetat “0”

Page 48: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 48

Imbunatatire calitate imagine

Stergerea unor detalii obscure si imbunatatirea unor

caracteristici de interes ale imaginii.

Page 49: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 49

Recuperarea imaginii initiale

Imbunatatirea aparentei unei imagini

Deseori bazata pe modele matematice sau

probabilistice aplicate imaginii degradate.

Imagine degradataImagine recuperata

Page 50: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 50

Matlab – mediu de lucru si

prelucrare imaginiImagine in nivele de gri

(256*256): 256 linii

for i=1:256

for j=1:256

A(i,j)=j-1;

end

end

image(A);

colormap(gray(256));

axis('image');

Page 51: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 51

Matlab – mediu de lucru si

prelucrare imaginiImagine (256*256) cu un cerc

de raza 80 pixeli:

Page 52: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 52

Matlab – mediu de lucru si

prelucrare imaginiImagine (256*256) cu

modificare graduala a unui

cerc de raza 80 pixeli:

Page 53: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 53

Matlab – mediu de lucru si

prelucrare imaginiImaginile scrise ca matrici N×M:

Cazul „matrice‟ – elementul (i,j) are valoarea A(i,j);

Cazul „imagine‟ – pixelul (i,j) are valoarea A(i,j);

Page 54: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 54

Procesare simpla - transpusa

A B

Page 55: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 55

Procesare simpla – vedere in

oglinda

A B

Page 56: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 56

Procesare simpla - decupare

AB

Page 57: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 57

Statistica imagini - histograma

Histograma unei imagini hA(l), (l=1,…,255) se defineste:

Numarul de pixeli ai imaginii A

Page 58: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 58

Mod de calcul histograma

sau

Page 59: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 59

Exemplul I - histograma

Page 60: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 60

Exemplul II - histograma

Page 61: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 61

Exemplul III - histograma

Page 62: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 62

Procesare digitala la nivel de

punct – obtinere negativ

Page 63: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 63

Comparatie imagine initiala cu

negativ la nivel de histograma

Page 64: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 64

Alte prelucrari – “extragere

felii de imagine” (slicing)

Page 65: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 65

Alte prelucrari – valori de prag

Page 66: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

ROBOTI INDUSTRIALI 66

Alte prelucrari – detectare

contur

Page 67: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Arhitectura sistemului de urmarire a unui obiect

Page 68: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Kit-ul CMUcam2+

Page 69: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Kit-ul CMUcam2+

Page 70: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Urmarirea obiectelor colorate1. Scanarea

imaginii

2. Izolarea unei anumite culori

3. Extragerea de informatii despre regiunea imaginii care contine culoarea urmarita

Page 71: MANIPULATOARE SI ROBOTI INDUSTRIALI - iota.ee.tuiasi.roiota.ee.tuiasi.ro/~mpobor/doc/Cursuri/RICurs5.pdf · globul ocular in orbite) CMUcam2+ ROBOTI INDUSTRIALI 10 Etape in extragerea

Obiectivele robotului :

Detectarea obiectului tinta pe baza atributelor sale precizate

deplasarea catre acesta

recuperarea lui