1 autare a imaginilor p e baza similarit at ii vizuale a cont in utului acestora are patru comp onen

download 1 autare a imaginilor p e baza similarit at ii vizuale a cont in utului acestora are patru comp onen

If you can't read please download the document

  • date post

    24-May-2020
  • Category

    Documents

  • view

    1
  • download

    0

Embed Size (px)

Transcript of 1 autare a imaginilor p e baza similarit at ii vizuale a cont in utului acestora are patru comp onen

  • Constantin VERTAN Mihai CIUC

    C�autarea imaginilor prin similaritatea

    cont�inutului: o introducere

    Editura Printech

    2002

  • Cuvânt �̂nainte

    Caracteristica de�nitorie a ultimilor ani a fost, f�ar�a �̂ndoial�a, dezvoltarea exploziv�a a tehnologiei

    informat�iei, sub diferitele sale aspecte; comunicat�iile mobile �si globalizarea ret�elei Internet au

    dus la multiplicarea cantit�at�ii de informat�ii disponibile, distribuite peste un spat�iu virtual ce

    acoper�a �̂ntreg globul. Datele �si informat�iile vehiculate sunt din ce �̂n ce mai frecvent de tip

    multimedia, �̂ncapsulând text, sunet, imagini statice, gra�c�a �si secvent�e de imagini. Adaptarea

    la aceast�a nou�a realitate impune dezvoltarea sust�inut�a a dou�a direct�ii de cercetare: �̂n primul

    rând tehnicile de c�autare a informat�iei { �si mai ales a imaginilor { diferite de cea textual�a �si

    apoi modul de acces �si accesibilitate pentru formularea unei cereri de informat�ii de c�atre un

    utilizator.

    În momentul de fat��a, atât mecanismele de gestiune a bazelor de date clasice cât �si motoarele de

    c�autare Internet sunt �̂n mod esent�ial orientate c�atre utilizarea exclusiv�a a informat�iei textuale

    (sau textualizate prin utilizarea unei anot�ari manuale sau a unei informat�ii auxiliare obt�inute

    �̂n mod automat). Tendint�a actual�a a cercet�arii este de a investiga posibilit�at�ile de organizare

    a bazelor de imagini dup�a criterii de similaritate vizual�a a cont�inutului imaginilor. Aceast�a

    direct�ie de cercetare se va situa deci la con uent�a model�arii statistice �si matematice, a analizei

    imaginilor, a tehnologiei multimedia, Internet �si bazelor de date.

    Pe scurt, paradigma de c�autare a imaginilor pe baza similarit�at�ii vizuale a cont�inutului acestora

    are patru componente esent�iale:

    � alegerea modelului c�autat (imaginea exemplu sau o descriere a acesteia);

    � evaluarea cont�inutului vizual al exemplului �si a tuturor imaginilor din baza de imagini �̂n care se face c�autarea;

    � evaluarea similarit�at�ii dintre imaginea exemplu �si celelalte imagini din baza de imagini;

    � ordonarea imaginilor din baza de imagini �̂n ordine descresc�atoare a similarit�at�ii cu exem- plul �si prezentarea acestora utilizatorului.

    Aceast�a lucrare se dore�ste a � o prim�a parte, introductiv�a, �̂n domeniul fascinant al c�aut�arii

    imaginilor dup�a similaritatea cont�inutului vizual. Astfel, vor � abordate diferite solut�ii existente

    pe plan mondial pentru implementarea unor astfel de sisteme, precum �si modalit�at�ile esent�iale

    de descriere a cont�inutului imaginilor, conform modelului culoare{textur�a{form�a. În �nal, este

    prezentat prototipul unui sistem deschis pentru indexarea �si c�autarea imaginilor, realizat de

    autori.

    Tip�arirea acestei lucr�ari este �nant�at�a prin Grantul de cercetare num�arul 101/ 2001 al CNCSIS

    (Consiliul Nat�ional al Cercet�arii S�tiint�i�ce din Înv�at��amântul Superior), intituluat \Sistem de

    c�autare a imaginilor prin similaritate vizual�a a cont�inutului".

    1

  • Cuprins

    1 Introducere �si vedere de ansamblu 7

    1.1 Punerea problemei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    1.2 Structura sistemelor de indexare �si reg�asire a imaginilor . . . . . . . . . . . . . . 9

    1.2.1 Tehnici de descriere a imaginilor . . . . . . . . . . . . . . . . . . . . . . . 9

    1.2.2 Tehnici de partit�ionare a imaginilor . . . . . . . . . . . . . . . . . . . . . 12

    1.3 Organizarea lucr�arii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

    2 Sisteme de indexare �si c�autare a imaginilor 15

    2.1 Sisteme comerciale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

    2.1.1 Excalibur Visual RetrievalWare SDK . . . . . . . . . . . . . . . . . . . . 15

    2.1.2 ImageFinder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    2.1.3 IMatch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

    2.1.4 QBIC Development Kit . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

    2.1.5 Virage VIR Image Engine SDK . . . . . . . . . . . . . . . . . . . . . . . 20

    2.2 Sisteme necomerciale (academice) . . . . . . . . . . . . . . . . . . . . . . . . . . 21

    2.2.1 BlobWorld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

    2.2.2 CANDID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

    2.2.3 FIDS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

    2.2.4 ImageRover . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

    2.2.5 Photobook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

    2

  • 2.2.6 SurfImage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

    3 Reprezentarea culorilor 27

    3.1 Fundamentele colorimetriei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

    3.1.1 Potrivirea culorilor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

    3.1.2 Reproducerea culorilor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

    3.1.3 Percept�ia culorilor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

    3.1.4 Teoria culorilor opuse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

    3.2 Sisteme colorimetrice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

    3.2.1 Sisteme primare de reprezentare . . . . . . . . . . . . . . . . . . . . . . . 34

    3.2.2 Sisteme de reprezentare derivate . . . . . . . . . . . . . . . . . . . . . . . 36

    3.2.3 Sisteme de reprezentare perceptual�a . . . . . . . . . . . . . . . . . . . . . 39

    3.2.4 Sisteme de reprezentare cu cromaticitate uniform�a . . . . . . . . . . . . . 43

    3.3 Aplicat�ii directe ale reprezent�arilor �̂ntr-un spat�iu de culoare . . . . . . . . . . . 46

    4 Descrierea culorilor din imagini 50

    5 Descrierea texturilor 55

    5.1 Caracterizarea texturilor prin momente statistice . . . . . . . . . . . . . . . . . 57

    5.2 Caracterizarea texturilor prin matrici de

    coocurent��a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

    5.3 Caracterizarea texturilor prin izosegmente . . . . . . . . . . . . . . . . . . . . . 61

    5.4 Caracterizarea spectral�a a texturilor . . . . . . . . . . . . . . . . . . . . . . . . . 65

    5.5 Caracterizarea texturilor prin tehnici fractale . . . . . . . . . . . . . . . . . . . . 67

    5.5.1 Calculul dimensiunii fractale . . . . . . . . . . . . . . . . . . . . . . . . . 68

    5.5.2 Lacunaritatea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

    5.6 Încheiere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

    3

  • 6 Descrierea primitivelor vizuale �si a formelor 71

    6.1 Descrierea global�a a primitivelor vizuale . . . . . . . . . . . . . . . . . . . . . . 71

    6.1.1 Extragerea contururilor �̂n imagini scalare . . . . . . . . . . . . . . . . . 72

    6.1.2 Extragerea contururilor �̂n imagini color . . . . . . . . . . . . . . . . . . 74

    6.1.3 Descrierea contururilor din imagini . . . . . . . . . . . . . . . . . . . . . 75

    6.2 Descrierea formelor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

    6.2.1 Segmentarea obiectelor de interes . . . . . . . . . . . . . . . . . . . . . . 76

    6.2.2 Parametri de form�a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

    7 M�asurarea performant�ei sistemelor de indexare a imaginilor 87

    8 IRIS - Sistem prototip de indexare �si c�autare a imaginilor color 92

    8.1 Ce este IRIS ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

    8.2 Utilizarea uzual�a a sistemului IRIS: trei pa�si de baz�a . . . . . . . . . . . . . . . 92

    8.2.1 Stabilirea bazei de imagini . . . . . . . . . . . . . . . . . . . . . . . . . . 92

    8.2.2 Indexarea bazei de imagini . . . . . . . . . . . . . . . . . . . . . . . . . . 93

    8.2.3 C�autarea imaginilor �̂n baza indexat�a . . . . . . . . . . . . . . . . . . . . 94

    8.3 Utilizarea avansat�a a sistemului IRIS . . . . . . . . . . . . . . . . . . . . . . . . 97

    8.3.1 Crearea de baze de imagini de evaluare . . . . . . . . . . . . . . . . . . . 97

    8.3.2 Evaluarea performant�elor . . . . . . . . . . . . . . . . . . . . . . . . . . 98

    8.4 Utilizarea expert�a a sistemului IRIS . . . . . . . . . . . . . . . . . . . . . . . . . 99

    8.4.1 Structura ��sierului descriptorilor bazei de imagini (IDD) . . . . . . . . . 99

    8.4.2 Structura ��sierului de cont�inut al bazei de imagini (IDC) . . . . . . . . . 99

    8.4.3 Ad�augarea unui nou descriptor de imagini . . . . . . . . . . . . . . . . . 100

    8.4.4 Ad�augarea unei noi metrici . . . . . . . . . . . . . . . . . . . . . . . . . . 100

    8.5 Funct�iile sistemului IRIS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

    4

  • 8