Tehnici Avansate de Prelucrarea şi Analiza Imaginilor

Transcription

1 Universitatea Politehnica din Bucureşti Facultatea de Electronică, TelecomunicaŃii şi Tehnologia InformaŃiei Tehnici Avansate de Prelucrarea şi Analiza Imaginilor Ş.l. Bogdan IONESCU Prof. Constantin VERTAN Conf. Mihai CIUC Curs 1 - Introducere Bibliografie [1] Curs [2] C. Vertan, M. Ciuc, Tehnici fundamentale de Prelucrarea şi Analiza Imaginilor, Ed. MatrixROM, Bucureşti, [3] A.K. Jain, Fundamentals of Digital Image Processing Prentice Hall, [4] Matlab, documentańie Image Processing Toolbox, [5] alte surse, Internet, etc. Master SIVA - Sisteme Inteligente şi Vedere Artificială Cuprins curs Plan Curs 1 - Introducere 1. Introducere 2. Descrierea culorilor 3. Modificarea imaginilor prin operańii geometrice 4. Filtrări liniare 5. Filtrări neliniare 6. Filtrări adaptive 7. Morfologie matematică 8. Transformări unitare 1.1. AplicaŃii PAI 1.2. Arhitectura unui sistem PAI 1.3. Modul de reprezentare al imaginilor 2 3 Cum putem defini conceptul de PAI? 1.1. AplicaŃii ale prelucrării şi analizei de imagini Image processing holds the possibility of developing the ultimate machine that could perform the visual functions of all living beings (Anil K. Jain, 1989) Analiza şi manipularea imaginilor cu ajutorul unui sistem de calcul. Prelucrarea şi analiza imaginilor reprezintă un ansamblu de metode de transformare şi interpretare a informańiei vizuale, reprezentate în formă digitală. 4 5

2 Cum putem defini conceptul de PAI? (continuare) În domeniile ingineriei electrice şi al sistemelor de calcul, PAI reprezintă orice formă de prelucrare de semnal pentru care datele de intrare sunt imagini, iar datele de ieşire sunt, fie tot imagini, fie seturi de caracteristici/atribute relative la conńinutul imaginii de intrare. (Wikipedia) - prelucrare digitală a imaginilor - prelucrare analogică a imaginilor - prelucrare optică a imaginilor Unde îşi găseşte aplicańii PAI? > aplicańii de consum > imagistică medicală > imagistică satelitară > supraveghere video > automatizări industriale > interacńie om-maşină > multe multe alte aplicańii AplicaŃii de consum > algoritmi generali corecńii de iluminare iluminarea neuniformă a imaginii constă în fluctuańii artificiale ale intensităńii anumitor zone din imagine ce duc la alterarea informańiei (ex. imagini medicale) > algoritmi generali corecńii de contrast defectele de contrast au ca rezultat eliminarea de informańie utilă din imagine şi/sau alterarea acesteia. contrast = o măsură a raportului dintre intensitatea maximă şi cea minimală din imagine. imagine microscopică perturbată câmpul de iluminare estimat imaginea cu iluminare uniformă contrast corect contrast scăzut contrast ridicat 8 9 > algoritmi generali corecńie defecte şi zgomot o altă problemă frecventă, chiar inerentă sistemelor de achizińie de imagini o reprezintă prezenńa informańiilor parazite în imagine, sau ceea ce numim zgomot al imaginii > algoritmi generali corecńie defecte şi zgomot (continuare) original zgomot multiplicativ aleator speckle original zgomot salt and pepper eliminarea zgomotului se realizează în general prin operańii de filtrare specifice: filtrare de mediere, filtrare mediană, filtrare adaptivă, etc

3 AplicaŃii de consum > algoritmi destinańi aparatelor foto digitale corecńia ochilor roşii lumina blitzului camerei se declanşează prea repede pentru ca pupila să se închidă, aceasta se reflectă de peretele ochiului si revine afară prin pupilă. Culoarea roşie apare datorită vaselor de sânge ale coroidei ce vascularizează peretele ochiului. ex. se caută regiuni de culoare roşie cu anumite constrângeri geometrice iar pentru acestea se înlătură componenta de roşu pupila > algoritmi destinańi aparatelor foto digitale şi camerelor video detecńia culorii pielii se doreşte localizarea în imagine a regiunilor ce corespund culorii pielii (umane). prezenńă umană în scenă!? ex. culoarea pielii este specifică şi are o anumită paletă de culoare: Roşu>95, Verde>40, Albastru> > algoritmi destinańi aparatelor foto digitale şi camerelor video detecńia culorii pielii (aplicańii) > gestiunea automată a colecńiilor multimedia CBIR = Content-Based Image Retrieval > număr foarte mare de imagini > cum găsim imaginea dorită? > cum specificăm ce imagine dorim? detecńia automată a conńinutului sensibil: family filter detecńia şi urmărirea feńei bază de imagini digitale: Internet, personală, etc. sistem de indexare > gestiunea automată a colecńiilor multimedia (continuare) CBIR = Content-Based Image Retrieval (continuare) cum specificăm imaginea dorită? cel mai frecvent textual, ex. găseşte toate imaginile cu kiwi > gestiunea automată a colecńiilor multimedia (continuare) CBIR = Content-Based Image Retrieval (continuare) informańia textuală nu este suficientă pentru a exprima cererile de căutare ( query ) informańii de conńinut conversie automată de către CBIRS în atribute de conńinut (adnotare): culoare, textură, formă,... compararea acestora cu baza existentă şi furnizare imagini similare mai mult, anumite cuvinte sună similar şi se scriu similar: o imagine face cât 1000 de cuvinte bear - beer grid - greed 16 17

4 > gestiunea automată a colecńiilor multimedia (continuare) CBVR = Content-Based Video Retrieval ca principiu problematica este aceeaşi ca în cazul imaginilor, cu menńiunea că este mult mai complexă (CBVRS sunt extensia temporală a CBIRS): > volum mult mai mare de date de prelucrat, 1 minut video = 1500 imagini; > multimodal: totul este în mişcare, evoluńie temporală, sunet, text... Imagistică medicală > parte a modului de obńinere al imaginii imagini microscopice (zoom < x) radiografii ~ raze MRI Magnetic Resonance Imaging, foloseşte un câmp magnetic foarte puternic ce polarizează atomii de hidrogen din corp. alte tehnici: imagistică nucleară, ultrasunete, CT,... colors text shot change texture object of interest trajectory audio > prea multe atribute, trebuie găsite doar cele mai reprezentative! 18 microscopie radiografie MRI 19 Imagistică medicală > interpretarea automată a conńinutului imaginii detecńia automată a tumorilor Imagistică medicală > interpretarea automată a conńinutului imaginii (continuare) descriere automată a zonelor de interes, ex. melanoame de piele, criteriul ABCD A - asimetrie B - bordura detecńie tumoare creier detecńie cancer mamar > problemă: izolarea informańiei utile de celelalte informańii C - culoare D - diametru > problemă: stabilitatea achizińiei culorilor, calibrare colorimetrică Imagistică medicală > interpretarea automată a conńinutului imaginii (continuare) termografie: transformă radiańia electromagnetică din spectrul infraroşu (~ µm) în imagini. Imagistică medicală > reconstrucńie 3D pornind de la un set de imagini medicale ( slices, de regula CT sau MRI) se pot reconstrui virtual 3D, anumite părńi anatomice de interes sau chiar întreg corpul uman. termograf spectru vizibil aparent nici o problemă albastru: probleme de circulańie segmentare os segmentare vase de sânge camera IR > problemă: calibrare imagine. aplicańii: simulare, analiză,

5 Imagistică satelitară Imagistică satelitară > remote sensing > remote sensing (continuare) imagini satelitare optice captarea de la distanńă ( remotely ) a informańiilor relative la un anumit obiect sau fenomen (fără a interacńiona fizic cu acesta). dispozitivele de captură cele mai sofisticate: satelińii imagine optică SPOT - Système Probatoire d Observation de la Terre (SPOT1: 1986, SPOT 5: 2002), 2.5m panchromatic (spectru vizibil), 10m multispectral (spectru Verde, Roşu, Infraroşu apropiat, Infraroşu mediu). segmentare bazată pe intensitate IKONOS 1999, 0.8 m panchromatic, 4m multispectral, 1m pan-sharpened = procesul de imbinare a imaginilor de rezoluńie ridicată (panchromatic) cu cele de rezoluńie scăzută (multispectrale) pentru a crea o singură imagine color de înaltă rezoluńie (vezi GoogleEarth) QuickBird 2001, 0.61m panchromatic, 2.4m multispectral filtrare în frecvenńă şi clasificare aplicańii: detecńie automată a evenimentelor (inundańii, incendii), supraveghere, GIS Geographic Information System,... segmentare bazată pe orientare 24 Imagistică satelitară > remote sensing (continuare) 25 Supraveghere video SAR - Synthetic Aperture Radar această tehnică exploatează deplasarea SAR colorat folosind polarimetrie unei antene pentru a forma o antenă de sinteză de dimensiuni semnificativ mai ridicate (rezoluńie angulară mai mare decât a antenei imobile) datorită evoluńiei tehnologice a sistemelor de achizińie de imagini, preńul acestora a scăzut dramatic, fiind practic integrate sau integrabile peste tot (mobile, sisteme laptop, intersecńii, clădiri,...) > detecńia automată a evenimentelor de interes ex. Webcam 13Eur supravegherea traficului auto/persoane fiecare culoare corespunde unei polarizări a undei emise şi a unei polarizări a antenei de recepńie ce pun în evidenńă tipurile diferite de interacńii (sol, clădiri,...) avantaje: independente de vreme, iluminare, o gama largă de informańii (amplitudine, coerenńă,...) aplicańii: + monitorizare evoluńie gheńari, păduri, curenńi apă, etc. detecńia mulńimilor detecńia aparińiei obiectelor Supraveghere video > sisteme biometrice de identificare Supraveghere video > detecńia automată a evenimentelor de interes (continuare) sunt metode de identificare unică a persoanelor pe baza a una sau mai multe proprietăńi intrinseci fizice sau de comportament securizare fiziologice: amprente, recunoaşterea feńei, geometria mâinii, recunoaşterea irisului, miros,... forńarea intrării monitorizare perimetru s-a simplificat problema transmiterii datelor: camere IP sau WiFi problemă: condińii meteo variabile, zi-noapte. ex. Fibridge IP camera 28 scaner iris scaner amprentă recunoaştere trăsături 29

6 Supraveghere video > sisteme biometrice de identificare (continuare) de comportament: scrisul de mână, voce, gesturi,... comparańie Automatizări industriale au ca principal scop substituirea prezenńei umane în anumite procese de fabricańie/monitorizare/evaluare sau în medii inaccesibile. reducere costuri, minimizare eroare umană, maximizare eficienńă date înregistrate identificare > indexare automată baze de înregistrări server date biometrice o cameră video poate înregistra 24h/24h, 7zile/7zile ~ imagini pe săptămână problemă localizare evenimente de interes (ex. spargere, incendiu,...), arhivare inspecńie automată contacte puncte de sudură (optic) detecńie automată defecte (x-ray) Automatizări industriale este nevoie de un sistem de achizińie de imagini de încredere = camere industriale rezoluńie spańială (HD) şi/sau temporală mare (normal 25 img/s, high speed 1000 img/s) Sony Basler cantitate mare de date vehiculată, necesitate protocoale de transfer de mare viteză CameraLink (255MB/s), FireWire (~400MB/s), GigE Vision (Lan Gigabit). InteracŃie om-maşină - este vorba de sisteme bazate pe vedere asistată de calculator şi nu pe dispozitivele clasice (mouse, tastatură, etc.). - motivate în principal de necesitatea unei interacńii om-maşină cât mai apropiată de modul de percepńie uman, şi astfel cât mai naturală. sisteme de analiză şi recunoaştere a gesturilor cameră de mare viteză HD vs. SD (Jay Leno) izolare automată a regiunii mâinii recunoaştere automată trăsături InteracŃie om-maşină sisteme de analiză şi recunoaştere a gesturilor (continuare) 1.2. Arhitectura unui sistem PAI recunoaştere automată a gesturi dinamice ale mâinii aplicańii: ghidare robońi la distanńă, recunoaştere automată semne, comandă, interacńie virtuală,

7 > la nivel fizic (hardware) aceasta poate fi descrisă astfel: > eşantionarea şi cuantizarea amplitudine senzori (traductoare) un dispozitiv ce măsoară proprietăńile fizice ale scenei şi le converteşte într-un semnal, ex. Charge- Coupled Device (CCD) eşantionare şi cuantizare sistem de calcul cuantizare T eşantionare perioadă T timp > la nivel logic (software) aceasta poate fi descrisă astfel: sistem de calcul îmbunătăńire restaurare segmentare analiză compresie date compresia datelor are ca scop reducerea volumului datelor stocare (eficientizare spańiu, constrângeri, etc.) transmisie (lăńime de bandă limitată) tehnicile existente exploatează redundanńa datelor. compresie cu pierderi (informańia originală este redusă prin eliminare, acesta nemaiputând fi reconstituită întocmai) compresie fără pierderi (informańia originală este redusă prin exploatarea repetitivităńii datelor, reconstrucńia datelor inińiale fiind întocmai) compresia datelor (continuare) factor de compresie 8:1 îmbunătăńire are ca scop reducerea degradărilor perceptuale şi/sau aleatoare ale imaginii zgomot (perturbańia cea mai frecventă) JPEG HighQ kB imagine inińială 679kB factor de compresie 19:1 JPEG LowQ kB imagine afectată de zgomot imagine filtrată (filtru median) îmbunătăńire contrast (egalizare de hist.) 40 41

8 restaurare are ca scop reducerea degradărilor deterministe (pentru care se poate estima mecanismul de producere al acestora) focalizare, compensare mişcare, defecte optice,... segmentare descompunerea imaginii (scenei) în părńile sale constituente sau izolarea unui element de interes. supra-segmentare aripi vultur coadă şi cap imagine inińială imagine mişcată (motion blur) imagine corectată (deconvoluńie-caz ideal) imagine inińială cer (fundal) - nu este evidentă, ideal în imagine există doar două obiecte: cerul şi vulturul analiză constă în descrierea imaginii, a părńilor constituente ale acesteia şi/sau a relańiilor existente între acestea. se trece de la obiecte la descrieri numerice analiză (continuare) tipul de descriere furnizat se împarte în două mari categorii: -descrieri sintactice : sunt descrieri numerice de nivel scăzut (low-level) ex. parametri, statistici, histograme, etc. colors text shot change texture object of interest trajectory audio -descrieri semantice sau de nivel înalt apropiate de percepńia umană imagine inińială imagine prelucrată şi segmentată histogramă suprafańă boabe de grâu During the soccer game, Ronaldo number 9 from Real Madrid, scored Ce reprezintă o imagine? 1.3. Modul de reprezentare al imaginilor imagine lumea reală infinită spańial şi spectral imagine digitală = ansamblu de valori plasate după o formă spańială într-un spańiu cel puńin bidimensional (matrice) imagine = o proiecńie a lumii reale într-un plan/hyperplan

9 Ce reprezintă o imagine? Ce reprezintă o imagine? i elementul de bază al unei imagini 2D se numeşte pixel = picture element. imagine = o mulńime finită de pixeli rezoluńia de pixeli = numărul de pixeli pe orizontală numărul de pixeli pe verticală (dimensiune imagine) rezoluńie mare înseamnă o mai bună reprezentare a realităńii (mai multe detalii) j imagine fiecare pixel al imaginii este caracterizat prin: - valoare legată de culoarea transmisă (ex. alb, roşu, etc.) - pozińie în imagine informańie spańială. rezoluńie rată de aspect = lańimea imaginii în pixeli împărńită la înălńimea în pixeli. forma pixelului: pătrată, rotundă, rectangulară (grid) + dimensiunea pixelului fac legătura dintre imagine şi realitatea fizică Ce reprezintă o imagine? rezoluńia spańială = numărul de pixeli independenńi pe unitatea de lungime: - dpi (dots per inch), - ppi (pixels per inch), - lpi (lines per inch). anumińi pixeli pot fi extrapolańi artificial din pixeli reali înregistrańi, pentru o rezoluńie reală nu se Ńine cont de aceştia (camere Web?). cu cât mai mulńi dpi cu atât mai clară este imaginea. numere digitale = numere reprezentate cu un număr finit de bińi, după un format standard pentru un calculator [digital]. numeric digital > d.p.d.v. al valorilor, imaginile digitale sunt de două feluri: imagini scalare = valoarea oricărui pixel este un scalar proporńional cu intensitatea luminoasă 255 (alb) - dimensiunea unui pixel = 1 / rezoluńie spańială ex. 300 dpi 1 pixel = 1/300 inch = 3.3 m inch = cm - valori uzuale: 150 dpi = 59,06 pixels/cm (~ 60) 300 dpi = 118,11 pixels/cm (~ 120) 600 dpi = 236,22 pixels/cm (~ 240) 1200 dpi = 472,44 pixels/cm (~ 480) imagini monocrome (binare, 1 bit/pixel) imagini cu niveluri de gri (de regulă 8 bińi/pixel) 0 (negru) > d.p.d.v. al valorilor, imaginile digitale sunt de două feluri (continuare): imagini vectoriale = valoarea unui pixel este un vector - imagini color: un pixel este de regulă (cel mai frecvent) un triplet (R,G,B) = procent de roşu, de verde şi de albastru, unde fiecare valoare este pe 8 bińi (0 R 255, etc.) > d.p.d.v. al valorilor, imaginile digitale sunt de două feluri: imagini vectoriale (continuare) R - imagini color (continuare) G imagine color RGB (8+8+8 bińi/pixel) pixel = (84,187,254) spańiu de culoare = este un model matematic abstract ce descrie un mod de reprezentare al culorilor ca vectori de numere (R,G,B) spańiul de culoare RGB imagine color RGB (8+8+8 bińi/pixel) = trei imagini cu nivele de gri ce reprezintă intensitatea R, G şi B B 52 53

10 > d.p.d.v. al valorilor, imaginile digitale sunt de două feluri: imagini vectoriale (continuare) - imagini satelitare : un pixel poate fi un vector cu componente. - imagini termografice : un pixel poate fi un vector cu 2 5 componente în banda IR (infra-roşu). > d.p.d.v. al semnificańiei valorilor, imaginile digitale sunt: imagini de intensitate = valorile pixelilor sunt direct proporńionale cu mărimea fizică măsurată în scenă (culoare, intensitate luminoasă, temperatură,...) 54 > d.p.d.v. al semnificańiei valorilor, imaginile digitale sunt: imagini indexate = valorile pixelilor nu au legătură cu mărimea fizică măsurată în scenă. - valorile pixelilor nu sunt altceva decât nişte indici (adrese) ale unor valori de culori dintr-o tabelă ataşată imaginii sau cunoscută a priori = LUT (Look-up-Table) 1 imagine indexată Index culoare R G B N LUT > imagini diferite au culori diferite paletă de culoare = mulńimea tuturor culorilor (intensităńilor) folosite de imagine. > imagine nu este întotdeauna reprezentarea fidelă a realităńii! ci o proiecńie a acesteia există o multitudine de reprezentări fidele varianta 1 varianta 2 (mai luminoasă) varianta 3 (mai albastră) 2 culori 9 culori 100 de culori > imagine nu este întotdeauna reprezentarea fidelă a realităńii! ci o proiecńie a acesteia există o multitudine de reprezentări fidele (continuare) > în general în cazul sistemelor de analiză a imaginilor apar două paradigme ce trebuiesc depăşite: paradigma senzorială = sensor gap discrepanńa care există între informańiile prezente în scena reală 3D şi informańiile furnizate de imagine, imagine ce reprezintă o proiecńie discretă 2D obńinută în momentul înregistrării scenei. varianta 1 varianta 2 (corecńie de perspectivă) paradigma semantică = semantic gap discrepanńa dintre informańiile extrase în mod automat din imagine şi semnificańia semantică pe care le-o putem atribui acestora

11 Sfârşit Curs 60