Este documento discute técnicas de visão computacional para detecção de brilho, cor e movimento em vídeos, com o objetivo de permitir interações através da luz e cor. Ele fornece procedimentos para isolar regiões brilhantes, de uma cor específica ou em movimento através do uso de thresholds, e lista exemplos de vídeos e programas que ilustram essas técnicas.

1. Jitter – Visão por computador Vídeo Arte Interactiva 12-04-2010 Jorge C. S. Cardoso 1

2. Conteúdo Detecção de brilho Detecção de cor Detecção de movimento 12-04-2010 Jorge C. S. Cardoso 2

3. Detecção de brilho, cor, movimento O objectivo é encontrar a posição aproximada (x, y) onde o fenómeno ocorreu O procedimento não é exacto e precisa sempre de condições de iluminação mais ou menos controladas 12-04-2010 Jorge C. S. Cardoso 3

4. Detecção de brilho 4 Objectivo: Encontrar a região na imagem com maior brilho. Procedimento: Converter a imagem para grayscale “Deitar fora” os pixeis escuros Para decidir se um pixel é escuro ou não usa-se um valor de threshold definido previamente Jorge Cardoso 12-04-2010

5. Detecção de brilho Vídeos Draw with light (http://www.youtube.com/watch?v=VDP3e20uYMI) Burning the sound (http://vimeo.com/3096584) Exemplos 1-Brightness.maxpat 2-BrightnessSlider.maxpat 3-BrightnessDraw.maxpat 12-04-2010 Jorge C. S. Cardoso 5

6. Detecção de cor Isolar regiões de uma determinada cor na imagem Procedimento: Definir uma cor a encontrar (RGB): cor de referência Percorrer a imagem pixel a pixel e calcular a diferença entre a cor do pixel e a cor de referência Manter os pixeis em que a diferença é “pequena” Para decidir se a diferença é pequena ou não usa-se um valor de threshold definido previamente 12-04-2010 Jorge Cardoso 6

7. Detecção de cor Vídeos Catch of the day (http://vimeo.com/3329936) Play-doh as Piano Keyboard (http://vimeo.com/465726) Exemplos 4-Color.maxpat 5-Color-midi.maxpat 12-04-2010 Jorge C. S. Cardoso 7

8. Detecção de movimento A diferença entre duas frames consecutivas dá uma aproximação ao deslocamento dos objectos na cena Procedimento Subtrair a frame actual à anterior Converter para grayscale “Deitar fora” os pixeis escuros (onde não houve movimento) Para decidir se a diferença é pequena ou não usa-se um valor de threshold definido previamente 12-04-2010 Jorge Cardoso 8

9. Detecção de movimento Vídeos WebCam Piano (http://vimeo.com/1219327) Exemplos 6-DeteccaoMovimento.maxpat 7-DeteccaoMovimentoControloVideo.maxpat 12-04-2010 Jorge Cardoso 9

10. Exercícios Usando detecção de brilho ou de cor, construa uma interface que permita posicionar a “cabeça de leitura” de um vídeo 12-04-2010 Jorge C. S. Cardoso 10