Sistema de reconhecimento automático de emoções usando OPENWEB - WebRtc

1. Adilmar Coelho Dantas | Mestrando em Ciência da Computação
Sistema de Reconhecimento de
Emoções Usando Plataforma OpenWeb
PÓS-GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO | UNIVERSIDADE FEDERAL DE UBERLÂNDIA – UFU
FACULDADE DE COMPUTAÇÃO - FACOM/UFU

2. Artigo de estudo
• .

3. Introdução
Objetivo do artigo
• Propor um modelo para o reconhecimento de emoções através da teoria FACS
(Movimento dos Músculos), implementado em ambiente computacional Web.
Solução Apresentada
 Utilização Haar Cascade para detecção da face
 Utilização da teoria FACS para determinação das UA’S
 Fluxo óptico para rastreamento dos pontos
 Estrutura de decisão para classificação

4. Introdução
• Expressões faciais e a Inteligência Artificial
• A utilização de sistemas não verbais é considerado um gran
de avanço para a interação homem e máquina, a face além
de emoções fornecem informações extremamente importan
tes para outros estudos como: sexo, idade.
• Analisar a face é apresentado como uma boa proposta pelo
fato de ser um método não invasivo ou menos invasivo se
comparado com outras técnicas.

5. Fundamentação teórica
• FACS ( Relembrando)
O FACS consiste de 46 Unidades de Ação que são divididos em
duas regiões faciais, a primeira contendo olhos, sobrancelhas e
testa e a segunda por bochechas, queixo, nariz e boca.

6. Fundamentação teórica
• FACS ( Relembrando)
A combinação de duas ou mais Unidades de Ação (UA) repres
entam uma determinada emoção.
Ex: UA6+UA12 = Alegria

7. Fundamentação teórica
• Detecção da face
• Utilização do algoritmo Vaiola and Jones
• É classificador que aprende caraterísticas de um objeto
• Aplicado em imagens estáticas e em tempo real
• Etapas do Viola and Jones
• Integral da imagem
• Adabosst
• Árvore ( cascata de classificador)

8. Materiais e Métodos
• Detecção da face
Todos os rostos humanos compartilham algumas pro
priedades semelhantes. Este conhecimento é usado
para construir certas características conhecidas como
características Haar.
• As propriedades que são semelhantes para um rosto humano são as
seguintes.
• A região dos olhos é mais escura do que as bochechas superiores.
• A região da ponta do nariz é mais brilhante do que os olhos.

9. Materiais e Métodos
• Detecção da face

10. Materiais e Métodos
Regiões de interesse
Aplica-se o filtro Sobel para a detecção dos
contornos presentes na imagem.
Para a localização das regiões dos olhos, so
brancelhas, nariz e boca.
O filtro Sobel calcula o gradiente da intensi
dade da imagem em cada ponto, dando a
direção da maior variação de claro para
escuro e a quantidade de variação nessa
direção.
Assim, obtém-se uma noção de como varia
a luminosidade em cada ponto, de forma
mais suave.

11. Materiais e Métodos
• Localização dos pontos
Para que fosse possível localizar estas UA’S na face utilizou-se
de 20 pontos de leitura na face que podem se mover em 8
direções diferentes, divididos em ângulos de 45º.

12. Materiais e Métodos
• Rastreamento dos pontos – Fluxo Óptico
• Para o rastreamento dos pontos Lukas-Kanade propôs um modelo piramidal
que permite a análise de movimentos em regiões do vídeo utilizando
fluxo óptico.
• Neste modelo cria-se uma pirâmide Gaussiana onde no topo se encontra
a parte com menos detalhes equanto a base contém a imagem com
mais riqueza de detalhes.

13. Materiais e Métodos
• Rastreamento dos pontos – Fluxo Óptico
Calcula-se o fluxo óptico no
primeiro nível, para que este
sirva de base para o cálculo
do nível seguinte.
Esta técnica permite capturar
com mais precisão estes
movimentos.

14. Materiais e Métodos
Pontos e emoções
A tabela apresenta a estrutura de decisão, dada
vinte pontos de leitura (1a a 10b), considerando-se
oito possíveis direções de movimento de cada
ponto para as emoções felicidade (H), nojo (Di),
surpresa (Su), raiva (A), tristeza (Sa) e medo (F).
*O autor não deixou esclarecida esta estrutura
de Decisão utilizada.

15. Materiais e Métodos

16. Implementação
O sistema foi implementado utilizando plataforma WEB aberta, tecnologias
Utilizadas:
- GetUserMedia ( WebCam )
- HTML5
- OpenCv
- ECMAScript - suporte opencv

17. Implementação
Opencv
É uma biblioteca totalmente livre para desenvolvimento acadêmico, empresari
al de aplicativos de visão computacional.
Algumas funcionalidades
Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise
estrutural e outros. O seu processamento é em tempo real de imagens.

18. Experimentos e Resultados
• Testes
O sistema foi testado com 16 voluntários do sexo masculino e feminino, com
idades entre 10 e 60 anos de nacionalidades Brasileira e Chinesa.
Foi realizado dois tipos de testes
• Emoções não espontâneas
• Emoções espontâneas

19. Experimentos e Resultados
• Primeiro Teste
• Voluntários que expressaram emoção não espontânea felic
idade (H), Nojo (di),surpresa (Su), raiva (A), tristeza (Sa) e m
edo (F) duas vezes consecutivas.
76.60%

20. Experimentos e Resultados
• Segundo Teste
No segundo teste os voluntários foram submetidos a dois testes
com vídeos:
• O primeiro que contém uma cena engraçada de uma criança
que assustada faz uma careta.
• O segundo contendo uma cena que repele as pessoas, onde
uma pessoa agride um cão.

21. Experimentos e Resultados
• Segundo Teste
Podemos observar que para o primeiro vídeo a
emoção alegria foi detectada 100%.
Considerando que as reações esperadas foram nojo
, surpresa, raiva e tristeza pode-se dizer que o
sistema atingiu 84,4% de acurácia.

22. Conclusões
O trabalho demostrou que sistemas computacionais com o apoio de algoritm
os de aprendizagem de máquinas são capazes de identificar pessoas e
características diversas.
Mesmo com uma estrutura simples o trabalho é funcional em sistemas Web,
um ambiente que poderia ser um fator limitante para solução do problema.
É possível a partir desses resultados analisar se uma pessoas se encontra em
algum estado de desconforto com uma determinada situação.

23. Conclusões
Os autores não exploraram bem os testes.
Não utilizou-se nenhuma base de dados para explorar esses
testes e talvez obter resultados melhores.
A técnica de classificação ou a lógica da estrutura de condição
utilizada foi omitida.

24. Trabalhos futuros
Desenvolvimento de um sistema OpenWeb para
detecção das emoções, utilizando técnicas de inteli
gência artificial e tecnologias mais avançadas.
Integração em ambientes educacionais (Moodle) e
ambientes virtuais de aprendizagem (AVA).

25. Fim
Maiores informações em
www.inteligenciaartificial.facom.ufu.br