O documento apresenta um resumo de uma apresentação sobre o sistema Joyface, incluindo: (1) uma descrição do sistema que permite o controle de dispositivos através de expressões faciais, (2) detalhes sobre experimentos realizados para avaliar o sistema controlando uma cadeira de rodas, uma casa inteligente e um mouse, (3) resultados que mostraram que o sistema oferece segurança, facilidade de uso e baixa carga cognitiva.

1. Roteiro Apresentação Mestrado
1/54

2. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
2/54

3. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
3/54

4. Cenário Mundial
4/54

5. Cenário Brasileiro
5/54

6. Tipos de Deficiência
Figura 1 – Tipos de deficiência no Brasil. Fonte: IBGE, 2010.
6/54

7. Motivação e Objetivo
7/54

8. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
8/54

9. JoyFace
Figura 2 – Arquitetura do sistema JoyFace.
9/54

10. JoyFace
Figura 3– JoyFace: Habilitando e desabilitando os menus,
através do sorriso do usuário.
10/54

11. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
11/54

12. Metodologia
O desenvolvimento do projeto ocorreu em sete fases:
1. Revisão Bibliográfica;
2. Análise do estado da arte;
3. Definição das funcionalidades do sistema;
4. Definição de expressões faciais a serem utilizadas;
5. Implementação da solução em software;
6. Realizações de experimentos com os módulos
desenvolvidos;
7. Análise dos resultados obtidos.
12/54

13. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
13/54

14. Revisão Bibliográfica
Figura 4 - Qual dispositivos os usuários com tetraplegia
preferem controlar ou já controlam?
Fonte: Caltenco, 2011
14/54

15. Controles Alternativos para Cadeira de Rodas
Figura 5 – Controles para navegação de cadeira de rodas.
1. Controle com Voz: Chauhan, 2016.
2. Controle com língua: Kim, 2013
3. Navegação Wheelie: Pinheiro, 2017.
15/54

16. Controles Alternativos para Mouse
Figura 6 – Controles para navegação de mouse.
1. Eye Tracking: Cantoni, 2014.
2. ACAT: Denman, 2016
3. Controle Emotiv Epoc: Huang, 2017.
16/54

17. Controles Alternativos para Smart Homes
Figura 7 – Controles para Smart Home disponíveis no mercado.
1. Google Home, 2016.
2. Amazon Alexa, 2014.
17/54

18. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
18/54

19. Implementação do Sistema JoyFace
• Utiliza uma web cam convencional, de baixo custo.
• Desenvolvido em Python.
• Baseado na biblioteca OpenCV.
Figura 8 – Primeira versão do sistema Joyface desenvolvido.
19/54

20. Figura 9 – Processo de detecção de faces, a partir de
classificadores desenvolvidos por Viola-Jones, disponíveis na
biblioteca OpenCV. Fonte: Padilla et al., 2012.
Implementação do Sistema JoyFace
20/54

21. Figura 10 – Cálculo do centróide do rosto do usuário, calculado
em tempo real (ponto verde).
Implementação do Sistema JoyFace
21/54

22. Módulo: Cadeira de Rodas
Figura 11 – JoyFace: Visão geral da cadeira de rodas
robotizada utilizada no trabalho.
Fonte: Adaptado de (Nascimento Júnior, 2016)
22/54

23. Módulo: Cadeira de Rodas
Figura 12 – Resumo da arquitetura da cadeira. De baixo para
cima estão representadas as camadas 1 baixo nível, 2 nível
intermediário e 3 alto nível, respectivamente.
Fonte: Adaptado de (Nascimento Júnior, 2016)
23/54

24. Módulo: Smart Home
Figura 13 – Visão geral da plataforma domótica desenvolvida,
onde o sistema JoyFace, envia comandos para o Broker MQTT,
responsável por controlar os dispositivos reais e em ambiente
simulado.
24/54

25. Módulo: Smart Home
Figura 14 – Interação com os módulo de Smart Home,
controlando a Iluminação e portas do ambiente, a partir do
affordance do interruptor.
25/54

26. Módulo: Mouse
Figura 15 – Interação com os módulo de mouse, com a região de
interesse demarcada para análise do piscar de olhos.
26/54

27. Módulo: Mouse
Figura 16 – Cálculo da região de aspecto dos olhos. Visualização dos pontos de
referência dos olhos quando o olho está aberto/fechado e a relação do EAR
calculado em cada situação.
27/54

28. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
28/54

29. Experimento: Cadeira de Rodas
• Realizado com 10 voluntários, sem nenhum tipo de
deficiência.
• Análise comparativa das abordagens de navegação de cadeira
de rodas: Joyface x Wheelie.
O experimento foi dividido em três etapas:
1. Treinamento e ambientação com as interfaces
Joyface/Wheelie.
2. Navegação para coleta de dados quantitativos.
3. Questionário para coleta de dados qualitativos (demanda
mental, demanda física, segurança e facilidade de uso).
29/54

30. Experimento: Cadeira de Rodas
Figura 17 – Percurso realizado no experimento com cadeira de
rodas. Trajeto percorrido pelos voluntários durante o
experimento.
30/54

31. Experimento: Cadeira de Rodas
Figura 18 – Expressões faciais para controle da cadeira de
rodas, utilizando o sistema de navegação Wheelie.
31/54

32. Resultados Quantitativos
Tabela 1 – Tempos de volta (em minutos) e quantidade de paradas de
emergência, que os participantes tiveram que realizar, devido a iminência de
colisões ou até mesmo pânico durante a navegação.
32/54

33. Resultados Qualitativos
Figura 19 – Comparativo da experiência do usuário ao
utilizar as interfaces Joyface e Wheelie.
33/54

34. Resultados JoyFace x Wheelie
Após os experimentos comparativos, entre as
abordagens JoyFace e Wheelie.
O sistema JoyFace ofereceu ao usuário:
Segurança;
Facilidade de uso;
Menor esforço mental;
x Maior esforço físico.
34/54

35. Experimento: Smart Home
Figura 20 – Simulação da Smart Home desenvolvida no
ambiente V-REP, utilizada no experimento.
35/54

36. Experimento: Smart Home
• O experimento de avaliação de usabilidade.
• Foi realizado com 12 voluntários, sem nenhum tipo de
deficiência.
• Tarefa A: Ligar e desligar luzes do ambiente.
• Tarefa B: Abrir e fechar portas do ambiente.
O experimento foi dividido em três etapas:
1. Treinamento e ambientação com a interface Joyface.
2. Realização das Tarefas A para controlar luzes e B para
controlar as portas do ambiente.
3. Questionário a respeito da experiência de uso (nível de
dificuldade, lembrança de comandos e índice de erros) .
36/54

37. Resultados: Smart Home
Figura 21 – Avaliação do nível de dificuldade na realização
da tarefa A, de controle de luzes.
37/54

38. Resultados: Smart Home
Figura 22 – Avaliação do nível de dificuldade na realização da
tarefa B, de controle de portas.
38/54

39. Resultados: Smart Home
Figura 23 – Erros inesperados ocorridos na execução da tarefa A,
de controle de luzes.
39/54

40. Resultados: Smart Home
Figura 24 – Erros inesperados ocorridos na execução da tarefa B,
de controle de portas.
40/54

41. Experimento: NASA – TLX com Mouse
• Experimento baseado na metodologia NASA Task Load.
• Avalia a carga de trabalho na realização de tarefas.
• Foi realizado com 10 voluntários, sem nenhum tipo de
deficiência.
• Comparativo entre o software Joyface e ACAT.
O experimento foi dividido em três etapas:
1. Treinamento e ambientação com os softwares Joyface e
ACAT.
2. Realização das duas etapas da tarefa: navegação do mouse e
navegação e clique com o mouse
3. Questionário do NASA-TLX.
41/54

42. Experimento: NASA – TLX com Mouse
Figura 25 – Ambiente de software utilizado na realização da
tarefa de controle de mouse do experimento.
42/54

43. Experimento: NASA – TLX com Mouse
Figura 26 – Software de emulação de mouse ACAT, utilizado no
experimento.
43/54

44. Resultado Quantitativo: NASA – TLX com Mouse
Tabela 2 - Tempo de realização (em minutos) da etapa da tarefa,
relacionada à navegação do mouse.
44/54

45. Resultado Quantitativo: NASA – TLX com Mouse
Tabela 3 - Tempo de realização (em minutos) da etapa da tarefa,
relacionada ao clique do mouse.
45/54

46. Resultado Qualitativo: NASA – TLX com Mouse
46/54

47. Resultado Qualitativo: NASA – TLX com Mouse
47/54

48. Resultado Qualitativo: NASA – TLX com Mouse
48/54

49. Resultado Qualitativo: NASA – TLX com Mouse
49/54

50. Resultado Qualitativo: NASA – TLX com Mouse
Figura 29 – Classificações Médias das demandas (0 - 100)
avaliadas pelos voluntários na utilização dos software JoyFace e
ACAT, em comparativo.
50/54

51. Sumário
Introdução
Descrição do sistema Joyface
Metodologia
Revisão Bibliográfica
Implementação do Sistema
Experimentos realizados
Conclusão e contribuições
51/54

52. Conclusão
A interface Joyface se mostrou:
Segura;
Fácil de usar;
Baixo esforço mental;
Baixa taxas de erros;
Baixa frustração na utilização da interface;
Baixa carga de trabalho.
Pontos a serem melhorados:
 Influência à luminosidade externa;
 Falsos-positivos e falsos negativos;
52/54

53. Trabalhos Futuros
• Adicionar um botão físico de emergência, que
possa ser acionado através do queixo ou sip and
puff, para ser utilizado em situações de perda de
controle.
• Implementar o sistema JoyFace em uma
plataforma embarcada.
53/54

54. Contribuições Científicas
1. Human-Computer Interface using Facial Expressions: a
Solution for People with Motor Disabilities. 4th BRAINN
Congress, Journal of Epilepsy and Clinical Neurophysiology,
2017.
2. Comparison of Human Machine Interfaces to control a
Robotized Wheelchair, XIII Simpósio Brasileiro de
Automação Inteligente – SBAI, 2017.
3. Joyface: Desenvolvimento e Avaliação de uma Interface
Humano-Computador para Smart-Home dedicada à
Pessoas com Deficiência, X Simpósio de Informática do
IFNMG - Campus Januária, 2018.
4. Smart Home control using Facial Expressions, BRAINN
Congress, 2019.
54/54

55. Demonstração
54/54
https://www.youtube.com/watch?v=Bt3zQ5y-gVQ