Este documento describe un sistema de realidad aumentada para el diseño arquitectónico que permite visualizar modelos 3D. El sistema utiliza posicionamiento basado en marcas para alinear objetos virtuales con el mundo real y detección de gestos de la mano para manipular los modelos. El sistema detecta la mano mediante segmentación por color y los dedos a través del análisis de curvatura, logrando un posicionamiento preciso y permitiendo la interacción con los modelos 3D para asistir el proceso de diseño arquitectónico.

1. VISUALIZACIÓNVISUALIZACIÓN
AUMENTADA DEAUMENTADA DE
MODELOS 3D PARAMODELOS 3D PARA
DISEÑODISEÑO
ARQUITECTÓNICOARQUITECTÓNICO
Alberto Ruiz AguilarAlberto Ruiz Aguilar

2. ÍNDICEÍNDICE
1.1. IntroducciónIntroducción
2.2. Sistema de posicionamientoSistema de posicionamiento
3.3. Detección y seguimiento de la manoDetección y seguimiento de la mano
4.4. Reconocimiento de gestosReconocimiento de gestos
5.5. ResultadosResultados
6.6. ConclusionesConclusiones

3. 1.1. INTRODUCCIÓNINTRODUCCIÓN
1.11.1 Herramientas de asistencia al proceso deHerramientas de asistencia al proceso de
ideación arquitectónicoideación arquitectónico
1.21.2 Realidad AumentadaRealidad Aumentada
1.31.3 ObjetivosObjetivos
1.41.4 Arquitectura del sistemaArquitectura del sistema

4. 1.1. INTRODUCCIÓINTRODUCCIÓ
NN
 Sistema tradicional: CAD(2D) o Madera de balsa(3D)Sistema tradicional: CAD(2D) o Madera de balsa(3D)
 Representación real en 3DRepresentación real en 3D
 Construcción de maquetas para cada ideaConstrucción de maquetas para cada idea
 Realidad AumentadaRealidad Aumentada
1.11.1 HERRAMIENTAS DE ASISTENCIA ALHERRAMIENTAS DE ASISTENCIA AL
PROCESO DE IDEACIÓN ARQUITECTÓNICOPROCESO DE IDEACIÓN ARQUITECTÓNICO

5.  Realidad aumentada:Realidad aumentada:
 Combina objetos reales y virtualesCombina objetos reales y virtuales
 Interactivo y en tiempo realInteractivo y en tiempo real
 Se alinean los objetos virtuales y realesSe alinean los objetos virtuales y reales
1.1. INTRODUCCIÓINTRODUCCIÓ
NN
1.21.2 REALIDADREALIDAD
AUMENTADAAUMENTADA

6.  Sistema ergonómico de apoyo al diseñoSistema ergonómico de apoyo al diseño
arquitectónicoarquitectónico
 Ventaja:Ventaja:
 Gran interactividadGran interactividad
 Compatibilidad con herramientas CADCompatibilidad con herramientas CAD
 Propósito:Propósito:
 Sustitución de la maqueta físicaSustitución de la maqueta física
1.1. INTRODUCCIÓINTRODUCCIÓ
NN
1.3 OBJETIVOS1.3 OBJETIVOS

7. 1.1. INTRODUCCIÓNINTRODUCCIÓN
1.4 ARQUITECTURA DEL1.4 ARQUITECTURA DEL
SISTEMASISTEMA

8. ÍNDICEÍNDICE
1.1. IntroducciónIntroducción
2.2. Sistema de posicionamientoSistema de posicionamiento
3.3. Detección y seguimiento de la manoDetección y seguimiento de la mano
4.4. Reconocimiento de gestosReconocimiento de gestos
5.5. ResultadosResultados
6.6. ConclusionesConclusiones

9. 2.2. SISTEMA DE POSICIONAMIENTOSISTEMA DE POSICIONAMIENTO
2.12.1 Sistema de posicionamiento.Sistema de posicionamiento.
Características y fuentes de error.Características y fuentes de error.
2.22.2 Método propuesto.Método propuesto.
2.32.3 Búsqueda y detección de la marca.Búsqueda y detección de la marca.
2.42.4 Estimación de coordenadas.Estimación de coordenadas.
2.52.5 Resultados.Resultados.

10.  Precisión en el ajuste del posicionamientoPrecisión en el ajuste del posicionamiento
 Retardos mínimos en la imagen de salidaRetardos mínimos en la imagen de salida
 Debe ser eficiente a los movimientos del usuarioDebe ser eficiente a los movimientos del usuario
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO
2.12.1
CARACTERÍSTICACARACTERÍSTICA
SS

11.  Dispositivos en la mano o cabeza que nosDispositivos en la mano o cabeza que nos
provean de informaciónprovean de información
 Utilización de objetos del mundo realUtilización de objetos del mundo real
 Dispositivos activos situados en el medioDispositivos activos situados en el medio
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO
2.12.1
CLASIFICACIÓNCLASIFICACIÓN

12.  Desalineamientos mecánicosDesalineamientos mecánicos
 Errores en los elementos usados para elErrores en los elementos usados para el
trackingtracking
 Distorsiones en la ópticaDistorsiones en la óptica
 Parámetros de visión incorrectosParámetros de visión incorrectos
 Retardo desde que se conoce la posición hastaRetardo desde que se conoce la posición hasta
que se muestra la imagenque se muestra la imagen
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO
2.1 FUENTES DE2.1 FUENTES DE
ERRORERROR

13.  Factores que intervienen en la elección:Factores que intervienen en la elección:
 Garantizar la interacciónGarantizar la interacción
 Necesidad de un soporte físicoNecesidad de un soporte físico
 Garantizar la portabilidadGarantizar la portabilidad
 Posicionamiento a partir de una marca artificialPosicionamiento a partir de una marca artificial
en el entorno utilizando ARToolkiten el entorno utilizando ARToolkit
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO
2.2 MÉTODO2.2 MÉTODO
PROPUESTOPROPUESTO

14.  Criterios para el diseño de marcas:Criterios para el diseño de marcas:
 Debe permitirnos determinar la posición yDebe permitirnos determinar la posición y
orientaciónorientación
 Igualdad de oportunidades a todas lasIgualdad de oportunidades a todas las
orientacionesorientaciones
 Imagen de la marca únicaImagen de la marca única
 Localización e identificación con algoritmosLocalización e identificación con algoritmos
rápidos y simplesrápidos y simples
 Uso en un amplio margen de resolucionesUso en un amplio margen de resoluciones
2.3 BÚSQUEDA Y DETECCIÓN DE LA2.3 BÚSQUEDA Y DETECCIÓN DE LA
MARCAMARCA
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

15.  Marca diseñadaMarca diseñada
2.3 BÚSQUEDA Y DETECCIÓN DE LA2.3 BÚSQUEDA Y DETECCIÓN DE LA
MARCAMARCA
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

16.  ARToolkit incorpora funciones específicas paraARToolkit incorpora funciones específicas para
el reconocimiento de patronesel reconocimiento de patrones
2.3 BÚSQUEDA Y DETECCIÓN DE LA2.3 BÚSQUEDA Y DETECCIÓN DE LA
MARCAMARCA
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

17. 2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO
2.3 BÚSQUEDA Y DETECCIÓN DE LA2.3 BÚSQUEDA Y DETECCIÓN DE LA
MARCAMARCA

18.  Búsqueda de la marca:Búsqueda de la marca:
 Umbralización de la imagenUmbralización de la imagen
 Adaptación de contornosAdaptación de contornos
 NormalizaciónNormalización
2.3 BÚSQUEDA Y DETECCIÓN DE LA2.3 BÚSQUEDA Y DETECCIÓN DE LA
MARCAMARCA
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

19. 2.4 ESTIMACIÓN DE COORDENADAS2.4 ESTIMACIÓN DE COORDENADAS
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

20. 2.4 ESTIMACIÓN DE COORDENADAS2.4 ESTIMACIÓN DE COORDENADAS
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

21. 2.4 ESTIMACIÓN DE COORDENADAS2.4 ESTIMACIÓN DE COORDENADAS
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

22.  Errores de posicionamiento mínimosErrores de posicionamiento mínimos
 Oclusiones:Oclusiones:
 Patrón con seis marcasPatrón con seis marcas
 Alto coste computacionalAlto coste computacional
2.52.5
RESULTADOSRESULTADOS
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

23. 2.52.5
RESULTADOSRESULTADOS
2.2. SISTEMA DESISTEMA DE
POSICIONAMIENTOPOSICIONAMIENTO

24. ÍNDICEÍNDICE
1.1. IntroducciónIntroducción
2.2. Sistema de posicionamientoSistema de posicionamiento
3.3. Detección y seguimiento de la manoDetección y seguimiento de la mano
4.4. Reconocimiento de gestosReconocimiento de gestos
5.5. ResultadosResultados
6.6. ConclusionesConclusiones

25. 3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.13.1 Métodos para la detección de la mano yMétodos para la detección de la mano y
los dedoslos dedos
3.23.2 Búsqueda de la manoBúsqueda de la mano
3.33.3 Detección de los dedosDetección de los dedos
3.43.4 ResultadosResultados

26.  Sistemas basados en modelos 3d:Sistemas basados en modelos 3d:
 Modelos volumétricosModelos volumétricos
 Modelos del esqueletoModelos del esqueleto
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.1 MÉTODOS PARA LA3.1 MÉTODOS PARA LA
DETECCIÓN DE LA MANO Y LOSDETECCIÓN DE LA MANO Y LOS
DEDOSDEDOS

27.  Sistemas basados en la aparienciaSistemas basados en la apariencia
 Derivan de la semejanza o apariencia de laDerivan de la semejanza o apariencia de la
imagenimagen
 Computacionalmente más eficacesComputacionalmente más eficaces
 Dependen de la orientación, la escala y lasDependen de la orientación, la escala y las
variaciones en la iluminaciónvariaciones en la iluminación
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.1 MÉTODOS PARA LA3.1 MÉTODOS PARA LA
DETECCIÓN DE LA MANO Y LOSDETECCIÓN DE LA MANO Y LOS
DEDOSDEDOS

28.  Para detectar la mano:Para detectar la mano:
 Segmentación basada en el color y elSegmentación basada en el color y el
movimientomovimiento
 Para detectar los dedos:Para detectar los dedos:
 Análisis de la curvaturaAnálisis de la curvatura
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.1 MÉTODOS PARA LA3.1 MÉTODOS PARA LA
DETECCIÓN DE LA MANO Y LOSDETECCIÓN DE LA MANO Y LOS
DEDOSDEDOS

29.  Segmentación orientada a color:Segmentación orientada a color:
 Espacio de color:Espacio de color:
 rgb normalizadorgb normalizado
 Criterio de homogeneidad:Criterio de homogeneidad:
 UmbralizaciónUmbralización
 Definición de distancia:Definición de distancia:
 Distancia euclídeaDistancia euclídea
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.2 BÚSQUEDA DE LA MANO3.2 BÚSQUEDA DE LA MANO

30.  Color de la pielColor de la piel
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.2 BÚSQUEDA DE LA MANO3.2 BÚSQUEDA DE LA MANO

31.  Algoritmo de segmentaciónAlgoritmo de segmentación
1.1. Detección deDetección de
movimientomovimiento
2.2. DetecciónDetección
color de pielcolor de piel
3.3. BinarizaciónBinarización
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.2 BÚSQUEDA DE LA MANO3.2 BÚSQUEDA DE LA MANO

32.  Método para detectar los dedos:Método para detectar los dedos:
 Análisis de la curvaturaAnálisis de la curvatura
 Proceso:Proceso:
 Preparación de la imagenPreparación de la imagen
 Función de curvaturaFunción de curvatura
 Análisis de la función de curvaturaAnálisis de la función de curvatura
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

33.  Preparación de la imagenPreparación de la imagen
ImagenImagen
segmentadasegmentada
FiltradoFiltrado DilataciónDilatación ContornoContorno
3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

34. 3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
 Función de curvaturaFunción de curvatura
 Cuanto se dobla el contorno de un objeto enCuanto se dobla el contorno de un objeto en
cada puntocada punto
3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS

35. 3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.3 DETECCIÓN DE LOS DEDOS3.3 DETECCIÓN DE LOS DEDOS
 Análisis de la función de curvaturaAnálisis de la función de curvatura

36. 3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.4 RESULTADOS3.4 RESULTADOS

37. 3.3. DETECCIÓN Y SEGUIMIENTO DE LADETECCIÓN Y SEGUIMIENTO DE LA
MANOMANO
3.4 RESULTADOS3.4 RESULTADOS

38. ÍNDICEÍNDICE
1.1. IntroducciónIntroducción
2.2. Sistema de posicionamientoSistema de posicionamiento
3.3. Detección y seguimiento de la manoDetección y seguimiento de la mano
4.4. Reconocimiento de gestosReconocimiento de gestos
5.5. ResultadosResultados
6.6. ConclusionesConclusiones

39. 4.4. RECONOCIMIENTO DERECONOCIMIENTO DE
GESTOSGESTOS
4.14.1 Métodos para el reconocimiento deMétodos para el reconocimiento de
gestos.gestos.
4.24.2 Método propuesto.Método propuesto.
4.34.3 Gestos reconocidos.Gestos reconocidos.

40.  EstáticosEstáticos
 Detectan y clasifican gestos formados porDetectan y clasifican gestos formados por
una sola postura de la manouna sola postura de la mano
 DinámicosDinámicos
 Detectan y clasifican gestos que implicanDetectan y clasifican gestos que implican
movimiento de traslación y/o rotación de lamovimiento de traslación y/o rotación de la
manomano
4.4. RECONOCIMIENTO DERECONOCIMIENTO DE
GESTOSGESTOS
4.1 MÉTODOS PARA EL RECONOCIMIENTO4.1 MÉTODOS PARA EL RECONOCIMIENTO
DE GESTOSDE GESTOS

41.  Comparación de las distancias:Comparación de las distancias:
 Entre los dedosEntre los dedos
 Entre los dedos y los vértices del modeloEntre los dedos y los vértices del modelo
4.4. RECONOCIMIENTO DERECONOCIMIENTO DE
GESTOSGESTOS
4.2 MÉTODO PROPUESTO4.2 MÉTODO PROPUESTO

42.  Gestos implementados:Gestos implementados:
 Estático: señalarEstático: señalar
 Dinámico: coger vérticeDinámico: coger vértice
4.4. RECONOCIMIENTO DERECONOCIMIENTO DE
GESTOSGESTOS
4.3 GESTOS RECONOCIDOS4.3 GESTOS RECONOCIDOS

43. ÍNDICEÍNDICE
1.1. IntroducciónIntroducción
2.2. Sistema de posicionamientoSistema de posicionamiento
3.3. Detección y seguimiento de la manoDetección y seguimiento de la mano
4.4. Reconocimiento de gestosReconocimiento de gestos
5.5. ResultadosResultados
6.6. ConclusionesConclusiones

44. 5.5. RESULTADOSRESULTADOS
5.15.1 Estudio de tiemposEstudio de tiempos
5.25.2 Estudio de luzEstudio de luz
5.35.3 Representación de modelos 3DRepresentación de modelos 3D
5.45.4 Interacción con la maquetaInteracción con la maqueta

45. 5.5. RESULTADOSRESULTADOS
 Representación de modelos virtualesRepresentación de modelos virtuales
 Tiempo de cargaTiempo de carga
 Tasa de imágenesTasa de imágenes
 Interacción con la maquetaInteracción con la maqueta
 SegmentaciónSegmentación
 CurvaturaCurvatura
 Reconocimiento de gestosReconocimiento de gestos
5.1 ESTUDIO DE TIEMPOS5.1 ESTUDIO DE TIEMPOS

46.  Representación de maqueta virtualRepresentación de maqueta virtual
 Luz directa puede provocar reflejo y pérdidaLuz directa puede provocar reflejo y pérdida
de la marcade la marca
 InteracciónInteracción
 La mano cambia de color aparente cuandoLa mano cambia de color aparente cuando
cambian las condiciones de iluminacióncambian las condiciones de iluminación
 Fallos cuando el contraste es muy elevadoFallos cuando el contraste es muy elevado
5.5. RESULTADOSRESULTADOS
5.2 ESTUDIO DE LUZ5.2 ESTUDIO DE LUZ

47. 5.5. RESULTADOSRESULTADOS
5.3 REPRESENTACIÓN DE MODELOS5.3 REPRESENTACIÓN DE MODELOS
3D3D

48. 5.5. RESULTADOSRESULTADOS
5.4 INTERACCIÓN CON LA MAQUETA5.4 INTERACCIÓN CON LA MAQUETA

49. ÍNDICEÍNDICE
1.1. IntroducciónIntroducción
2.2. Sistema de posicionamientoSistema de posicionamiento
3.3. Detección y seguimiento de la manoDetección y seguimiento de la mano
4.4. Reconocimiento de gestosReconocimiento de gestos
5.5. ResultadosResultados
6.6. ConclusionesConclusiones

50. 6.6. CONCLUSIONESCONCLUSIONES
 Representación de modelos 3DRepresentación de modelos 3D
 Dependencia respecto condiciones de luzDependencia respecto condiciones de luz
 OclusionesOclusiones
 Interacción con objetos virtualesInteracción con objetos virtuales
 Segmentación dependiente de lasSegmentación dependiente de las
condiciones de luzcondiciones de luz
 Mejora del filtradoMejora del filtrado
 Ampliación de los gestos reconocidosAmpliación de los gestos reconocidos
 El sistema cumple con los objetivos propuestosEl sistema cumple con los objetivos propuestos