Diapositivas utilizadas para la presentación durante II CONGRESO NACIONAL sobre CALIDAD, EVALUACIÓN Y ENCUESTAS DE LA DOCENCIA UNIVERSITARIA: BALANCE DEL PLAN BOLONIA

1. La perversión de
Bolonia
Gestión de la Calidad, Calidad y Excelencia: Tres
conceptos distintos
II CONGRESO NACIONAL!
CALIDAD, EVALUACIÓN Y ENCUESTAS DE LA DOCENCIA UNIVERSITARIA:
BALANCE DEL PLAN BOLONIA
Joaquín Borrego Díaz
Coordinador del Máster en Lógica, Computación e Inteligencia Artificial
Departamento de Ciencias de la Computación e Inteligencia Artificial
jborrego@us.es

2. Contenido
• Puntos de vista
• Gestión de calidad: gestión de la I+D+i como gestión de
calidad universitaria
• Calidad: Indicadores convertidos en objetivos
• Consecuencias, desde el punto de vista de un coordinador
académico, del proceso de Bolonia
• Evolución de la relación alumno-profesor durante el proceso
• Conclusiones y ¿soluciones?

3. Puntos de vista
• Advertencia: el contenido de esta charla responde a mi experiencia personal!
• Tesis: Las leyes y normas NO reflejan, en general, la actividad universitaria
• Las leyes/normas pueden provocar efectos indeseados/adversos si:
• no son razonablemente estables
• no son ampliamente analizadas antes de su aplicación
• son diseñadas sin contar con los que la aplicarán/usarán (por ejemplo,
aprovechando buenas prácticas establecidas)
• Si la aplicación de una norma es notoriamente perjudicial para el desarrollo
científico y educativo, es necesario reflexionar sobre ésta, no basta mitigar su
impacto
• Origen: Interacción con alumnos, dinámicas académicas y de política universitaria
• Recepción de políticas académicas en el departamento y en nuestra actividad
formativa en grados, master y doctorado
Tres
principios

4. Valoración global de los procesos normativos!
Percepción desde el profesorado/alumnado: Producción
Órganos de gobierno
Órganos
Administrativos
Órganos de
representación
Profesorado/alumno

5. Valoración global de los procesos normativos!
Percepción desde el profesorado/alumnado: FeedBack
Órganos de gobierno
Órganos
Administrativos
Órganos de
representación
Profesorado/alumno
Ágil si afecta!
a derechos
¿Adecuada
para la
dimensión!
administrativa
?

6. Valoración global de los procesos normativos
Percepción desde el profesorado/alumnado:
Aplicación
Órganos de gobierno
Órganos
Administrativos
Órganos de
representación
Profesorado
Alumno
Sólo si hay
problemas!
graves
Sólo si hay
problemas!
graves

7. Conclusiones (extraídas de la experiencia)
• El ecosistema normativo no funciona si no se repetan los tres
principios
• Sorprendentemente, la mayoría de las normas que afectan a la
docencia e investigación no tienen en cuenta los tres principios
• Muchas producen fricción :
• Efecto adverso difícilmente resoluble con el conjunto normativo de
la Universidad
• Protocolos deficientes, ambiguos, incompletos
• Frecuentemente, profesores, alumnos y centros deben resolverlo en
un limbo reglamentario donde prima la buena fe

8. ¿Calidad en la
Universidad?
Discurso público
sobre la docencia
+investigación
¿Cómo entender
una mejora
continua?
Cuestiones

9. • Gestión de calidad en la docencia universitaria:
El discurso público dice que se garantiza el
flujo:
Investigación
Estudio/
Aprendizaje
Resultados
Producto/
Innovación
I D i
Docencia
Perfeccionamiento/
Actualización

10. • El discurso de los diseñadores de políticas educativas habla de calidad
• ¿Verificar su calidad? ¿Cómo? ¿Reglas generales de verificación?
Investigación
Estudio/
Aprendizaje
Resultados
Producto/
Innovación
I D i
Docencia
¿Evaluar!
su !
calidad?
Perfeccionamiento
Actualización
¿Evaluar!
su !
calidad?
¿Evaluar!
su !
calidad?
¿Evaluar!
su !
calidad?
¿Evaluar!
su !
calidad?
¿Evaluar!
su !
calidad?

11. • El discurso público político:
Investigación
Estudio/
Aprendizaje
Resultados
Producto/
Innovación
I D i
Docencia
¿Evaluar!
su !
calidad?
Perfeccionamiento/
Actualización
¿Evaluar!
su !
calidad?
¿Evaluar!
su !
calidad?
Discurso de la excelencia universitaria!
Ejemplo: Ranking no como indicador,!
sino como objetivo
Excelencia

12. La excelencia no consiste en un
conjunto de indicadores/rankings
• Cuando un indicador (que mide cierta característica) es utilizado
como herramienta de presión o llave para la supervivencia, se
tiende a convertir en un objetivo su manipulación
• Ejemplo bien conocido: el uso de métricas de biblioteconomía
para medir la calidad de la investigación (por ejemplo, el índice
de impacto)
http://www.slideshare.net/lourdesverdesmontenegro/love-for-science-or-academic-prostitution-dfd2014-version

13. Solución: Elegir/encontrar
“reglas de juego”…
Claras Objetivas
Medibles
Indicadores adecuados
ProcesablesFactibles
pero… ¿Dónde?

14. • Idea (dimensión docente):
• La innovación es la actividad docente (es un servicio i)
Investigación
Estudio/
Aprendizaje
Resultados
I D
Docencia
i
Producto
Servicio
Servicio
Un
servicio
social

15. Ventajas de esta aproximación
• Al ser la actividad docente un servicio I+D+i, la
calidad se mide como calidad de un servicio!
• Parámetros bien definidos!
• Regulados por normas de calidad estandarizadas
y contrastadas!
• Autonomía de los equipos proveedores del
servicio!
• Criterios claros separadores entre gestión,
calidad y mejora

16. Experiencia personal
• Coordinador de Master universitario (oficial)
• Miembro de comisión académica de un programa de doctorado
• Director de un equipo de trabajo de FIDETIA para proveer servicios I+D+i
• Certificado del sistema de gestión de la calidad
Gestión
de I+D+i

17. ¿Qué se obtiene?
• Sistematizar sus actividades de I+D+i
e integrarlas en la gestión general
• Planificar, organizar y controlar las
unidades de I+D+i, así como la
cartera de productos generados.
• Establecer la interacción de la I+D+i
con otros departamentos o divisiones.
• Demostrar la transparencia de las
actividades de I+D+i.
• Aportar un valor añadido de confianza
en la actividad de I+D+i, mejorando
su imagen y su competitividad.
• Compatibilidad con otros sistemas de
gestión.
¿Qué hemos obtenido con los
sistemas actuales en la
Universidad?
• No se sistematizan actividades de I+D+i y No se integra en
la gestión general de la Universidad
• Ejemplo: Sistemas no interoperables!
• No permite planificar las unidades de I+D+i
• Ejemplo: Constante cambio normativo!
• No permite la interacción de la I+D+i entre departamentos o
divisiones
• Ejemplo: Las escuelas doctorales!
• No existe transparencia de las actividades de I+D+i
• Ejemplo: Deficiente sistema de información (SICA)
• No aporta un valor añadido de confianza en la actividad de
I+D+i, mejorando su imagen y su competitividad
• Ejemplo: Política errática en el mapa de titulaciones
de master!
• Compatibilidad con otros sistemas de gestión
• Los sistemas de gestión de la I+D+i están separados
en académicos, administrativos y económicos
Fuente: AENOR

18. Propuesta:
• Extraer las pautas de gestión y control de la calidad de la gestión de la
docencia a partir de las normas de calidad para la i!
• Ventajas:!
• Normativa estable y contrastada
• Reglas claras de calidad
• No se confundirían!
• La gestión de calidad de la innovación
• La calidad
• La excelencia

19. Necesitamos una idea de
este tipo para:
• Controlar la explosión documental
• Establecimiento de indicadores para la calidad adecuados
• Transformar las encuestas en una herramienta útil para
analizar el proceso de enseñanza/aprendizaje
• Elaborar propuestas de mejora reales!
• Solventar la deficiente autonomía de las unidades de I+D
+i (departamentos)

20. Soluciones
• Explosión documental y burocrática
• Algunos indicadores para la gestión de
calidad que son en realidad de
excelencia
• Confusión entre gestión, calidad y
excelencia
• Encuestas docentes
• Propuestas de mejora
• No existe autonomía de gestión de los
servicios de I+D+i por sus gestores, los
departamentos
Problemas
• Documentación controlada por la
norma
• Indicadores diferenciados de los
objetivos!
• Gestión de la calidad!
• Encuestas de satisfacción de cada
servicio docente: especialización!
• Propuestas de mejora razonadas
• Autonomía de las unidades de I+D
+i (departamentos), como
equipos de trabajo

21. Concretamente, en el caso de las
encuestas docentes…
• Desarrollo de la gestión de la calidad dentro los
departamentos, como unidades de servicio de docencia
autónomos!
• Encuestas docentes elaboradas por las unidades de
servicio: los departamentos
• Se contextualizan a cada contexto educativo concreto
• Propuestas de mejora de la gestión elaboradas a partir de
la especificidad de cada contexto docente
• La propuesta de mejora pretenderá alcanzar objetivos
reales, no simplemente mejorar los valores de
indicadores

22. ¿Cómo he llegado a esta conclusión?
• La encuesta docente actual:
• Pide la opinión del
alumnado sobre algunas
cuestiones en las que no
son (todavía) competentes
• Existe un sesgo claro
atendiendo a:
• Tamaño de la muestra
• Carácter obligatorio/
optativo
• Estudios de grado o
postgrado
• Son acontextuales
Faltadecontexto • Las preguntas de la encuesta se han
transformado en objetivos
• Elección de asignaturas optativas,
“fáciles” o poco masificadas
• Preocupación por alcanzar alta
puntuación en preguntas en las que no
existe criterio racional posible para ello
• Implica que no existe propuesta de
mejora racional!
• ¿Cómo interpretar No sabe/No
contesta?
• Ejemplo: ¿Adecuación a priori del
horario de tutorías?
• Ejemplo: Uso innecesario de nuevas
tecnologías para subir baremos
• El alumno no es competente para
evaluar los métodos de evaluación
de una asignatura que no ha cursado
ni de la que ha sido evaluado
Consecuencias

23. Bolonia Original
¿Qué tiene que ver con el !
(mal llamado) proceso de
Bolonia?
• Percepción original
de Bolonia:
• Convalidación
intraeuropea
automatizada de
títulos
universitarios
• “Producto” final:
• Influencia dañina de cinco aspectos
distintos que han acabado por destruir el
objetivo final
• Cada aspecto ha producido un desarrollo
normativo nuevo que, combinados, resulta
perjudicial
• NO existe convergencia real con los países
de primera línea
Gestión de la
calidad
Educación por
competencias
COSTE 0
¿Qué se ha conseguido?
Bolonia Original
Aumento de
tasas
¡¡Ninguna tiene
relación con la
Bolonia original!!Excelencia
científica

24. • Sobre la I+D+i
• Presión insostenible sobre el
profesorado
• Difícil equilibrio docencia-
investigación
• Desmantelamiento de líneas
incipientes de docencia-investigación
Consecuencias sobre el
profesorado
• Sobre la calidad docente:
• Sobrecarga docente
• Ratio profesor/alumno
inadecuado para la
evaluación de
competencias
• Desarrollo normativo
ajeno a las prácticas
de éxito de centros
• Presión para rebajar
los niveles de
exigencia
• Presión por pasar de la
calidad a la excelencia
Productividad=Excelencia
científica
Gestión de la
calidad
Aprendizaje
competencias
COSTE 0
Aumento de
tasas
COSTE 0
Evaluación de
la producción
científica
+
Excelencia
científica
Complementos de Productividad=
incentivo competitivo

25. ¿Se reflejan en las
encuestas esos efectos
perjudiciales?
SI NO
¿mal diseñada?
Repetimos: Un indicador NO es en general
un objetivo ni debe ser evaluado sin contexto

26. • 1: El proyecto docente está disponible en algidus+enseñanza
virtual. No depende sólo del profesor
• 2. Descontextualizada: no se ha desarrollado la planificación
completa
• 3. Ausencia de No sabe/No contesta. Mal diseño de la
encuesta
• 4. Mal diseño normativo. Descontextualizada!
• 5. No son competentes. Ausencia de No sabe/no contesta.
Mal diseño de la encuesta
• 6. Descontextualizada!
• 7. Descontextualizada!
• 8. No depende sólo del profesor!
• 9. Pertinente. !
• 10. Pertinente.!
• 11. Descontextualizada!
• 12. Pertinente!
• 13. Descontextualizada!
• 14. Descontextualizada!
• 15. Pertinente!
• 16. No son competentes. Descontextualizada!
• 17. No son competentes para metaevaluar la evaluación
por competencias!
• 18 Descontextualizada (por las otras)
Gestión de la
calidad
Filosofía de las
competencias
COSTE 0
Aumento de
tasas
Peligro: Las puntuaciones máximas
en indicadores se conviertan en
objetivos
Un indicador NO es objetivo
descontextualización

27. La consecuencia más
preocupante:!
está afectando a la relación !
alumno-profesor

28. • Doctorado como actividad formativa
• Desvinculación del departamento
• Generación de normativas
descontextualizadas
• La relación ha pasado de alumno-
departamento a
• Alumno-Centro-
Vicerrectorado-Escuela
Doctoral-Junta de Andalucía!
• Fricciones no resolubles
• Aumento constante del coste muy
por encima del IPC!
• La plantilla comienza a depender de
la política (errática) de postgrado!
• Cierran líneas de innovación!
• Pérdida de competitividad en I+D
Programa
de
doctorado
Múltiples
normativas
doctorado
Master
+programa
doctorado
Master
+Escuela
doctoral
Ejemplo:

29. Conclusiones…
¿Soluciones?

30. Conclusiones
• Bolonia + mala implantación de
gestión de calidad + cambio del
modelo enseñanza aprendizaje +
coste 0:
• Alumnos: Master es un 5º curso
a un precio desorbitado
• Profesores: Saturación.
Empeoramiento notable de las
condiciones de trabajo
• Encuestas descontextualizadas,
mal diseñadas y afectadas por
el fracaso de la convergencia
• Normativas inestables y que no
aprovechan experiencias de
éxito
• Desvincular la responsabilidad de la
supervisión de la calidad del servicio de
los servicios generales de la Universidad.
• Contextualizar todos los procesos de
análisis y valoración de los servicios
• Los departamentos poseen las
herramientas suficientes para atender la
especificidad
• Los evaluadores de los servicios deben
especialistas en gestión. Separar gestión
de la calidad de calidad. La gestión de la
calidad no es un objetivo pedagógico, es
un objetivo de gestión
• Transformar las encuestas docentes
• Estabilidad normativa.
• Agilización documental importante
¿Soluciones?

31. Gracias
II CONGRESO NACIONAL!
CALIDAD, EVALUACIÓN Y ENCUESTAS DE LA DOCENCIA UNIVERSITARIA:
BALANCE DEL PLAN BOLONIA
Joaquín Borrego Díaz
Coordinador del Máster en Lógica, Computación e Inteligencia Artificial
Departamento de Ciencias de la Computación e Inteligencia Artificial
jborrego@us.es