Aguillo Evaluacion Publicaciones Palma

Slideshow Transcript

1. Slide 1: Tendencias en la evaluación de publicaciones académicas Isidro F. Aguillo Laboratorio de Cibermetría CINDOC-CSIC
2. Slide 2: Agenda Aspectos básicos de bibliometría y cienciometría   Elpapel de las bases de datos de citas: Web of Knowledge Impacto en la evaluación de revistas,  investigadores e instituciones  Errores de interpretación y malas prácticas El problema de las ciencias sociales,  humanidades (y tecnologías) Publicación electrónica y Web  Recomendaciones para editores  2 www.webometrics.info
3. Slide 3: Situación actual Los profesores universitarios y los  investigadores españoles están sujetos a evaluación de su actividad científica La evaluación se realiza mediante evaluación  por pares y el uso de técnicas bibliométricas  Los indicadores más importantes deberían obtenerse del análisis de citas Existe un “monopolio” respecto de la(s) base(s)  de datos fuente para el análisis  Web of Knowledge (Thomson Scientific) 3 www.webometrics.info
4. Slide 4: Licencia nacional del WoK FECYT contrata la licencia para todas las universidades y  centros de investigación y universaliza su uso Se generaliza la consulta del WoK y la utilización de sus  datos Factor de impacto de revistas  Publicaciones por autor (grupo o institución)  Número de citas recibidas  Índice h  Los propios interesados obtienen sus datos personales  sin conocimiento de las limitaciones y sesgos de dicha base de datos 4 www.webometrics.info
5. Slide 5: 5 www.webometrics.info
6. Slide 6: Problemática del WoK Cobertura sesgada  Sesgo original  Revistas fuente (citantes) en el núcleo  Sesgo geográfico  Países desarrollados  Sesgo idiomático  Inglés  Sesgo temático  Biomedicina  Artículos de revisión  Incremento secular  Más revistas, más artículos (más citas)  Fuerte impacto al añadir revistas locales  6 www.webometrics.info
7. Slide 7: Cobertura del WoK No-WoK Fuente (citante) WoK Wok>No-Wok Wok>Wok Global 25% 75% 25% 75% Biología Molecular 8% 92% Ciencias Sociales 71% 29% No-WoK Citado WoK Datos ISI (Moed, 2005) 7 www.webometrics.info
8. Slide 8: Publica o perece Incremento número de publicaciones  Aumento del número de autores   Publicaciones “salami”  Estudios a corto plazo vs largo plazo  Revisiones vs investigación original Migración hacia “revistas internacionales”  Revistas de circulación restringida   Revistas de temática local Abandono de otros formatos  Libros (humanidades)   Actas de congresos (ojo con Scopus!, ciencias de la computación)  Informes (tecnologías)  Publicaciones electrónicas (??) 8 www.webometrics.info
9. Slide 9: Evolución de la productividad Autores/artículo (+52%) Autores/autores únicos (+29%) Artículos/autores únicos (-15%) 1980 2002 % Artículos 70% 478.000 814.000 Autores 160% 1.187.000 3.081.000 articulos/autor -34% 0,4 0,26 Autores únicos 101% 545.000 1.095.000 Datos ISI (Moed, 2005) artículos/autor único -15% 0,88 0,74 9 www.webometrics.info
10. Slide 10: Problemática con el análisis Producción científica  Autoría/afiliación no normalizada  Infravaloración por fallos de identificación  Autoría fraccionada  El impacto y la medida de la coautoría  Análisis de citas  Auto-citas  Personales (auto-bombo)  Grupo (colegas, discípulos)  Continuidad  Factor de impacto esperado vs FI real  Número de citas reales recibidas, no FI de la revista  Limitaciones del índice h  Válido para carreras dilatadas, sesgos disciplinares  10 www.webometrics.info
11. Slide 11: 11 www.webometrics.info
12. Slide 12: Algunas consecuencias Ciencia en español  En detrimento de la docencia  Destrucción de los canales de comunicación en español  Preferencia por colaboración con EUA/UE frente a Iberoamérica  Actividad en ciencias sociales y humanidades  Infravaloración de la producción  Indicadores no disponibles o poco viables  Dificultad para realizar análisis de citas  Problemas para realizar comparaciones bibliométricas con otras  disciplinas o combinar datos Rechazo o incomprensión de científicos sociales y humanistas  hacia la evaluación 12 www.webometrics.info
13. Slide 13: Algunas soluciones Evaluación cuantitativa con revistas no-fuente  Citas a revistas (y otros objetos) no incluidos en WoK  In-Recs (CC. Sociales) ec3.ugr.es/in-recs/  Medicina ec3.ugr.es/medicina/  IME (Medicina) ime.uv.es/imecitas/impacto_ime.asp  Evaluación mixta (formal, cualitativa, cuantitativa)  Criterios Latindexwww.latindex.unam.mx  RESH (CC. Sociales y Humanas) resh.cindoc.csic.es  DICE (idem Difusión) dice.cindoc.csic.es  Otras fuentes de datos  Scopus  Google Scholar  13 www.webometrics.info
14. Slide 14: Actas Capítulos Congresos Libros Informes Artículos revistas Libros WoK 14 www.webometrics.info
15. Slide 15: 15 www.webometrics.info
16. Slide 16: 16 www.webometrics.info
17. Slide 17: ene-06 Artículos WoK Scopus ambos Embase 4865 53,40% 90,50% 52,20% Geobase 2065 51,80% 89,80% 50,90% BIOSIS 4480 60,00% 68,10% 57,10% PsycInfo 1990 54,30% 64,80% 52,10% Ebsco 7739 56,40% 60,60% 49,80% CSAIPA 371 34,50% 59,00% 34,50% CAB 7443 38,00% 45,90% 36,80% Sociological Abstracts 1777 37,10% 42,70% 31,60% EconLit 1077 28,80% 41,70% 27,30% Agricola 2215 36,40% 40,00% 35,40% Pubmed 16621 27,30% 37,30% 24,30% SocIndex 3703 29,60% 34,60% 25,90% Eric 1264 30,90% 34,30% 27,50% INSPEC 8966 20,80% 27,10% 19,90% MathSciNet 2697 25,10% 26,90% 22,40% LLBA 1555 28,90% 22,80% 18,10% CSALISA 477 15,70% 21,80% 14,70% Georef 13345 9,40% 12,80% 8,70% Philosophers Index 1194 24,50% 12,60% 10,50% ATLA 1549 21,80% 8,80% 7,40% MLA 4923 14,00% 3,20% 2,70% BHA 2244 11,90% 2,00% 1,40% www.library.uu.nl/geosource/jeroen/scopuspresentatie20060418.ppt 17 www.webometrics.info
18. Slide 18: Reto digital Web Pública Web Privada Internet Invisible Bases de datos Web Visible Repositorios Revistas electrónicas 18 www.webometrics.info
19. Slide 19: 19 www.webometrics.info
20. Slide 20: Google Scholar (I) Objetos en dominios universitarios (enero 2007) 20 www.webometrics.info
21. Slide 21: Google Scholar (II) Objetos en dominios universitarios (julio 2006) 21 www.webometrics.info
22. Slide 22: Ficheros ricos CONTRIBUCIÓN ACADEMICA (Google, miles) FORMATOS GLOBAL UNIVERSIDADES ACROBAT PDF 608.000 114.849 18,9% MS WORD DOC 119.000 16.898 14,2% MS POWERPOINT PPT 22.900 4.447 19,4% POSTSCRIPT PS 13.600 4.193 30,8% Dominios universitarios (Julio 2006) 22 www.webometrics.info
23. Slide 23: Repositorios eprints.rclis.org roar.eprints.org 23 www.webometrics.info
24. Slide 24: Combinando 24 www.webometrics.info
25. Slide 25: La nueva edición Electrónica, por supuesto  Acceso abierto, la ventaja de la visibilidad  Multiformato  Multilingüe (inglés Y otros)  Posicionada (en motores de búsqueda)  e indizada (en bases de datos: web invisible)  Hipertextual  desde repositorios, depósito único (o no?)  Arquitectura web y Usabilidad  Estándares (metadatos y otros)  Navegabilidad, incluyendo identificación (electrónica y física), mención de  responsabilidad, tipo de licencia (copyright) Persistencia  Sindicación RSS, Blogs, Wikis  Estadísticas  25 www.webometrics.info
26. Slide 26: ¿Y las monografías? Versión en papel  Serializar  Preferiblemente multidisciplinares  ISSN además de ISBN  Tratamiento de revista  Criterios Latindex !!!  Versión electrónica  Dominios propios  Contenidos, no solo texto completo  Metadatos, interoperabilidad  Interactividad: Foros, opiniones, sugerencias  Estadísticas de uso  26 www.webometrics.info
27. Slide 27: 27 www.webometrics.info
28. Slide 28: ¿Por qué? La evaluación necesita fuentes (bbdds)  Cobertura amplia (exhaustividad)  Criterios de selección (inclusión) rigurosos (calidad= peer review)  Acceso universal (fácil, asequible)  Las fuentes (bibliográficas) deben admitir medidas  Análisis (control) documental  Las estadísticas deben generar indicadores  Parámetros significativos, con un objetivo  Masa crítica  Los indicadores deben ser comparables  Asimilación a indicadores bibliométricos de artículos  28 www.webometrics.info
29. Slide 29: Pero … Las fuentes son escasas  Con un diseño “inadecuado”  Con una cobertura limitada  Costosas de mantener  De difícil (o caro) acceso  Los indicadores de visibilidad miden solo presencia  En múltiples bases de datos con coberturas temática, geográfica o idiomática y  criterios de selección no comparables Los indicadores de uso basados en circulación son  inaccesibles o poco fiables Distribución (Amazon Rank)  Bibliotecas  Un índice de citas podría ser inviable  29 www.webometrics.info
30. Slide 30: 30 www.webometrics.info
31. Slide 31: … edición electrónica Ventajas  Distribución mundial  Google Books, Amazon Search Inside  Seguimiento detallado  Visitas, volcados  Interacción con los lectores  Costes (!?)  Inconvenientes  Inversión tecnológica  Competencia en mercado global  Financiación de los modelos Open Access  Control de la auto-publicación  31 www.webometrics.info
32. Slide 32: www.webometrics.info 32
33. Slide 33: www.webometrics.info 33
34. Slide 34: www.webometrics.info 34
35. Slide 35: Conclusiones/Recomendaciones La evaluación de la actividad científica no solo se  reforzará sino que guiará la publicación académica Ciencias Sociales y Humanidades se evaluarán con los  mismos (o similares) criterios que las CC. Puras Las monografías deben incorporarse al proceso o serán  ignoradas La serialización y la edición electrónica pueden ser claves  para que sean tenidas en cuenta Las monografías deben incorporarse a las fuentes  utilizadas para el análisis cuantitativo o crear su proprio sistema Los rankings son una opción  35 www.webometrics.info
36. Slide 36: 36 www.webometrics.info
37. Slide 37: ¡Gracias! ¿Preguntas? Isidro F. Aguillo isidro@cindoc.csic.es www.webometrics.info 37