Este documento resume un seminario sobre el impacto de las revistas españolas de Educación a través de los índices IN-RECS e IN-RECJ. Explica qué son estos índices, su metodología, y proporciona datos sobre el impacto de las revistas españolas de Educación entre 1994-2009. También discute usos y posibles abusos de los índices de impacto, y advierte sobre los sesgos de la fórmula utilizada para calcular el factor de impacto.

1. El impacto de las revistas españolas de Educación
a través de IN-RECS/IN-RECJ
Usos y abusos
I Seminario RERCE Red de Revistas Españolas de Educación
Carmen de la Victoria
Universidad de Granada
Granada, 7 de abril de 2011
Emilio Delgado López-Cózar
Catedrático de Metodología de la Investigación
Facultad de Comunicación y Documentación
Universidad de Granada

2. ÍNDICES DE IMPACTO
REVISTAS ESPAÑOLAS DE CIENCIAS SOCIALES Y JUÍRIDICAS

3. ¿Qué son?
Índices bibliométricos
Índices estadísticos basados en recuentos de referencias
bibliográficas citadas en revistas científicas españolas a fin
de medir el impacto de revistas, artículos, autores e
instituciones españolas

4. ¿Qué son?
Complementarios no sustitutos
94%
Revistas españolas
6%
Revistas ISI
Producción española en Ciencias Sociales y
Humanidades ISOC versus ISI WoS

5. ¿Qué son?
Convenciones internacionales: fórmula ISI (Thomson Reuters)
con ligeros retoques en la ventana de citación y en el empleo
de indicadores bibliométricos adicionales
200620052004
2006 Impact Factor
2003 2007
Tiempo
2006200520042003 2007
2006 Índice de impacto
JCR

6. ¿Qué son?
Índices de impacto
Índices de citas

7. Calendario de implantación
2003 2004 2005 2006 2007 2008/09
2010
Economía
Psicología
Educación
Sociología
Geografía
Documentación
Ciencia Política
Urbanismo
Anthropología
Comunicación
Derecho
WEB
Revistas
Artículos
Instituciones
Autores
X X X X X
X
X
IN-RECH
Nueva interfaz
búsquedas
Nuevos
indicadores
añadidos
Vías de
comunicación
autores
Reajuste
fórmula
cálculo índice
de impacto

8. Las cifras de IN-RECS/IN-RECJ
Total IN-RECS IN-RECJ Educación
Periodo cubierto 1996- 2001- 1996-
Revistas fuente 223 159 64 32
Revistas con impacto
calculado
1.121 780 341 156
Artículos citables 268.647 200.906 67.741 45.423
Citas 104.902 83.138 21.784 15.985
15%

9. ¿Cuánto ha costado?
¿Quién lo financiará en el futuro?
¿Quién lo ha financiado hasta ahora?
250.000 euros
35.000 euros/año

10. Servidor EC3
Linux Suse 9.2, base datos postgres,
apache, php, ...
Tablas BD
Selección de revistas fuente
por especialidades
Introducción de los
artículos citables
Título, Autor….
Cindoc, Dialnet, Compludoc
Psicodoc, revista...
Carga en BD
Introducción de la producción
de la revista por años
Cindoc, Dialnet,
revista electrónica o en papel
Carga en BD
Obtención e introducción de las
citas WOS de las revistas
Carga de citas
Introducción de las citas
nacionales de las revistas
Una vez al año
Una vez al año
Una vez al año
SistemáticoCarga de citas
Cálculo de impactos e indicadores
Resultados en web
http://ec3.ugr.es/in-recs/
http://ec3.ugr.es/in-recj/
Sistemático
Funcionamiento general del sistema

11. Metodología
1. Identificación población de revistas
científicas españolas de ciencias sociales (±
600) y ciencias jurídicas (± 300)
Fuentes: Latindex, Directorio español de revistas
de Ciencias Sociales y Humanidades, Dialnet,
Ulrich´s, REBIUN

12. Metodología
2. Distribución revistas por áreas de
conocimiento
Asegurar representación de todas las especialidades,
entendiendo por tales las reflejadas en las
ÁREAS DE CONOCIMIENTO
– Clasificaciones temáticas asignadas por las
propias bases de datos: CDU, UNESCO, Ulrich´s
– Clusters temáticos obtenidos por el método de
las palabras asociadas
– Opinión investigadores
– Citación
0%
20%
40%
60%
80%
100%
R
P
G
A
P
sico
th
em
a
P
siC
o
n
R
IP
C
S
C
lin
S
al
R
P
P
C
A
M
C
A
n
s
E
s
In
f
A
p
S
JP
A
n
u
P
si
E
st
P
siC
o
g
n
itiva
P
sico
ló
g
ica
M
C
C
R
P
T
O
R
P
S
A
R
P
SP
ap
P
sic
Hª y Tª Psicol Psicometria y Metodol Psicol Exper hum Psicol Exper anim
Psicobiologia Psicofarmacología Sistem comunicac Psicol evolutiva
Psicol educacion Procesos y probl sociales Psicol social Psicol Trabajo
Personalidad Trastornos fis y psiq Diag preven tratam Profesion

13. 3. Selección de las revistas fuente: ¿qué y cuántas
revistas seleccionar para construir el índice de
citas?
- ¿Por qué ser selectivos? Ley de Bradford
- 20% población revistas españolas Ciencias Sociales
- Número de revistas a procesar por área de
conocimiento:
Tamaño del campo: número de revistas de cada campo,
tamaño literatura circulante, productividad, número de
profesores
Metodología

14. La Ley de Bradford en ISI (SCI 1988)
Distribución citas-revistas

15. • 22 revistas (2%) reciben el 50% de las citas
• 72 revistas (7%) reciben el 75% de las citas
Distribución Bradford
0
5
10
15
20
25
30
35
1 49 97 145 193 241 289 337 385 433 481 529 577 625 673 721 769 817 865 913 961 1009
Revistas
citasxmil
Revistas
La Ley de Bradford en IN-RECS (2003)
Distribución citas-revistas

16. Metodología
Criterios de selección revistas fuente
Núcleo inicial
- Pervivencia o antigüedad
Variable según disciplina: 6 años en Educación
- Calidad editorial
- Empleo de un “riguroso” sistema de selección y evaluación de originales
- Reputación y prestigio del editor y comités editoriales
- Opinión profesores e investigadores españoles (calidad
percibida)
- Impacto científico de las revistas españolas a nivel
internacional
Actualización
análisis de citas y especialidades no cubiertas

17. Revistas fuente Educación

18. Impacto revistas españolas de Educación
1994-2008
Evolución número de revistas
0
20
40
60
80
100
120
140
160
1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

19. Impacto revistas españolas de Educación
1994-2009
Advertencia previa:
cautela y prudencia con el uso de los datos de citación
Datos “pequeños”: pocas citas
0,35
es el número medio de citas por
artículo para el periodo 1994-
2009
17,6%
45.423 artículos
Educación en IN-RECS
citados

20. Impacto revistas españolas de Educación
1994-2008
• 15 revistas (20%) concentran el 68% de las citas.
• El 36% de las revistas han sido incapaces de
obtener más de diez citas en 15 años.

21. Impacto revistas españolas de Educación
1994-2008
Evolución impacto revistas de Educación
0
0,02
0,04
0,06
0,08
0,1
0,12
0,14
0,16
0,18
1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
índice de impacto promedio
Promedio de citas

22. Impacto revistas españolas de Educación
1994-2008
Evolución número de revistas
con impacto 0
0
10
20
30
40
50
60
70
80
90
1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009

23. Impacto revistas españolas de Educación
1994-2008
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
Nacionales Internacionales
Procedencia de las citas

24. Los usos

25. Conocer el índice de impacto de las revistas
• Anual (desde 1996 )
• Acumulativo: 5, 10 años e histórico
Los usos

26. Los usos
Evolución de la revista
Curva de envejecimiento
Tasa de autoreferenciación Tasa de autocitación

27. Los usos
Revistas
citadas
Artículos
citados
Artículos más
citados
Conocer qué cita la revista

28. Los usos
Revistas
citantes
Artículos
citantes
Autores
citantes
Conocer quién cita a la revista
Instituciones
citantes
Disciplinas citantes

29. Los usos
Artículos
citantes
Autores
citantes
Conocer perfil bibliométrico de un autor
Disciplinas citantes

30. Los usos
Conocer otros indicadores bibliométricos
Citas nacionales e ISI, citas por artículo, artículos muy citados, % artículos citados,
índice de coautoría
Perfil bibliométrico: comparación revista / especialidad

31. Los usos
Conocer
Artículos, autores e instituciones más citados de la disciplina

32. Los abusos

33. Los abusos
Editores en su afán de incrementar el impacto de
su revista se aprestan a manipular las políticas
editoriales

34. Los abusos
Fomentan la autocitación:
recomiendan directamente a los autores que citen artículos
publicados en la propia revista

35. Los abusos
La citación (en muchos casos autocitación) se concentra
exclusivamente en los años en que computa el índice de impacto
(2-3 últimos años)

37. Los abusos
citas 1 autor otras citas
15
5
citas 1 autor otras citas
Un artículo cita 74 veces a una revista
Solo en 5 artículos se cita 356 veces a una revista
15
5
430
1570
Un solo autor o un conjunto de ellos,
normalmente formando parte del equipo
editorial de la revista, determina el impacto de
una revista, bien sea la propia o ajena

41. Los abusos
Editores que cambian la política editorial en función
exclusivamente de las citas que puedan recibir los trabajos
Favorecen la publicación de trabajos que no computan en el
denominador pero sí en el numerador de la fórmula que calcula
el factor de impacto

43. Ojo
Todo esto se ve

44. Factor de impacto
Ese anhelado objeto del deseo

45. Número de citas recibidas en 2006 por los trabajos publicados en 2004 y 2005
Número de trabajos publicados en 2004 y 2005
Impact Factor = A/B
200620052004
2006 Impact Factor
2003 2007
Tiempo
JCR
La fórmula mágica

46. • El factor de impacto es un promedio
• OJO: La distribución asimétrica de las citas de una revista hace que dicho
promedio no sea representativo
• El impacto de un artículo nunca equivale al impacto de la revista
0
5
10
15
20
25
30
35
0 1 2 3 4 5 6 7 8 9 10 11 13 14 33 46
citas
trabajos
Citas trabajos publicados en 2007
International Journal of Nursing Studies
8 (5%) trabajos concentran el 74% de las citas
150 (95%) trabajos concentran el 26% de las citas
Advertencias

47. Sesgos en la fórmula de cálculo:
• Numerador: citas a todos los items publicados en la revista
(artículos, revisiones, casos clínicos, editoriales, cartas…)
• Denominador: solo contabiliza los trabajos citables
(artículos originales y de revisión)
M. Amin & M. Mabe. (2000). Impact factors: Use and abuse. Perspectives in publishing
Advertencias

48. Advertencias
El factor de impacto depende de múltiples factores:
• Naturaleza y tipo de la disciplina científica: básica/aplicada
• Hábitos de publicación y prácticas de citación de las comunidades científicas
• Tamaño de las disciplinas y comunidades científicas

49. Advertencias
El factor de impacto es sensible a múltiples factores:
• Tamaño de las revistas

50. Advertencias
El factor de impacto es sensible a múltiples factores:
• Tipo de revista: general o especializada
• Rapidez en la publicación (ventana de citación)
• Tipo de trabajos publicados: revisiones, artículos metodológicos, cartas…
• Publicación en open access

51. Muchas gracias por su atención
Emilio Delgado López-Cózar
edelgado@ugr.es / http://ec3.ugr.es/emilio
www.ec3.ugr.es