Lanzamiento de GOOGLE SCHOLAR DIGEST. Research on Google Scholar: empirical evidences

Me place enormemente glosar públicamente desde el blog del grupo de investigación  EC3 (Evaluación de la Ciencia y de la Comunicación Científica), un nuevo producto de nuestra factoría: GOOGLE SCHOLAR DIGEST. Research on Google Scholar: empirical evidences, un boletin informativo creado y mantenido por EC3,  con la pretensión de informar sobre los resultados de las investigaciones que vayan viendo la luz sobre Google Scholar y sus productos derivados (Google Scholar Citations and Google Scholar Metrics). Dado que los productos confeccionados por Google reciben un amplio eco y suscitan, a veces, enconados debates, es imprescindible ofrecer evidencias empíricas basadas en investigación de cuales pueden ser sus usos y aplicaciones, determinando con precisión cuales son sus fortalezas y debilidades como fuente datos.

Inauguramos el blog con un primer informe que pretende sintetizar las principales evidencias empíricas existentes sobre el rendimiento de los dos principales buscadores académicos existentes a día de hoy: Google Scholar (GS) y Microsoft Academic Search (MAS), poniendo una especial atención en los siguientes tópicos: cobertura, correlación entre ranking de revistas y uso de estos buscadores académicos.

Los pobres resultados obtenidos por Microsoft Academic Search nos han conducido a descubrir un inesperado y lamentable hecho: MICROSOFT ACADEMIC SEARCH HA DEJADO DE ACTUALIZARSE DESDE 2013. Por tanto, la segunda parte de nuestro informe tiene por objetivo avanzar algunos datos que demuestran esta falta de actualización. No podemos más que entristecernos por la pérdida de prestaciones del producto de Microsoft, que atizaba la sana competencia y que había desplegado sencillos a la par que ricos indicadores bibliométricos y brillantísimas herramientas de visualización. Esperemos que resucite para bien de todos, de la búsqueda de información académica y de la evaluación científica.

Este producto no es más que la guinda a más de cinco años de trabajo continuado dentro EC3. Conscientes de las potencialidades de Google Scholar para la generación de sistemas de información con indicadores bibliométricos, el grupo EC3 decidió iniciar en 2009 una línea de investigación orientada a testar la credibilidad científica de la nueva fuente y de los nuevos productos derivados de la misma.

A modo de prontuario bio-bibliográfico de este quinquenio de investigación decir que hemos trabajado en cinco ámbitos habiendo producido más de 30 trabajos. A saber:

1. Análisis de las prestaciones y cobertura de Google Scholar y de sus productos derivados (Google Scholar Metrics & Google Scholar Citations) pero especialmente de de Google Scholar Metrics.

Los resultados de nuestras pesquisas han visto la luz bien en forma de publicaciones y documentos de trabajo bien en forma de informes destinados a la creación de índices para medir el impacto por medio de recuentos de citas de las revistas científicas de Humanidades y Ciencias Sociales.

Publicaciones y documentos de trabajo:

Delgado López-Cózar, E.; Cabezas Clavijo, A. (2013). Ranking journals: could Google Scholar Metrics be an alternative to Journal Citation Reports and Scimago Journal Rank? Learned Publishing, 26 (2): 101-113. 

 Delgado-López-Cózar, E., Orduña-Malea, E., Jiménez-Contreras, E., & Ruiz-Pérez, R. (2014). H Index Scholar: el índice h de los profesores de las universidades públicas españolas en humanidades y ciencias sociales. El Profesional de la Información, 23(1), 87-94

 Delgado López-Cozar,  E. & Repiso, R. (2013). The Impact of Scientific Journals of Communication: Comparing Google Scholar Metrics, Web of Science and Scopus. Comunicar 41. (DOI 10.3916/C41-2013-04.

 Cabezas-Clavijo A, Delgado-López-Cózar, E. (2013). Google Scholar e índice h en biomedicina: la popularización de la evaluación bibliométrica. Medicina Intensiva 37 (5), 343–354.

 Delgado-López-Cózar, E; Cabezas-Clavijo, Á. (2012). Google Scholar Metrics: an unreliable tool for assessing scientific journals. El profesional de la información, 2012, 21 (4), 419-427.

 Delgado López-Cózar, E.; Robinson-Garcia, N. Repositories in Google Scholar Metrics or what is this document type doing in a place as such? Cybermetrics, 2012, 16(1), paper 4.

 Cabezas-Clavijo, Álvaro; Delgado López-Cózar, Emilio (2013). Google Scholar Metrics 2013: nothing new under the sun. EC3 Working Papers, 12 : 25 de julio de 2013.

 Delgado López-Cózar, E. (2013). The Google Scholar Family: ¿Is it an alternative for the evaluation of science? En: IV Seminario EC3: Altmetrics y Unidades de Bibliometría. Universidad de Granada, Facultad de Comunicación y Documentación, 14-15 marzo 2013

 Delgado López-Cózar, E; Cabezas-Clavijo, Á (2012). Google Scholar Metrics updated: Now it begins to get serious. EC3 Working Papers 8: 16 de noviembre de 2012.

 Cabezas-Clavijo, Á; Delgado López-Cózar, E (2012). ¿Es posible usar Google Scholar para evaluar las revistas científicas nacionales en los ámbitos de Ciencias Sociales y Jurídicas? El caso de las revistas españolas. EC3 Working Papers 3: 23 de abril 2012.

 Cabezas-Clavijo, Á; Delgado López-Cózar, E (2012). Las revistas españolas de Ciencias Sociales y Jurídicas en Google Scholar Metrics, ¿están todas las que son? EC3 Working Papers, 2. 17 de abril de 2012. 

 Cabezas-Clavijo, Á; Delgado López-Cózar, E (2012). Scholar Metrics: the impact of journals according to Google, just an amusement or a valid scientific tool? EC3 Working Papers 1: 11 de abril de 2012.

Informes

Se han confeccionado 8 productos de evaluación bibliométrica de publicaciones científicas a partir de Google Scholar y Google Scholar Metrics. A saber:

Reina Leal, L.M.; Repiso, R.; Delgado López-Cózar, E. (2014). H Index of scientific Nursing journals according to Google Scholar Metrics (2008-2012). EC3 Reports, 8: 1 march 2014.

Delgado-López-Cózar, E., Orduña-Malea, E., Jiménez-Contreras, E., Torres Salinas, D.; Ruiz-Pérez, R. (2013). H Index Scholar: el índice h de los profesores de las universidades públicas españolas en humanidades y ciencias sociales.   http://hindexscholar.com

Ayllón, Juan Manuel; Ruiz Pérez, Rafael; Delgado López-Cózar, Emilio (2013). Índice H de las revistas científicas españolas según Google Scholar Metrics (2008-2012). EC3 Reports, 7. Granada, 18 de noviembre de 2013.

Delgado López-Cózar, E.; Ayllón, JM, Ruiz-Pérez, R. (2013). Índice H de las revistas científicas españolas según Google Scholar Metrics (2007-2011). 2ª edición. EC3 Informes, 3: 9 de abril de 2013. Available:

Repiso, Rafael; Delgado López-Cózar, Emilio (2013). H Index Communication Journals according to Google Scholar Metrics (2008-2012).

Delgado López-Cózar, E; Repiso, R. (2012). Índice H de las revistas de Comunicación según Google Scholar Metrics (2007-2011).

Delgado López-Cózar, E.; Ramírez Sánchez, M. (2013). Índice H de las revistas españolas de Historia según Google Scholar Metrics (2007-2011). EC3 Working Papers 10: 7 de febrero de 2013.

Delgado López-Cózar, E.; Orduña Malea, E.; Marcos Cartagena, D.; Jiménez Contreras, E.; Ruiz Pérez, R. (2012). JOURNAL SCHOLAR: Una alternativa internacional, gratuita y de libre acceso para medir el impacto de las revistas de Arte, Humanidades y Ciencias Sociales. EC3 Working Papers 5: 12 de mayo de 2012.

Delgado López-Cózar, E.; Marcos Cartagena, D.; Cabezas Clavijo, A.; Jiménez Contreras, E.; Ruiz Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Jurídicas según Google Scholar (2001-2010).

Delgado López-Cózar, E.; Marcos Cartagena, D.; Cabezas Clavijo, A.; Jiménez Contreras, E.; Ruiz Pérez, R. (2012). Índice H de las revistas españolas de Ciencias Sociales según Google Scholar (2001-2010)1.

2. Análisis de la posibilidad de manipulación de las publicaciones, citas e indicadores bibliométricos suministrados por Google Scholar y sus productos derivados.

Delgado López-Cózar, E., Robinson-García, N., & Torres-Salinas, D.  (2013). Science Communication: Flawed Citation Indexing. Science, 342(6163): 1169.

 Delgado López-Cózar, E., Robinson-García, N., & Torres-Salinas, D. (2013). The Google Scholar Experiment: how to index false papers and manipulate bibliometric indicators. Journal of the American Society for Information Science and Technology, 65(3): 446–454.

3. Análisis de la capacidad de crecimiento en la cobertura de fuentes de Google Scholar y Google Scholar Metrics.

Orduña-Malea, E., & Delgado López-Cózar, E.  (2014). Google Scholar Metrics evolution: an analysis according to languages. Scientometrics, In press

4. Estudio de la fiabilidad y validez de Google Scholar como herramienta para la evaluación científica.

Esta actuación está en plena ejecución y es objeto de una beca FPI que disfruta Juan Manuel Ayllón. 

5. Exploración de las posibilidades de Google Scholar para generar un ranking de editoriales españolas de libros y monografías.

Esta actuación se desarrolla dentro del proyecto “Evaluación de editoriales y libros científicos españolas en Humanidades y Ciencias Sociales a traves de análisis de citas y difusión en bibliotecas (2000-2008)” (Referencia HAR2011-30383-C02-02), financiado por la Dirección General de Investigación y Gestión del Plan Nacional de I+D+I. (2012-2014) 

En fin, solo podemos prometer que una vez abierto el camino seguiremos hasta donde las fuerzas nos alcancen.

Emilio Delgado López-Cózar

Huétor Vega, 30 de abril de 2014