¿Entramos en la era de las métricas gratuitas?

Parece ser que Google y Microsoft quieren lanzar herramientas bibliométricas gratuitas para el análisis de citaciones, ver redes de investigación y seguir los campos de investigación más candentes.

El sistema servirá para aquellas instituciones que no pueden (o no quieren) utilizar plataformas de pago como Thomson Reuters' Web of Knowledge o Elseviers's Scopus database.

Google Scholar lanzó GSC (Google Scholar Citations, que de momento está en versión beta accesible por invitación), que permite además al investigador crearse su profile personal con sus publicaciones en la base de datos Google Scholar con el número de citaciones, el índice-h para medir tanto la productividad del investigador como el impacto de sus publicaciones.

Por otro lado está Microsoft Academic Search (MAS), lanzado en 2009 y que tiene una herramienta similar a GSC.

Según he podido comprobar, en general, los investigadores valoran mucho la información que pueden obtener de Google Scholar. Recuerdo un día que hablaba con un investigador de una universidad que me dijo textualmente:

"para qué complicarse la vida!. Cuando buscamos algo, tanto yo como mis compañeros lo buscamos en Google Académico, si no lo encontramos o lo que encontramos no nos satisface entonces ya entramos en las plataformas de pago a las que tenemos acceso por trabajar en la universidad" y añadió "yo conozco mi área de conocimiento y las personas referentes de ella y puedo saber si una información es más o menos fiable".

A todo esto hay que añadir que una de las ventajas que encuentro en Google Scholar (GS) es que indexa todo tipo de publicaciones (libros, informes científicos-técnicos, proceedings, working papers, jornadas, ponencias, tesis y tesinas, etc...) a diferencia de las bases de datos de pago que suelen indexar básicamente artículos de revistas, por lo tanto, se pueden obtener métricas más amplias. Además, GS también indexa información tanto de ciencias sociales como de humanidades. Si bien es cierto que una de sus desventajas es precisamente que la indexación es automática con lo cual no está "libre de errores", es decir, al ser un sistema automático, se producen errores que a veces pueden hacer inteligible la referencia o con datos erróneos. También hay que tener en cuenta que solamente recupera las 1.000 primeras referencias ordenadas por número de citaciones, disponibilidad del texto completo, el autor y la publicación.

Yo creo que también es una desventaja el hecho de no diferenciar, por ejemplo, documentos peer-reviewed o bien documentos procedentes de acuerdos con editoriales o publicaciones de confianza, no permitiendo al que busca, tener una pista más sobre la fiabilidad del documento.

De todas formas, si GSC logra obtener unas buenas métricas, creo que está muy bien posicionado para ser herramienta de referencia en métricas, aunque no creo que lleve a desbancar a las bases de datos de pago, pero siempre puede ser un paso previo para que, en caso de querer obtener una referencia fiable, por ejemplo, comprobar su autenticidad a traves de WOK o Scopus o que sirva para comparar métricas, etc... quizás estamos hablando de herramientas complementarias. En todo caso, el futuro (no tan lejano) dirá.

Referencias, a parte de haber podido comprobar el funcionamiento la herramienta personalmente:
http://www.nature.com/news/2011/110802/full/476018a.html?WT.mc_id=FBK_NPG
http://eprints.rclis.org/bitstream/10760/13902/1/Torres-Salinas,_Ruiz-Perez,_Delgado-Lopez-Cozar-Google_scholar_como_herramienta_para_la_evaluacion_cientifica.pdf

La evaluación de la investigación

Mucho se habla de la evaluación de la calidad de la investigación y he intentado hacer un pequeño resumen y análisis. Empecemos por el principio:

Todo empieza por tener en cuenta la Cienciometría que es la ciencia que estudia la producción científica con el fin de medir y analizar la misma. Se lleva a cabo a través de la Bibliometría que es la medida de las publicaciones científicas.

La Bibliometría aplica métodos matemáticos y estadísticos a toda la literatura de carácter científico y a los autores que la producen, con el objetivo de estudiar y analizar la actividad científica. Se ayuda de las leyes bibliométricas, basadas en el comportamiento estadístico regular que a lo largo del tiempo han mostrado los diferentes elementos que forman parte de la ciencia (las leyes son: Ley de crecimiento exponencial, Ley de la productividad de los autores, Ley del envejecimiento u obsolescencia de la literatura científica, Ley de dispersión de la literatura científica. Ver más detalles en Wikipedia ).

Los instrumentos utilizados para medir los aspectos de este fenómeno social son los indicadores bibliométricos, medidas que proporcionan información sobre los resultados de la actividad científica en cualquiera de sus manifestaciones.
Los principales indicadores bibliométricos son:

Indicadores de producción : se basan en el recuento de publicaciones científicas. (cantidad de publicaciones producidas por un autor, país o institución durante un período determinado o cantidad de autores responsables del 50% de los trabajos publicados).

Indicadores de circulación : Miden la presencia de documentos en las bibliotecas y bases de datos bibliográficas.

Indicadores de dispersión : distribución de los trabajos en las revistas.

Indicadores de uso de la literatura científica : El consumo de información se mide a través del cómputo de publicaciones y el análisis de referencias.

Indicadores de visibilidad o impacto : recuentos del número de citaciones que reciben los documentos durante un periodo determinado de tiempo o a partir de su publicación. Uno de los indicadores más usados e importantes es el factor de impacto (FI), número medio de citas recibidas por un artículo en un período de tiempo específico. Mide la relación entre las citas recibidas y los artículos publicados en una revista.

Indicadores de colaboración : miden las relaciones que han existido entre los productores o agentes científicos y que han finalizado con la publicación conjunta de resultados científicos. Se basan en los datos de autoría.

Obsolescencia de la literatura científica : El crecimiento de la ciencia lleva consigo aparejado un rápido envejecimiento de la literatura científica, es decir, existe una tendencia elevada a que las publicaciones científicas caigan en desuso con el paso del tiempo. Tiene en cuenta si se producen en campos de investigación que avanzan rápidamente, entre otros.

Uno de los indicadores más utilizados son los de visibilidad o impacto, que están ampliamente definidos por el ISI y sus bases de datos. El factor de impacto, fue definido por Eugene Garfield que creó el Information Sciences Institute (ISI) de Filadelfia en 1960, que publica y mantiene una serie de productos que se utilizan a la hora de realizar estudios bibliométricos, como son el Science Citation Index (SCI) y el Journal Citation Report (JCR). También debemos tener en cuenta potentes bases de datos como Scopus o Google Scholar que cada vez cobran más relevancia.

En general, los estudios bibliométricos sirven para conocer la producción científica de los investigadores, la actividad científica de un país, los autores más productivos, el envejecimiento de la ciencia, para la suscripción de libros o revistas por parte de bibliotecas y centros similares y evaluar las actividades y políticas científicas, evaluar al profesorado y a los centros universitarios, entre otros; y sus resultados pueden influir en la concesión de proyectos y ayudas a investigadores y grupos de investigación y de ahí radica su importancia.

Aún así, el uso de estos indicadores está sujeto a controversia y existe mucho debate sobre el uso de los mismos. Por ejemplo, parece ser que el ISI diferencia los diferentes tipos de contribuciones que se publican en las revistas científicas (artículos, cartas, etc.). Algunos de estos documentos, como los artículos se prestan más a ser citados que otros. En el cálculo del numerador del cociente que determina el índice de impacto, el ISI incluye todas las citas recibidas por una revista científica durante un año determinado, mientras en el cálculo del denominador se incluyen sólo los artículos usuales, notas y revisiones. El problema está en que muchos documentos como cartas, editoriales, etc son de hecho citados y consiguen aumentar el número citas de una revista determinada y, de acuerdo con el procedimiento que sigue el ISI, no se cuentan como documentos citables en el denominador, con lo cual aumenta el índice de impacto artificialmente.

Por otro lado, también creo que, cuando un artículo ya se ha citado en otros artículos, debe tender a ser citado menos veces en pos de los documentos (más actuales) en los cuales es citado, pero de una forma u otra, es citado.

Mi opinión después de leer documentos y opiniones al respecto es que realmente para obtener unos buenos resultados se debe utilizar una combinación de datos bibliométricos y no-bibliométricos (por ejemplo institucionales), para analizar e interpretar los resultados y que aporten conclusiones para evaluar tanto la cantidad como la calidad de la producción científica de una institución y, obviamente, para ello los modelos matemáticos y estadísticos nos pueden ayudar, pero está claro que la valoración de analistas y expertos puede ser determinante para obtener unos resultados válidos.

Además, para evaluar una institución no solamente tenemos que medir las publicaciones ya que hay otras actividades que se llevan a cabo y que son igual de importantes. De hecho, según argumenta el mismo Garfield, no debe tomarse solamente como referente un indicador como es el índice de impacto.