La evaluación de la investigación

Mucho se habla de la evaluación de la calidad de la investigación y he intentado hacer un pequeño resumen y análisis. Empecemos por el principio:

Todo empieza por tener en cuenta la Cienciometría que es la ciencia que estudia la producción científica con el fin de medir y analizar la misma. Se lleva a cabo a través de la Bibliometría que es la medida de las publicaciones científicas.

La Bibliometría aplica métodos matemáticos y estadísticos a toda la literatura de carácter científico y a los autores que la producen, con el objetivo de estudiar y analizar la actividad científica. Se ayuda de las leyes bibliométricas, basadas en el comportamiento estadístico regular que a lo largo del tiempo han mostrado los diferentes elementos que forman parte de la ciencia (las leyes son: Ley de crecimiento exponencial, Ley de la productividad de los autores, Ley del envejecimiento u obsolescencia de la literatura científica, Ley de dispersión de la literatura científica. Ver más detalles en Wikipedia ).

Los instrumentos utilizados para medir los aspectos de este fenómeno social son los indicadores bibliométricos, medidas que proporcionan información sobre los resultados de la actividad científica en cualquiera de sus manifestaciones.
Los principales indicadores bibliométricos son:

Indicadores de producción : se basan en el recuento de publicaciones científicas. (cantidad de publicaciones producidas por un autor, país o institución durante un período determinado o cantidad de autores responsables del 50% de los trabajos publicados).

Indicadores de circulación : Miden la presencia de documentos en las bibliotecas y bases de datos bibliográficas.

Indicadores de dispersión : distribución de los trabajos en las revistas.

Indicadores de uso de la literatura científica : El consumo de información se mide a través del cómputo de publicaciones y el análisis de referencias.

Indicadores de visibilidad o impacto : recuentos del número de citaciones que reciben los documentos durante un periodo determinado de tiempo o a partir de su publicación. Uno de los indicadores más usados e importantes es el factor de impacto (FI), número medio de citas recibidas por un artículo en un período de tiempo específico. Mide la relación entre las citas recibidas y los artículos publicados en una revista.

Indicadores de colaboración : miden las relaciones que han existido entre los productores o agentes científicos y que han finalizado con la publicación conjunta de resultados científicos. Se basan en los datos de autoría.

Obsolescencia de la literatura científica : El crecimiento de la ciencia lleva consigo aparejado un rápido envejecimiento de la literatura científica, es decir, existe una tendencia elevada a que las publicaciones científicas caigan en desuso con el paso del tiempo. Tiene en cuenta si se producen en campos de investigación que avanzan rápidamente, entre otros.

Uno de los indicadores más utilizados son los de visibilidad o impacto, que están ampliamente definidos por el ISI y sus bases de datos. El factor de impacto, fue definido por Eugene Garfield que creó el Information Sciences Institute (ISI) de Filadelfia en 1960, que publica y mantiene una serie de productos que se utilizan a la hora de realizar estudios bibliométricos, como son el Science Citation Index (SCI) y el Journal Citation Report (JCR). También debemos tener en cuenta potentes bases de datos como Scopus o Google Scholar que cada vez cobran más relevancia.

En general, los estudios bibliométricos sirven para conocer la producción científica de los investigadores, la actividad científica de un país, los autores más productivos, el envejecimiento de la ciencia, para la suscripción de libros o revistas por parte de bibliotecas y centros similares y evaluar las actividades y políticas científicas, evaluar al profesorado y a los centros universitarios, entre otros; y sus resultados pueden influir en la concesión de proyectos y ayudas a investigadores y grupos de investigación y de ahí radica su importancia.

Aún así, el uso de estos indicadores está sujeto a controversia y existe mucho debate sobre el uso de los mismos. Por ejemplo, parece ser que el ISI diferencia los diferentes tipos de contribuciones que se publican en las revistas científicas (artículos, cartas, etc.). Algunos de estos documentos, como los artículos se prestan más a ser citados que otros. En el cálculo del numerador del cociente que determina el índice de impacto, el ISI incluye todas las citas recibidas por una revista científica durante un año determinado, mientras en el cálculo del denominador se incluyen sólo los artículos usuales, notas y revisiones. El problema está en que muchos documentos como cartas, editoriales, etc son de hecho citados y consiguen aumentar el número citas de una revista determinada y, de acuerdo con el procedimiento que sigue el ISI, no se cuentan como documentos citables en el denominador, con lo cual aumenta el índice de impacto artificialmente.

Por otro lado, también creo que, cuando un artículo ya se ha citado en otros artículos, debe tender a ser citado menos veces en pos de los documentos (más actuales) en los cuales es citado, pero de una forma u otra, es citado.

Mi opinión después de leer documentos y opiniones al respecto es que realmente para obtener unos buenos resultados se debe utilizar una combinación de datos bibliométricos y no-bibliométricos (por ejemplo institucionales), para analizar e interpretar los resultados y que aporten conclusiones para evaluar tanto la cantidad como la calidad de la producción científica de una institución y, obviamente, para ello los modelos matemáticos y estadísticos nos pueden ayudar, pero está claro que la valoración de analistas y expertos puede ser determinante para obtener unos resultados válidos.

Además, para evaluar una institución no solamente tenemos que medir las publicaciones ya que hay otras actividades que se llevan a cabo y que son igual de importantes. De hecho, según argumenta el mismo Garfield, no debe tomarse solamente como referente un indicador como es el índice de impacto.