research

Relationship between #evaluation and creation of new knowledge in #research process

Posted on Actualizado enn

  “Science outside of society doesn’t exist” (Dr. Paul Wouters)

I have seen this really interesting presentation from Paul Wouters, Director of the Center for Science and Technology studies WTS from Leyden University in the Netherlands, the tittle of the presentation is “New generation metrics“.

This presentation was part of the New research evaluation methods conference, that took place in the Biblioteconomy and Documentation Faculty of Barcelona University.

Dr. Wouters asses that evaluation is not a measurement of what you have done but it’s an inquiry about the possibilities that you have given, the state of affairs in your group or in your university at the moment: where you want to invest, what kind of people do you need. The evaluative process is never rigid, it’s never uniform for all fields and it’s contend-oriented. Mixed-methods approach are needed, not only quantitative and qualitative indicators such impact and indexes or rankings.

Evaluation is about the conditions and infrastructure. It means, for example, the synergies and conditions of the people of the group and so on.

He also assess that the evaluation and assessment must be in the core of the knowledge creation.

He tells that the impact doesn’t exist in society, the quality doesn’t exist also, both are assessments. So it’s not possible to measure the research only thought indicators.

He talks about open science and how this new scenario must change the evaluation and assessment methods of the scientific research. The ambitions of open science are:

  • More comprehensive measurement of traditional scientific publication (eg Mendeley)
  • Recognizing and capturing the diversity of scientific output including new forms (eg. software and blogs)
  • Opening up the whole scientific publication system (Open Access) and more interactive communication
  • Opening up the very core of knowledge creation and it’s role in higher education and innovation (participatory science)

And this last point is, in opinion of Dr. Wouters, the most important, and the game-changer in the research evaluation.

He shows 3 key assessment points of the individual researcher:

  • Expertise
  • output
  • influence

So, for him, it’s clear that a new way to evaluate the research is coming but now there is a lack of creativity in research assessment and he is working with others in this issue.

In short, he assess:  The evaluation and assessment must be part of the research process and not be and administrative work that the researcher must do, apart from their core work.

I found the presentation really interesting. Now researchers are basically measured by their outputs, but what about their expertise and influence? What about their “other works” like blogs, tweets, software, and so on? How can we measure this? How can we measure the researcher reputation with quality and in an objective form?

 

Anuncios

The #keywords problem in the digital #research scenario

Posted on

 

keywords-1

Once we have solve (or almost solve) the problem of the author ids in the research scenario, using the same author name always, creating the ORCID and other authors ids, now we need to solve another problem, that, with the irruption of the new technologies and the exponential growth of research publications, information and data, is more and more relevant.

I mean the keywords problem. A Keyword is a word that you type into a computer so that the computer will find the information that contain that word. Keywords are keys for the research process because, as you know, when a research process starts, the researcher must access to a lot of publications, information and so on, and not only for one field, it is common that needs to access information from some different fields. Although we have the Thesaurus, there is not an agreement about the use of the keywords and not exist an standard about this.

Due the continue evolution of the state-of-the-art of the research, new keywords, or different keywords for the same topic, appeared. So it’s not only necessary to collect new keywords, but change the old keywords for the new and evolved. Besides, the same issue could have different keywords in different research fields, so it’s difficult for a researcher to find the good keyword in each case. How can a researcher make sure that he/she has found everything? Really difficult…

Yes, this is the problem, but, this problem have solution? well, there are some initiatives to do so. Creating a web of concepts (research keywords) could be the solution, something like a semantic web of keywords, that store the relationships from the keywords and fields, for example: this field and this keyword are related to this other field and keyword, and so on, creating a graph of relationships. Also we can define this relationships through the citations, creating a web of citations with their relationships.

However, remains a true problem for the researchers, due the huge amount of information and data stored in the internet.

Have you any ideas or initiatives about this? I’m interested in this issue. Can you help me?

Glosario de términos para entender el Acceso abierto #openAccess #repository #research

Posted on

 

Open-Access-logo

He encontrado un interesante glosario de todos los términos relacionados con el acceso abierto a las publicaciones científicas.

En este documento, podéis encontrar una guía para la evaluación de los repositorios institucionales de investigación. Estos repositorios se han ido incorporando en las universidades e instituciones de investigación, sobre todo a raíz de la norma que dicta que, toda publicación financiada con dinero público, debe estar disponible en acceso abierto. Esta normativa consta tanto en la Ley de la Ciencia española, así como la unión europea, para el programa H2020.

En la Ley de la ciencia se dispone:

“…que todos los investigadores cuya actividad haya sido financiada mayoritariamente con los Presupuestos Generales del Estado están obligados a publicar en acceso abierto una versión electrónica de los contenidos aceptados para publicación en publicaciones de investigación. Para su desarrollo, se encomienda a los agentes del Sistema el establecimiento de repositorios institucionales de acceso abierto.”

Y el European Research Council (ERC) dispone:

“…Under Horizon 2020, beneficiaries of ERC grants2 must ensure open access (free of charge, online access for any user) to all peer-reviewed scientific publications relating to its results. The detailed requirements on open access to publications are contained in the Horizon 2020 ERC Model Grant Agreement (Article 29.2).”

Así pues, y de cara a que todos los repositorios institucionales tengan características similares y puedan ser reconocidos y recolectados, se deben tener en cuenta una serie de conceptos que aparecen en el documento al que me he referido anteriormente.

De ese documento, me quedo con el Glosario, que me ha parecido muy interesante y bien resumido. Realmente ayuda a poder entender cualquier artículo, libro o publicación en general sobre el mundo del acceso abierto. Así que transcribo literalmente el Glosario y os animo a leerlo a los que estéis interesados:

  • Acceso Abierto, Open Access: Acceso abierto significa la disponibilidad libre en Internet de la literatura de carácter académico o científico, permitiendo a cualquier usuario leer, descargar, copiar, distribuir, imprimir, buscar o enlazar los textos completos de los artículos científicos, y usarlos con cualquier otro propósito legítimo, sin otras barreras financieras, legales o técnicas más que suponga Internet en sí misma. (Definición de Budapest Open Access Initiative (BOAI).
  • Agrupaciones, sets: Los sets (agrupaciones) son un componente estándar del protocolo OAI-PMH y se utilizan para acotar (filtrar) partes concretas de un repositorio. Si el repositorio también contiene elementos no textuales, no digitales, elementos de acceso de pago o únicamente elementos de metadatos, puede utilizar el mecanismo de sets para filtrar los elementos al suministrar el contenido a los proveedores de servicio.
  • Archivo, Archive: El término Archive en el nombre Open Archives Initiative refleja el origen de OAI –la comunidad de los e-prints, en que el término “archivo” es usado como sinónimo de repositorio de artículos científicos.
  • Autoarchivo, Self-Archive: Depósito de un documento digital por su autor en repositorio accesible públicamente. Cuando un documento es auto-archivado en un sistema que cumple con los protocolos OAI, puede ser buscado y acceder a él a partir de motores de búsqueda genéricos o específicos, potenciando su impacto.
  • Budapest Open Access Initiative (BOAI): Tal vez la más importante iniciativa del movimiento de Acceso Libre al Conocimiento, que resultó de la reunión que tuvo lugar en Budapest en diciembre de 2001, promovida por el Open Society Institute (OSI). La declaración allí aprobada estableció el significado y el ámbito del Acceso Abierto y definió dos estrategias complementarias para promoverlo y alcanzarlo. La vía óptima o dorada y la buena o verde. Más información: http://www.budapestopenaccessinitiative.org/boai-10-translations/spanish
  • COAR (Confederation of Open Access Repositories): Es la confederación de repositorios de acceso abierto que une y representa a más de 100 instituciones de todo el mundo (Europa, América Latina, Asia, y América del Norte). Su misión es mejorar la visibilidad y lograr una mayor aplicación de los resultados de investigación a través de redes globales de repositorios de acceso digital abierto.
  • Declaración de Berlín, Berlin Declaration on Open Access to Knowledge in the Sciences and Humanities: Esta declaración fue suscrita el 22 de octubre de 2003 por representantes de algunas de las más importantes instituciones científicas europeas, entre ellas la Sociedad Max-Plank (Alemania) o el Centre Nacional de la Recherche Scientifique (Francia), apoyando el Open Access y el depósito en repositorios de acceso abierto, y afirmando animar a sus investigadores y científicos a depositar sus trabajos en, por lo menos, un repositorio. Más información: http://www.zim.mpg.de/openaccess-berlin/berlindeclaration.html
  • Derechos de Autor, copyright: Los derechos de autor, también llamados copyright en las tradiciones jurídicas anglosajonas, pertenecen al creador intelectual de la obra, salvo disposición expresa en contrario. Se consideran como obras las creaciones originales literarias, artísticas o científicas expresadas por cualquier medio o soporte, tangible o intangible, actualmente conocido o que se invente en el futuro, y que, como tales, son protegidas en los términos de la legislación española en materia de propiedad intelectual (Ley 23/2006, de 7 de julio, por la que se  modifica el texto refundido de la Ley de Propiedad Intelectual, aprobado por el Real Decreto Legislativo 1/1996, de 12 de abril). Los derechos de autor son de dos tipos:  – los derechos morales de autoría e integridad de la obra, que son irrenunciables e inalienables. – los derechos de explotación de su obra en cualquier forma y, en especial, los derechos de reproducción, distribución, comunicación pública y transformación, que no podrán ser realizadas sin el permiso del autor.
  • Documentación Institucional(*): Documentos generados por una institución y que no son producto de la actividad docente e investigadora de la misma.
  • Dublin Core: El Dublin Core surgió en el encuentro realizado en Dublin (Ohio), en 1995, y fue concebido para describir recursos de Internet y responder a la necesidad de crear una nomenclatura común de metadatos. Está compuesto de quince elementos de descripción de documentos electrónicos – title, creator, subject, description, publisher, contributor, date, type, format, identifier, language, source, relation, coverage, rights – que facilitan la información básica sobre los mismos. El Dublin Core Cualificado es una extensión del Dublin Core donde algunos de sus elementos son acompañados de un cualificador que los hace más restrictivos. Más información: http://dublincore.org/
  • Dulcinea: DULCINEA (http://www.accesoabierto.net/dulcinea/), por su analogía con el proyecto ROMEO Sherpa (http://www.sherpa.ac.uk/about.html), es un proyecto cuyo objetivo es conocer las políticas editoriales de las revistas españolas respecto al acceso a sus archivos, los derechos de copyright sobre los mismos y cómo estos pueden afectar a su posterior autoarchivo en repositorios institucionales o temáticos.
  • E-print: Versión digital de un artículo científico con peer-review, antes o después de la evaluación y publicación.
  • Fondo antiguo(*): Fondo bibliográfico patrimonial de una institución. Es frecuente que sea digitalizado e incluido en el repositorio de una institución.
  • Altmetrics (Indicadores alternativos): Son indicadores para la evaluación de la producción científica de autores o instituciones que se proponen como alternativa o complemento a los indicadores basados en citas (tales como factor de impacto o H-index). Están directamente relacionados con el uso de los documentos científicos en las redes sociales. Pueden medir cuánta gente ha interaccionado con un documento: menciones en Twitter, páginas vistas o PDFs descargados, etc.
  • Horizonte 2020: Es el Programa Marco que financia proyectos de investigación e innovación de diversas áreas temáticas en el contexto europeo para el periodo 2014-2020, en él tienen cabida investigadores, empresas, centros tecnológicos y entidades públicas 11.
  • Interoperabilidad(*): Es la capacidad de los repositorios para comunicarse e intercambiar procesos y datos. Es posible gracias al protocolo OAI-PMH.
  • Licencias Creative Commons: Creative Commons es una organización internacional sin ánimo de lucro, cuya finalidad es la difusión del conocimiento y de la cultura a través de la creación de licencias con las que los creadores pueden indicar qué usos permiten y cuales no en relación a sus obras. Más información: http://es.creativecommons.org/blog/
  • Metadatos: Literalmente, los metadatos son datos sobre datos. Los metadatos son datos asociados a objetos o sistemas de información para fines de descripción, administración, uso, preservación, etc. Existen varios tipos de metadatos: descriptivos (que sirven para identificación y localización), administrativos (creación, derechos, control de acceso, etc.) y estructurales (que relacionan los
    objetos).
  • Objetos de aprendizaje (*): Materiales digitales elaborados por el profesorado como apoyo al aprendizaje de sus alumnos.
  • OpenAIRE: Infraestructura de acceso abierto a la investigación en Europa, creada y desarrollada desde el año 2009 en el marco de los proyectos europeos OpenAIRE, OpenAIRE Plus, OpenAIRE2020 y OpeAIRE Advanced. OpenAIRE tiene el recolector (www.openaire.eu) de acceso abierto en Europa, que recolecta las publicaciones desarrolladas en el marco de los proyectos de investigación afectados por los requisitos de acceso abierto de la Comisión Europea. El mecanismo de recolección de OpenAIRE se basa en el protocolo OAI-PMH. Tecnológicamente OpenAIRE utiliza
    D-NET para recolectar los metadatos como motor de búsqueda de D-NET. Este motor es el encargado de recolectar los “sets OpenAIRE” de la red de repositorios institucionales registrados y auto-validados previamente como “OpenAIRE Compatible”. Posteriormente a su recolección, OpenAIRE realiza un enriquecimiento de datos en base a la información de que disponen sobre los
    proyectos subvencionados en el 7PM y Horizonte 2020. Este enriquecimiento de datos se realiza incluyendo información relevante del proyecto (identificador del proyecto, fecha de publicación, fecha de inicio, fecha de fin, etc.).Para ofrecer los servicios de búsqueda, el buscador D-NET se integra en el portal OpenAIRE, siendo transparente para los usuarios.
  • Open Archives Initiative (OAI): Surge en 1999 con el objetivo de crear una plataforma simple para permitir la interoperabilidad y la búsqueda de publicaciones científicas de diversas disciplinas. Esta iniciativa se enclava en el seno de la comunidad de los “e-prints” y partió de un inicio esencialmente técnico (de lo que resultó el protocolo OAI-PMH: http://www.openarchives.org/pmh/). Proporciona una base estable para la interoperabilidad de archivos abiertos, lo que hace que crezca el número de servidores que lo implementan, contribuyendo a dar mayor visibilidad y difusión al movimiento de Acceso Libre al Conocimiento.
  • ORCID (Open Researcher and Contributor iD): Es un identificador único y persistentes para autores científicos. Se dirige a solucionar el problema de la desambiguación de autores, es decir, diferenciar distintas personas físicas que comparten la misma forma del nombre, y también enlazar las distintas formas de firma que la misma persona física ha utilizado a lo largo de su vida. El código
    ORCID debe permitir identificar y diferenciar a un autor particular y a través de la integración en los flujos de trabajo tales como envío de manuscritos o solicitud de proyectos, debe permitir crear enlaces entre el autor y sus actividades profesionales, asegurando el reconocimiento del trabajo realizado.
  • Peer-review, revisión por pares; revisión científica: Es el proceso de evaluación y certificación de calidad de la investigación y de sus resultados, realizado en el momento de su publicación. Los artículos de las principales revistas científicas son objeto de este proceso antes de su publicación.
  • Política institucional de acceso abierto (*): Conjunto de acciones que se compromete a llevar a cabo una institución para fomentar e implantar el acceso abierto a su producción científica. En el caso de las universidades es aprobada por el Consejo de Gobierno.
  • Post-print: El texto digital de un artículo que ha sido evaluado y revisado y que ha sido aceptado para su publicación por una revista científica.
  • Pre-print: El texto digital de un artículo que aún no ha sido evaluado y revisado y aún no ha sido aceptado para su publicación por una revista científica.
  • Recolector de recursos digitales (*): Plataforma en acceso abierto que periódicamente recopila los metadatos de los repositorios que colaboran con ella. Facilitan el acceso a contenidos científicos procedentes de múltiples repositorios, contribuyendo notablemente a su visibilidad. La recolección de metadatos es posible si los repositorios cumplen el protocolo OAI-PMH.
  • Recomendación (*): Política institucional a favor del acceso abierto mediante la cual se aconseja e insta, pero no se obliga, a los autores a depositar el resultado de su producción académica y científica en el repositorio de la institución.
  • Repositorio / Repositorio Institucional (*): Es un conjunto de servicios que ofrece una institución a los miembros de su comunidad para la gestión y distribución de materiales digitales creados por la institución y sus miembros, organizados de tal modo que se garantice la correcta administración de los mismos, incluyendo la preservación a largo plazo, el acceso y su difusión. Otras denominaciones
    por las que puede ser conocido: depósito digital institucional; archivo digital;  repositorio digital.
  • Sherpa/Romeo: Es un proyecto cuyo objetivo es conocer las políticas editoriales de las revistas científicas respecto al acceso a sus archivos, los derechos de copyright sobre los mismos y cómo estos pueden afectar a su posterior autoarchivo en repositorios institucionales o temáticos. Más información: http://www.sherpa.ac.uk/romeo/index.php?fIDnum=|&mode=simple&la=es

EuroCRIS Strategic Membership Meeting and the #OpenScience #SMMBratislava

Posted on Actualizado enn

Last week I attend the euroCRIS Strategic Membership Meeting in Bratislava, Slovakia, in cooperation with the Slovak Centre of Scientific and Technical Information (CVTI SR). 

The theme of the Meeting was: Research Information and Open Science.

There, I presented SIGMA Research, the solution for the whole Research lifecycle.

There was a lot of information and presentations about OpenData and OpenAccess. It’s clear that there are a lot of things to do already, but the OpenScience movement is evolving rapidly and there a lot of initiatives, tools, services and so on, related. The vision is having a CRIS (Current Research Information System), that integrates with the institutional repository of scientific publications and with the Data Repository, in this way, the CRIS must be able to manage links to the digital publications and the dataSets (import/export). DSpace is a good tool to do so, but there are more: CKAN, and other initiatives.

There was also talk about advances in ORCID implantation, I think that, this unique identifier for authors, it’s key for the advance of the OpenScience, as also should be the unique identifier of research projects.

It was debated about the reasons why the OpenScience (especially OpenData) is not already fully implemented:

  • Journal editors are not always fully aware of the OpenAccess Standards
  • Researchers are willing to deposit papers but lacks the infrastructure to do so
  • Researcher have misperceptions about the principles of OpenAccess

Relevant issues:

Really interesting sessions in the beautiful city of Bratislava, where we could see a lot of examples and initiatives related to the OpenScience, focused especially in OpenData, the current trend.

Why are the #CRIS systems important? #research #CERIF @euroCRIS_Org

Posted on

I have seen an interesting interview to Ed Simmons president of the euroCRIS, that I have the pleasure to know personally due to my relation with the euroCRIS organisation as a member.

As Ed himself explains, euroCRIS is an organisation mainly dedicated to maintain and evolve an standard interchange system of the scientific information called CERIF (Common European Research Information Format) and to organise meetings at international level to promote the international collaboration between different research stakeholders.

The CERIF model format could be used to create the CRIS (Current Research information Systems) of the institutions to have an unique repository that stores all kind of research information of the institution, their researchers, groups, and so on.

In the interview, Ed explains some aspects of this CRIS’s, and why they are more and more relevant. He explains that provides the data about how the research is done and how research groups perform within the organisation, so it is a tool for managers to see whether the goals of the research reached and who produces more or less.

in short, he explains for whom are the CRIS’s:

  1. Is a database form the managers of the information (libraries, research areas, etc…)
  2. For researchers, because increase the number of all  kinds of aspects of their research (projects, founders, timings, money, results, publications, datasets, etc…), to generate their CVs in many formats, or to show their scientific production on a web page or in a conference and so on.
  3. For the institutional evaluation of the research, who performs well or less at national level.
  4. To show the research to the world on the internet.

A CRIS also could be a primary resource for other systems, for example, OpenAcess repository or OpenData repository, so, in this way, the CRIS system has more and more a central position in the institution and it’s information could be exported to all kind of systems. A one spot for registering the information and then putting that information out of all kinds of info requesters.

In short: “only one system for all”.

Ed, asserts that if a institution has a CRIS, the researchers use it, and I agree with him. I work with a CRIS (SIGMA Research) that is running in some Spanish universities and I can assert, too, that it has this central position to which Ed refers. And day by day, these CRISs systems are more and more used.

Finally, I think that CRISs provides also the concept of FAIR data, i.e, information Findable, Accessible, Interoperable and Reusable.

So in this way, I also agree with Ed that the CERIF format model, can help to improve especially the interoperability aspect of the FAIR data.

You can access the Ed Simmons interview,  here

eurocrisEdSimmons

 

 

Bibliometric indicators as part of the research ecosystem

Posted on Actualizado enn

Can we see the bibliometric indicators as part of an  ecosystem? I think so…

Let me explain. I’m involved in a project related to bibliometric analytics, seeing the first results, I realise, as I read many and many times, that the bibliometric indicators are a good quantitative indicators to measure the research results, but should not be the only or the main measures to evaluate a researcher.

The bibliometric indicators such as citations counts or downloads, have different biases depending on age, discipline and co-authorship. As it is good explained in this paper.

The number of citations increased with the age (number of years of active researcher) of the individual, so the square root of number of citations divided by the age is almost a constant.

Different disciplines have different citation cultures, so citation counts cannot be directly compared.

Must take the degree of co-authorship into account.

Finally we must take also into account that indicators such as provided by WOS, Scopus and Google Scholar (the most relevant), do not cover all areas of research, being Google Scholar the widest.

We can see the researcher environment as an ecosystem that depends on the researchers personal profile, their collaboration relationships, their research scope, their media activity (measured thru altmetrics), other indicators such eigenfactor among others. Only seeing the researchers as a whole, interacting in an environment, we can evaluate them, and not only thru two or three indicators.

In short, we can show the main bibliometric indicators, as we can see bellow, but it’s not a result or an evaluation as well, it’s only information that we need to analyse in order to evaluate the results.

see UVICs PPC

uvic1uvic2