OpenAlex

Une alternative viable pour l’évaluation de la recherche?

Philippe Mongeon
pmongeon@dal.ca

Department of Information Science
Dalhousie University

Qu’est-ce qu’OpenAlex?

OpenAlex is:

  • Big — We have about twice the coverage of the other services, and have significantly better coverage of non-English works and works from the Global South.

  • Easy — Our service is fast, modern, and well-documented.

  • Open — Our complete dataset is free under the CC0 license, which allows for transparency and reuse.

Source: https://docs.openalex.org/

Les données d’OpenAlex

Deux principales soures: Microsoft Academic Graph et Crossref.

Autres source: ORCID, ROR, DOAJ, Unpaywall, PubMeb, PubMed Central, the ISSN international center, Internet Archives, Web Crawls, Subject-area and institutional repositories.

Quelle est la couverture exclusive à OpenAlex?

Couverture des revues du DOAJ dans OpenAlex, WoS et Scopus

Source: Simard et al. (2024)

Couverture des revues du DOAJ par discipline

Source: Simard et al. (2024)

Couverture du DOAJ par région

Nombre de publication par pays

Probème connu: Document sans affiliations

Beaucoup plus de documents mais pas de références

Source: Culbert et al. (2024)

OpenAlex pour l’évaluation de la recherche?

Leiden Ranking (gauche) et Leiden Ranking Open Edition (droite)

Quelques notes sur le Leiden Ranking Open Edition

  • Pas basé sur l’ensemble d’OpenAlex
    • Revues “core”/“internationale” (environ 88M articles)
    • Seulement les articles publiés en anglais.
    • Limité aux articles citants ou cités dans des revues “core”.
  • L’objectif est de reproduire autant que possible le Leiden Ranking basé sur le WoS.
  • Évite les erreurs dues à la mauvaise qualité des métadonnées?

Le cas des revues en sciences de l’information du WoS

Données

  • 163 revues en sciences de l’information du WoS (core collection).
  • 154 trouvé dans OpenAlex
  • 316 546 articles dans WoS, 213 655 dans OpenAlex
  • 81 789 pairs d’articles
    • 32 598 pour (2014-2023)

Nombre de publications

Références

Références

Type de documents (2014-2023)

Nombre de références des cas problèmes

Sommaire

  • OpenAlex produit des résultats similaires en terme de nombre d’articles et de références?

  • Taux élevé d’erreurs dans le type de document (> 10%).

  • Est-ce que ça pourrait expliquer en partie les différences entre les deux Leiden Rankings?

Évaluer la recherche avec OpenAlex?

  • Importance du contexte d’évaluation.

  • Couverture plus inclusive, mais nombres gonflés par des documents sans intérêt.

  • Qualité des données

    • Lacunes au niveau des affiliations,et des types de documents, notamment?
    • Corrélations entre les résultats obtenus avec WoS… un argument suffisant?
    • Responsabilité placée sur les fournisseurs de données, la communauté, et l’utilisateur.

  • Démocratisation de la bibliométrie et de l’évaluation de la recherche?

    • Expertises et coûts de stockage/traitement des données considérables.

  • Autres “problèmes”

    • Changements fréquents peuvent être problématique.

    • Mode de gouvernance limitant la viabilité à moyen/long terme.

Merci de votre attention!

References

Métascience 2024 - Métascience, Recherche sur la Recherche et Science Ouverte en dialogue - 15 novembre 2024 - Lyon

Culbert, Jack H., Anne Hobert, Najko Jahn, Nick Haupka, Marion Schmidt, Paul Donner, and Philipp Mayr. 2024. “Reference Coverage Analysis of OpenAlex Compared to Web of Science and Scopus.” Cornell University. https://doi.org/10.48550/arxiv.2401.16359.
Simard, Marc-Andre, Isabel Basson, Madelaine Hare, Vincent Lariviere, and Philippe Mongeon. 2024. “The Open Access Coverage of OpenAlex, Scopus and Web of Science.” arXiv. https://doi.org/10.48550/arXiv.2404.01985.