Les contenus de la région '' vous seront proposés par défaut, en plus des contenus nationaux sur tout le site. Ce choix s'appliquera également lors de vos prochaines visites.

Vous disposez d'une adresse @inserm.fr, @aviesan.fr, @anrs.fr,
Connectez-vous pour accéder aux pages réservées, pour voir directement
les contenus de votre délégation et pour organiser vos outils Inserm.

Évaluation scientifique : des valeurs Inserm à la réforme européenne

Pour dépasser l’impact factor, vive le CV narratif et la science ouverte ! L’évaluation de la recherche évolue et fait face à de nouveaux défis. Alors que l’Inserm a signé en octobre 2022 l’accord européen pour la réforme de l’évaluation scientifique, Armelle Regnault et Meriem Marouf (directrice et directrice adjointe du département Évaluation et suivi des programme – Desp) font le point sur ce volet de l’activité de l’Institut aux mécanismes complexes : l’évaluation de la recherche et des chercheurs.

National
A+ / A-

Quels sont les principaux enjeux de l’évaluation scientifique et les missions du Desp ?

Meriem Marouf : Le département Évaluation et suivi des programmes (Desp) assure la mise en oeuvre de l’évaluation, par les instances, des chercheurs – des concours de recrutement aux avancements de carrière (titularisation, promotions, changements d’échelon, primes…) –, des structures (création ou renouvellement) et des programmes partenariaux (ATIP-Avenir, contrats d’interface hospitalo-universitaires, postes d’accueil, chaires), soit environ 2 400 dossiers par an. Nos chargés de mission, tous scientifiques, accompagnent autant les chercheurs que les membres des commissions scientifiques spécialisées (CSS) qui les évaluent, toujours avec la volonté d’alléger les procédures. Pour cela, ils recherchent les conflits d’intérêts, proposent des outils informatiques ergonomiques, des dossiers dématérialisés ainsi que des guides, pour les candidats comme pour les évaluateurs.

Armelle Regnault : Un de nos enjeux majeurs consiste à faire connaître notre travail, pour que les chercheurs s’approprient les valeurs et les mécanismes de l’évaluation. Car l’évaluation fait peur et nous constatons une grande méconnaissance des instances, des procédures, des scénarios de progression de carrière, mais aussi sur les conflits d’intérêts et leur traitement. Par exemple, j’ai récemment animé un atelier au sein de la délégation Inserm Auvergne Rhône-Alpes pour démystifier, parler en toute transparence de notre méthodologie et de nos critères d’évaluation.

Justement, les critères d’évaluation prennent-ils en compte l’essor d’une science plus appliquée, ouverte et participative ?

M. M. : Tout à fait ! Nous révisons nos critères chaque année pour les adapter aux nouvelles orientations. Et nous y travaillons avec différents partenaires, tel le service Sciences et société de l’Inserm en 2022 pour mieux prendre en compte la recherche participative, ou encore Inserm Transfert en 2021 pour pleinement reconnaître les activités d’innovation. Nous demandons ainsi aux chercheurs de commenter leurs « réalisations majeures » et en quoi elles ont impacté leur domaine, sur le plan scientifique mais aussi économique et sociétal. Cela implique de former les évaluateurs et qu’ils rentrent plus en profondeur dans le contenu des réalisations…

Si la recherche se veut responsable, l’évaluation doit l’être tout autant. En quoi les mots « éthique », « déontologie » et « intégrité » sont-ils essentiels dans votre activité ?

A. R. : Nous avons depuis 2011 une Charte de l’expertise Inserm qui s’appuie sur les principes déontologiques suivants : compétence, fiabilité, impartialité, absence de conflits d’intérêts, neutralité, confidentialité. L’Institut est ainsi reconnu pour son respect de la vie privée et de la dignité du candidat, sa vigilance sur les conflits d’intérêts, mais aussi sur la parité – un membre est désigné par processus d’évaluation et par CSS pour y veiller.

M. M. : Nous insistons beaucoup sur la confidentialité des débats et des dossiers : c’est l’avis global, étayé et personnalisé rendu par la commission qui est délivré au chercheur – dans le cadre de l’évaluation de son activité ou de sa demande de promotion – ou au directeur d’unité – lors de l’évaluation des structures. Sur ce point aussi, nous formons les évaluateurs et essayons au maximum d’identifier et d’éviter les liens d’intérêt (publications en commun, appartenance à la même structure), d’amitié ou d’inimitié entre évaluateurs et évalués.

Une réforme européenne de l’évaluation de la recherche est en cours. Vers quoi tend-elle ?

A. R. : L’évaluation scientifique vit une révolution, qui a commencé avec la Déclaration de San Francisco sur l’évaluation de la recherche en 2013. Face à la grande hétérogénéité des pratiques en la matière, les organismes signataires proposaient une évolution des critères et des méthodes, dans l’esprit de la science ouverte. En 2018, l’Inserm a rejoint le mouvement. Et en février 2022, l’Appel de Paris lancé lors de la Conférence européenne de la science ouverte a donné naissance à la Coalition pour une réforme de l’évaluation de la recherche (CoARA, pour Coalition for Advancing Research Assessment), officialisée en juillet. Dès octobre, l’Inserm signait l’accord de la CoARA.

M. M. : Cette coalition vise à harmoniser, au niveau européen, les pratiques d’évaluation scientifique (recrutement des chercheurs, financement des projets, soutien aux organismes) en prônant l’évaluation qualitative fondée sur quelques indicateurs quantitatifs. Elle propose notamment de mieux valoriser la diversité des contributions et des parcours, d’attacher moins d’importance aux classements entre organismes, au facteur d’impact, qui estime la visibilité d’une revue, et à l’indice H, qui reflète le nombre de publications et le nombre de citations d’un chercheur, au profit d’une évaluation plus qualitative par les pairs. Le CV narratif, qui incite les chercheurs à présenter leurs compétences et expériences plutôt qu’une liste de financements et de publications, est l’un des exemples emblématiques de ces nouvelles recommandations. La feuille de route, en 11 étapes, prévoit un démarrage courant 2023 et une première révision d’ici fin 2027.

Comment l’Inserm se positionne-t-il face à ces nouvelles directives ?

A. R. : CoARA-Europe prévoit la construction de chapitres nationaux ainsi que de groupes de travail thématiques autour des enjeux de l’évaluation. Je copilote, pour l’Inserm, le groupe de travail national avec Aix-Marseille Université : nous sommes 42 signataires en France ! Les organismes nationaux français sont historiquement assez avancés, notamment l’Inserm avec les CSS, instaurées dès 1964. Et l’Institut est reconnu comme un des fers de lance pour ses valeurs mais aussi pour la technicité de ses procédures, la formation de ses évaluateurs et son outil informatique.

M. M. : Cette révolution bouscule les habitudes et remet en question des décennies d’une évaluation restrictive dans ses critères, envahissante dans l’exercice du métier de chercheur et peu normée. Désormais, l’analyse qualitative, la valorisation sociétale et économique, ainsi que la science ouverte et participative sont à l’honneur.

Cette évolution, qui répond en particulier au mésusage des indicateurs quantitatifs, utilisés de façon isolée, et à la suprématie du facteur d’impact, questionne, mais elle met en avant le rôle crucial – et difficile – des évaluateurs, sur fondement d’éthique, de bonnes pratiques et de déontologie. Autant de valeurs que nous défendons ardemment à l’Inserm !

Cette interview est parue dans le rapport d’activité 2022 (juin 2023).