欧盟报告提出科研评价系统改革的方向和原则
2021年11月26日,欧盟发布研究评估系统改革报告[1],指出改革研究评估是确保研究质量、绩效和影响的优先事项,但改革需要文化和系统的变革,其非常复杂且实施缓慢。2021年3月至11月,欧盟委员会就如何促进评估系统变革与利益相关者进行了磋商,该报告在咨询结果的基础上,提出评估改革应追求的目标和评估应遵循的基本原则等,以指导研究资助和执行组织达成共识来实施变革。
1、研究和创新过程正经历数字化变革,研究评估指标的不恰当使用仍在延续。报告指出,数字化驱动下研究和创新过程正经历重大演变,如研究任务和所需技能的多样性增加,期望的输出不再限于学术文献;开放协作对于研究及其效率和影响的作用凸显;越来越需要多学科、跨学科的方法,并需与社会利益相关者合作来解决复杂的科学问题和社会挑战;需要使研究成果可供其他研究人员和整个社会访问和重复使用等。与此同时,当前的研究评估系统往往使用不恰当的方法来评估研究和研究人员的质量、绩效和影响,包括论文和引用数量,以及具有高期刊影响因子的期刊论文数量等指标的使用。所谓 “不发表就出局”的文化是以牺牲质量、完整性和对研究的信任为代价的。尽管如此,放弃使用影响因子并非易事,因为其易于使用且根植于学术文化。欧洲许多研究资助和执行组织已在采取措施改进其评估研究和研究人员的方式,但进展仍然缓慢和分散。
2、研究评估改革的方向因评估对象的不同而不同。对于研究人员个体的评估,应基于定性判断,同行评议是核心,并在需要时通过负责任地使用定量指标来支持,且应承认全方位的研究成果和过程,反映与研究相关活动的多样性,并考虑个人职业道路的多样性。对于研究机构的评估,不仅评估研究成果,还应根据其对研究使命的贡献进行评估。研究资助者对资助对象的评估应承认多学科和跨学科研究以及影响。对于整个研究系统的评估,需要在开放协作、知识和数据共享方面奖励开放科学实践,从而提高研究质量、效率、影响和信任。
3、改革研究评估系统的原则。总体原则包括:遵守道德和诚信规则、保障科研自由、尊重研究机构自主权、确保研究评估和确定研究影响所需的数据、基础设施和标准的独立性和透明度。标准和过程的具体原则包括:
(1)质量和影响。将研究评估标准集中在质量上,奖励思想的独创性、专业的研究行为和先进的成果。奖励从基础和前沿研究到应用研究的各种研究任务。质量意味着研究是基于透明的研究过程和方法,以及在适用情况下的可验证性和可重复性。评估应依赖于以同行评议为核心的定性判断,并在适当情况下由负责任的定量指标提供支持。需考虑到研究对促进知识进步的贡献和研究成果的影响。研究成果的影响可能是短中长期内产生的科学、技术、经济和社会影响,并且会因学科和研究类型而异。
(2)多样性、包容性和协作性。一是承认科研活动及其产出的多样性,并鼓励共享和开放合作。应充分考虑诸如同行评议、培训、指导博士生、领导角色以及适当的科学交流和与社会的互动、创业、知识增值和产学合作等任务。还要考虑各类研究成果,包括科学论文、数据、软件、模型、方法、理论、算法、协议、工作流程、展览、战略、政策贡献等,并奖励支持开放科学实践的研究行为。考虑到研究人员不应在所有类型的任务中都表现出色,应提供一个框架使研究人员能够定义其研究目标。二是使用尊重各种学科、研究类型及研究职业阶段的评估标准和流程,承认多学科、跨学科及跨部门方法,评估应与学科、研究使命的特征相适应。三是承认并重视研究角色和职业的多样性,重视研究人员个体的技能、能力和优点的同时,认可团队协作。四是确保性别平等、机会均等和包容性,在各类研究团队及研究和创新内容中考虑更广泛意义上的多样性。 (王建芳)
[1] Towards a reform of the research assessment system: Scoping report. https://op.europa.eu/en/publication-detail/-/publication/36ebb96c-50c5-11ec-91ac-01aa75ed71a1/language-en