英国提出改进科研管理与评估计量指标体系的建议
7月8日,英格兰高等教育资助委员会(HEFCE)发布《计量学浪潮:对计量指标在科研管理与评估中作用的独立评议》报告[1],分析了科研计量指标的潜在用途和局限性,探索了将计量指标用于科研机构管理和研究评估的方法,提出了改进计量指标体系的建议:
1、支持有效的科研规划和管理文化:(1)科技界要通过更精细的方式来分析一个定量指标的优点和局限性;(2)各大学应制定明确的关于科研管理与评估的原则,包括定量指标的作用与使用方法;(3)科研管理者应该坚持这些原则,并在其机构内负责任地使用这些定量指标;(4)大学的人力资源管理者、人才招聘或晋升评估小组应公开在学术任命和晋升中使用的标准;(5)科研人员在撰写个人简历和评价同事时应注意特定指标的局限;(6)研究资助机构应该确定在自己特定情形下研究评估与管理中使用量化指标的原则;(7)数据分析、提供者和各类榜单编制者应更透明地提供数据,并建立不同指标体系之间的互操作性;(8)出版商应消减将期刊影响因子作为期刊推广工具的做法,仅应把影响因子作为多种期刊水平评价指标之一。
2、改进支持科研信息管理的数据基础设施:(9)提升科研数据基础设施的运行透明度和开放性;(10)英国科研体系应充分利用ORCID(开放研究者与贡献者身份号),将其作为唯一的学术标识系统;(11)与全球的出版商、科研资助机构和科研机构共同合作,建立全球性的学术标识系统;(12)出版商应该在论文出版时使用ORCID,并在整个出版周期中保留这一元数据;(13)此类标识符应扩展覆盖所有类型的研究成果;(14)进一步投资建设研究信息基础设施。
3、提高现有数据和信息源的使用率:(15)HEFCE、科研资助机构、大学与英国联合信息系统委员会(JISC)应探讨如何利用现有数据平台支持科研评估工作;(16)英国商业、创新与技能部(BIS)应制定从BIS和其他部门的相关研究平台直接集中使用数据的政策。
4、为今后的科研评估工作设计计量指标体系:(17)在今后5年的全国性科研评估工作中收集各机构的指标设计建议和评估案例。
5、协调科研评估活动并收集改进建议:(18)建立一个论坛负责汇集研究资助机构、大学、出版商、数据提供者以及其他机构关于数据标准、通用性、开放性和透明度的改进建议;(19)研究资助机构要增加对科学政策学研究与分析工作的投资;(20)建立一个督导组及其博客网站,作为讨论改进后续效果问题的论坛。
英国目前的全国性科研评估工作主要依据“研究卓越框架”(REF)体系,该体系与以往的科研评估指标体系相比,采用了更多的定量指标对科研资助进行评价,主要从科研产出、影响和环境等3个方面进行评估。HEFCE对计量指标体系提出的改进建议意在使REF的评估指标能够更加准确地从以上3个方面(特别是科研影响方面)反映各大学、各研究机构科研工作的真正效果。
(李宏)