欧盟对框架计划大型专题项目的评估方法及启示
4月21日,欧盟委员会公布对第七框架计划(FP7)“纳米科学与技术、新材料和先进制造技术”专题项目的最终评估报告[1],报告在对项目进行系统评估的同时,提出了可供欧盟新的框架计划——“地平线2020”计划重大项目实施借鉴的重要建议。本文着重分析项目评估内容与评估方法及其对我国项目评估的借鉴价值。
一、项目评估的重要意义
欧盟“纳米科学与技术、新材料和先进制造技术”专题项目不仅是欧盟“地平线2020”计划关键技术领域的先导项目,而且也是欧盟推行“研究与创新”相结合理念的示范项目。对NMP进行评估将为欧盟关键技术领域产业发展战略的制定、“地平线2020”计划相关项目的实施以及新的创新政策的推行提供重要决策依据。
二、项目评估的主要内容
1、项目的合理性:分析项目所设置的目标同现存问题和战略需求的相符程度;分析项目所涉及的主要技术领域同解决制约产业创新的瓶颈问题之间的关联程度。
2、项目的实施情况:考察项目的实际资助与参与情况;评估项目所涉及的关键技术的研发现状;评估项目管理状况,包括不同支持政策的作用、管理与财务程序、欧盟委员会同项目参与方的沟通情况等。
3、项目所取得的成效:评估项目的直接产出、项目所产生的经济、社会影响,项目最终对欧盟实现知识经济转型、竞争力提升以及实现ERA与创新联盟目标的作用和贡献。
4、项目所产生的“欧洲附加值”:评估项目对应对整个欧洲层面的挑战、协调国家政策、推动项目成果传播与转化以及促进私人投资等的作用。
三、项目评估方法及其实施要点
整个项目评估综合运用了战略情景分析、投资组合及构成分析、案例分析、文献计量与专利分析、大规模问卷调查和社会网络分析等6种分析方法,形成服务于评估需求的互为补充的方法体系。
1、战略情景分析
用于项目合理性评估。基于相关政策分析、项目相关研究、预先评估以及高级专家访谈等,分析在“社会—经济情景”和“政策情景”2种战略情景模式下项目的战略需求价值。
对于“社会—经济情景”模式,首先对欧盟的社会—经济情景及其公共干预需求的特征予以界定,并分析政策干预需求产生的原因;基于此来评估项目在不同层面对政策干预需求的响应程度。
在“政策情景”下,首先对目标国家(选择5个成员国)的NMP相关政策及项目进行综合分析,然后在国家层面上评估目标国家对欧盟NMP目标的落实程度。
2、投资组合及构成分析
用于项目实施评估。基于对NMP项目数据分析和高级专家访谈,从宏观和微观层面对整个项目的投资、经费来源及分配进行分析和评估。
首先对项目投入情况进行总体分析,确定整个项目不同子项目群的规模和权重,并根据资助计划、主题领域及“公私合作原则”对其进行分类。然后在主题和利益主体层面对所有项目的资助结构以及参与主体构成及其活动进行分析。
3、案例分析
用于项目实施、项目成效和项目所产生的“欧洲附加值”评估。通过对项目所涉及的6个主要技术领域及其相关子领域的案例分析,深度评估项目的运行机制、实际产出及其社会、经济影响。
用于案例分析的评估项目样本的选取原则如下:(1)项目数量的确定:依据项目规模,选择包含子项目较多的项目为目标评估项目,对于子项目数在10个及以上规模的项目,则选择2个子项目作为评估样本;对于子项目数在4-10个规模的项目,则选择1个子项目作为评估样本;(2)作为评估样本的子项目的选取:子项目必须是已经完成的或进入项目进展中期以后的,即必须是具有一定产出和显现出一定成效的项目;(3)目标评估项目集的构成:必须覆盖不同类型的国家(依据参与国家在项目中的具体作用而定);必须覆盖不同贡献度的项目(低贡献度:项目经费<200万欧元;中等贡献度:项目经费200万-600万欧元;高贡献度:项目经费>600万欧元)。
4、文献计量与专利分析
用于项目成效评估。定量揭示项目所取得的科学、经济效益并进行国际比较。(1)论文与专利产出总量指标:地区与国家分布(包括欧盟成员国、欧盟联系国和第三方国家);机构分布(主要目标机构包括高校、研发机构、中小企业和大型企业);NMP项目主题分布;项目分布(根据项目类型和项目规模);技术成熟度。(2)具体实施采用“自上而下”和“自下而上”方法相结合:通过数据库对NMP相关领域的论文与专利的总体产出情况进行分析;专门针对NMP项目,对所有资助项目的论文与专利产出进行分析。
5、大规模问卷调查
用于项目实施、项目成效和项目所产生的“欧洲附加值”评估。通过对5280位项目参与者的在线问卷调查,对NMP项目508个子项目进行全面评估。(1)调查对象的分类。根据人员性质,将被调查的项目参与者分为研究机构人员和企业人员两大类。(2)调查的主题包括:项目成效(项目参与者层面);项目实施效率(管理与财务层面);受资助的实体及项目组成特征。(3)调查的核心内容包括:参与机构的结构特征;参与动机;项目目标;项目目标实现情况(包括经济、科学、合作以及社会与环境效益);效率及合作文化;其他重要内容。
6、社会网络分析
用于项目成效评估。对该项目799个子项目进行社会网络分析,评估项目承担主体的合作与交流情况。(1)基于主体构成角度,从机构和国家层面分析项目主体在项目实施过程中所发挥的作用及其之间的联系;(2)基于研发合作角度,分析项目参与主体之间的合作与知识转移情况,包括国家之间的研发合作、不同研发主体(科研机构和企业)之间的跨界合作及其之间的技术转移。
四、对我国项目评估的启示
1、系统评估的重要性。欧盟NMP专题项目评估从始至终贯彻了“系统评估”的理念,其评估内容涉及从项目设立的依据和必要性到项目实施与管理直至项目产出及影响等各重要方面,而非仅仅关注某一环节;在评估方法的设计上,将定性与定量手段相结合,兼顾了不同方法的优缺点,从而形成了评估方法体系。
2、全面考察项目的效益。从整个评估的设计来看,其多种评估方法的组合,不仅仅是出于方法的科学性的考虑,同时也是出于对项目实施所产生的所有可能的效益进行全面评估的考虑。据此,项目评估全面涉及项目的科学、经济、社会、合作和环境效益。
3、着重考察项目承担主体的作用。评估项目在实施过程中不同参与主体的作用与贡献,是欧盟NMP专题项目评估内容与方法设计的另一个重要初衷。因此,整个评估从不同层面和多个角度对参与主体的作用进行揭示,为欧盟框架计划及其重大项目的资源配置及平衡不同主体之间的利益提供重要决策依据。
4、重视项目研发关键技术水平的评估。作为欧盟正式将“技术成熟度”(TRL)概念纳入创新链的首个专题项目,NMP专题项目评估首次将项目研发关键技术的成熟度作为重要评估指标,以强调将“制定技术标准和规则”纳入重大项目实施目标的重要性。
5、强调研发合作主体的多样化。在评估方法的具体实施上,NMP专题项目评估均在不同层面对研发主体类型予以细分,以更细致地揭示项目投入与产出的实际构成,以为欧盟完善其创新成果的商业化转化激励政策提供依据 。
(张树良)