OECD报告提出任务导向的创新政策评估方法
2024年10月28日,经济合作与发展组织(OECD)发布《任务导向的创新政策的监测与评估:从理论到实践》工作文件[1],提出越来越多的国家以不同形式采用了任务导向的创新政策(MOIP)来应对复杂的系统性挑战。OECD将MOIP定义为用于动员科技创新的协调一致的政策和监管措施,旨在在既定时间框架内解决与社会挑战相关的明确目标。MOIP的监测与评估对其成功至关重要,但任务(Mission)往往涉及不同层级的多种干预措施、边界不明确且不断演变,使得传统的评估方法不适合捕捉其特征。该项工作通过文献回顾、约30次访谈以及与任务执行者和专家的交流完成,分析了任务导向的特征及其对评估和监测的影响,进而提出适应这些特征的评估流程、标准和工具。
一、MOIP的特征及其对评估影响
1、由于MOIP的类型、目标和治理结构高度多样化,开发适用于不同类型MOIP的评估框架存在挑战。
2、由于任务边界模糊,关注MOIP的复杂性尤为重要。这些任务涉及众多参与者、干预措施和活动,通常协调较为松散,因此清晰界定其范围和评估其影响变得困难。评估者需要明确任务的范围,识别参与设计和实施的人员,并评估其影响,以确定任务在多大程度上有效整合和协调所需的各种活动。
3、需要对多层级的嵌套任务进行评估。MOIP是多层次、嵌套的结构,每一个层级的项目、投资组合、任务都有不同的目标和预期效果,因此需要量身定制、协调和平衡的综合性评估。同时,评估应从底层向上开展,各级的结果应为更高层次的评估提供信息,各级评估应关注在较低层次无法捕捉到的效果。
4、评估任务导向计划的双重附加性。由于复杂的多层次特性,评估者考察MOIP的影响,应相对于一个应用传统政策的情境来考量,还必须考虑任何潜在的负面影响,如行政复杂性的增加。
5、充分考虑MOIP的动态特性。任务通常始于宽泛的目标,随着时间的推移,通过谈判、伙伴之间信任增进及新利益相关者的参与而不断细化。这种持续演变增加了评估的复杂性,评估者须不仅评估任务的结果,还要评估其在设计、治理和流程方面的变化,这就需要发展性评估方法,以跟踪任务如何逐步趋近目标,关注政策制定者和伙伴的适应性和学习过程。
6、采用更细致的方法。更广泛的方向性、协调和整合也存在负面效应。评估者应考虑每个任务所涉及领域的独特特征,如复杂性、不确定性和争议性,以确定最合适的评价方法,避免“一刀切”。
二、根据任务特征提出评估需关注的四个维度
1、方向性效应,对特定社会挑战的公共干预的战略导向和重点。
2、治理效果,指对各种旨在实现任务目标的公共干预措施进行协作引导、资源动员与分配、管理和监控,以确保创新工作与任务保持一致,并且能够负责任、透明且有问责地高效开展。
3、投资组合效应,指通过战略选择和支持的不同公共干预措施,结合创新项目和投资所产生的各种协同作用。
4、实际成果,指任务在实现其目标方面的具体成果和影响。
三、支持MOIP评估的具体工具
1、支持任务的发展式评估的任务行动理论,用于跟踪具体任务过程及其预期产生的应对特定挑战的系统性效果。
2、支持任务迭代监测的任务准备情况监测工具,利用任务“理想类型”作为基准,评估使命的成熟度水平,使不同的任务团队能够自我评估其成就,与其他团队的任务进行比较,并利用这些结果讨论必要的行动和可能的前进方向。 (王建芳)
[1] Monitoring and evaluation of mission-oriented innovation policies. https://www.oecd.org/en/publications/monitoring-and-evaluation-of-mission-oriented-innovation-policies_5e4c3204-en.html