基于层次分析法的企业科研项目后评价指标体系构建研究
赵 硕 张诗敏 张 南 王悠然
(中汽研汽车检验中心(天津)有限公司,天津 300300)
企业作为科技创新工作的主体,其重要程度不言而喻。2020年,我国各类企业研究与试验发展经费支出18673.8亿元,比上年增长10.4%,占全社会研发经费支出的比重高达为76.6%。科研经费投入力度的不断加大,促使企业科研项目数量和科研经费投入增长趋势明显。但目前多数企业对科研项目的管理还仅限于事前项目立项评审、事中项目执行监督和事后项目结题等常规阶段,存在“立项紧、结题松”的现象。然而对已结题验收的科研项目在经过一段时间应用后而进行的后续评价,即科研项目后评价,在部分企业科研管理中还是一项尚待开展的工作。
科研项目后评价作为科研管理工作中的重要一环,是在科研项目结项验收后,由第三方科研管理人员基于一定的指标体系,结合项目的研究应用情况,对项目的目标、实施过程、结果等进行客观、系统的评估。科研项目后评价的落地实施,不仅可以对已结题的科研项目的实施效果及质量进行评价,确定预期目标是否达到,还可对后续科研项目的改进与发展提供合理化建议,更有助于优化科研资源的配置。同时,对项目的立项合理性、经费拨款决策具有指导性意义。
一、项目后评价国内外现状和技术发展趋势国外项目后评价与前评价几乎同时产生,最早产生于20世纪30年代的美国,主要为了适应当时政府对重大社会计划项目管理的需要,作为监督政府“新政”政策性投资的手段。直到20世纪70年代,项目后评价才得到许多国家和金融机构的重视,并迅速成为西方发达国家政府管理中必不可少的组成部分。随后,项目后评价在世界范围内得到广泛应用,并逐渐形成了较为完善的后评价管理体系。
我国的项目后评价相对起步较晚,开始于20世纪80年代初,一些研究机构在着手研究投资项目可行性分析方法的同时,开展了后评价方法的研究,通过与一些国家和国际机构的交流,逐步形成我国项目后评价的理论和方法基础。2008年,国家发展改革委明确规定了中央投资的项目必须开展的后评价的相关工作,这标志着项目后评价进入了法制化、制度化、规范化的轨道。近年来,随着社会经济和科学技术的高速发展,政府和企业的管理部门逐渐意识到后评价管理体系的重要性。许多大型企业陆续开展科研项目后评价工作,相应的后评价管理体系及模型也逐步完善。
二、企业科研项目后评价指标体系的构建(一)指标体系的构建原则1.系统性
指标体系的构建应从整体出发,分级、分层、分系统地反映科研项目的整体情况。在反映项目研究的直接效果的同时,更要具体体现其所产生的间接效果,以确保评价工作的全面性。
2.科学性
指标体系应能客观、准确地反映科研项目在研制过程和结项后的情况,评价指标的数量应适宜,并且每个指标的含义应清晰,各指标间应相对独立,最大限度地避免各指标之间相互影响。
3.可操作性
指标体系中的各项指标应便于获取,指标设置时应选取与科研项目均适应的指标,并且指标及计算方法要做到简繁适中,方便长期开展相关工作。
4.定量与定性
在实际应用中,为保证完全反映项目的实际情况,后评价指标体系构建通常以定量化指标为主。但由于科研项目具有多样性、差异性的特点,在后评价过程中,需要将定量与定性指标相结合,并明确定量指标与定性指标的权重确定,以此才能真实地反映项目的整体情况。
(二)指标体系的构建方法1.对比分析法
对比分析法是国内外项目后评价中最常用的方法。通过把客观事物加以比较,以达到认识事物本质并做出正确的评价,这种方法分为横向对比法与纵向对比法。
2.逻辑框架法
逻辑框架法是一种概念化论述项目的方法。核心是项目各层次直接的逻辑关系,即如果给项目提供某种因素,就将随之产生某种结果。
3.层次分析法
层次分析法是一种定性与定量相结合的方法,核心是问题和目标,逐层地分析项目中的问题,再根据数学模型,对其重要性进行分析。该方法最初由美国数学家saaty教授提出,对项目后评价具有跨时代的意义。
4.德尔菲法
德尔菲法是由美国兰德公司提出,也称专家调查法,其本质是一种匿名反馈法。通过征得专家对所要预测问题的意见后,进行归纳与分析,再匿名反馈给专家,进行重复的意见征集,直至得到最终一致的意见。
5.成功度评价法
成功度评价法是一种相对综合的方法,方法的关键在于专家的经验,综合各项指标评价,对项目的结果做出准确的判断。
本文将主要采用德尔菲法和层次分析法相结合的方式,建立一套适合于企业使用的科研项目后评价指标体系,提升企业整体的科研管理和服务能力,从而实现企业的科研领域高速发展和业务转型升级。
(三)指标体系的构建首先通过梳理企业关于科研项目的现有考核指标、开展文献调研和咨询专家意见,分析科研项目后评价所要达到的总目标。再将总目标分解为四大组成因素,最后将组成因素继续分解为17个具体的定性或定量的评价指标,从而得到一个多层次的分析结构模型。
第一,指标体系的初选。通过各梳理企业现有关于科研项目验收的考核指标,结合文献参阅法,了解各地的科技项目后评价指标体系,依据指标体系构建的几大原则,初步确定后评价指标体系。
第二,指标体系的完善。主要是针对初选指标可能存在一定的主观偏颇,在初选指标的基础上通过一定的方法进一步完善指标体系,邀请专家对拟定的指标体系进行匿名评议,保证其科学性。
结合专家意见和建议,经过多轮的反馈与修改,基本确定了五个维度作为后评价一级指标,17个具体方向作为二级指标,各评价指标释义见表1。
表1 科研项目后评价指标体系
(四)指标权重的确定在已经构建后评价指标体系的基础上,建立出该指标体系的层次结构模型。随后,对该模型中各个指标的重要性进行排序,再利用层次分析法,同时使用数字1-9及其倒数作为标度,确定指标两两比较的数值,建立了判断矩阵。
为保证判断矩阵的科学性,在构建矩阵时,偏离一致性的程度不能过大,因此,在初步构建判断矩阵后,需要对判断矩阵进行一致性校验。当所计算的一致性比例cr<0.1时,判断矩阵的一致性就是可以被接受的,否则,需要对判断矩阵进行修正。
经过计算并结合专家意见对判断矩阵进行不断修正,最终得到各判断矩阵一致性比例均小于0.1,通过一致性检验。在完成各项指标权重的综合计算后,得到科研项目后评价体系的权重,如表2所示。
表2 后评价体系权重
本指标体系中包含主观评价指标和客观评价指标,其中技术水平、推广应用情况、支撑业务转型升级情况、社会效益、成果转化情况为主观评价指标,由专家进行评价;其余指标为客观评价指标,由工作人员进行评价,专家进行核实。
三、评价指标分析通过对评价指标进行比较分析,可得出以下结论:
第一,所占权重最大的是项目效益评价,权重为0.4,这说明在后评价中项目的效益更应被关注。企业的科研项目更应以实际效益为目的,通过技术创新等方式着力解决行业领域技术瓶颈,已实现科研工作对业务的促进作用。项目的应用应带来一定的经济与社会效益,并应培养出专业科研技术人才,为企业的发展和创新提供人才资源储备。
第二,除效益评价外,所占权重较大的为技术价值和项目成果,分别为0.26和0.24。技术价值主要体现在技术水平、客观评价和推广应用情况三个方面,项目成果则是代表项目在研究及应用中所形成的新能力、新技术,而标准、论文、专利、软著等则是其重要的表现形式。高水平成果的持续发表、获奖,将为行业发展起到促进作用,同时也标志着其价值被行业、公众所认可。
第三,项目的执行情况在后评价中同样需要被关注,在本体系中执行情况所占权重为0.1。项目预期目标实现率、进度完成率和项目产出成果数量作为评判项目执行质量的重要维度,可以反映出项目整体是否得到有效管理。
四、结语本文运用层次分析法、德尔菲法等构建了涵盖项目执行情况、项目成果、技术价值、项目效益评价等4个维度、17个具体评价指标的企业科研项目后评价指标体系。通过分析发现,评价指标中项目效益评价的指标所占比例最大,项目执行情况的指标所占比例最小。
在研究过程中,将定性研究与定量研究相结合,同时结合专家和科研工作者自身科研经验对计算得出的指标权重进行了多次修正,最大化地削弱了主观因素对指标体系构建的影响,以提高科研项目后评价的公正性、客观性。希望可以为企业项目的立项、验收等管理流程提供一定的决策帮助。
然而,尽管本文借鉴了国家社科基金绩效评价、地方科研项目后评价等众多研究成果,并结合专家及科研工作者的意见进行了修正,但是,本文所选取的指标及确定的指标权重仍可能存在不足之处,需要在实践中不断检验完善。
基于层次分析法的企业科研项目后评价指标体系构建研究
本文2022-11-01 13:05:42发表“毕业论文”栏目。
本文链接:https://www.wenmi123.com/article/381714.html
- 座谈会发言:体系抓好思政课教育做好贯彻落实下篇文章(02-19).docx
- 组织部机关支部书记2024年度抓基层党建工作述职报告(02-19).docx
- 在县委理论中心组暨2024年度民主生活会学习研讨会上的发言(02-19).docx
- 在2025年市人代会分组讨论会上的发言(02-19).docx
- 医院党委选人用人工作自查报告(02-19).docx
- 宣传部2024年民主生活会个人对照检查发言(02-19).docx
- 行政服务中心民族团结进步创建工作经验材料(02-19).docx
- 校长在中学2025春季开学典礼上的讲话:撷一抹祈望春风掬一程锦绣花开(02-19).docx
- 乡镇领导班子2024年民主生活会对照检查发言材料(五个带头+典型案例)(02-19).docx
- 乡2024年度基层党建工作总结(02-19).docx