您目前的位置: 首页» 本校成果» 刘威 等:高校科研评价体系框架模型研究

刘威 等:高校科研评价体系框架模型研究

  随着近年来国家科研经费投入的不断增长,我国科技产出数量增长迅猛,科技论文、专利授权等各项成果均取得举世瞩目的成就; 但是我们与主要发达国家相比,占世界科学知识总数的比重仍然较小,尤其是高质量的原创成果还比较缺乏。

  在论文方面,自2009年起连续四年我国发表SCI 论文数量位居世界第二,其中大多数来自高校, 2011 年发表SCI 论文总量占世界比例11%,但在Cell、Nature 和Science 等三大名刊的发文量仅占总数的2. 4%, 10年间(2002-2012) 被引频次处于世界前1%的论文也仅占世界7.3%的份额。由此可见,近年来我国发表SCI 论文数量上升较快,但体现科学知识生产质量的论文单篇引用率等指标与美、英、德、日等科技强国相比仍然差距较大。我国的科学研究还未走出多数发展中国家基础研究面临的共同困境,即模仿跟踪多、原始创新少。

  在专利方面,近年来国家对知识产权保护非常重视,实施了专利战略,因而我国国内专利申请量大幅提升,特别是高技术领域的国内机构申请和个人发明专利的申请都非常活跃。但总体上,我国的发明专利无论数量还是质量都与发达国家存在巨大差距。

  目前,我国对国外技术和知识产权的依赖度很大,这极大限制了我们国家竞争力的提升和自主知识产权核心技术的储备,并严重制约了我国成长为可持续发展的经济、科技强国的发展步伐。因此,如何建立有效的科研能力评价体系框架模型,进而引导科研资源的更优配置,是建设创新型国家亟待解决的体制机制难题。

  一、国外高校科研评价体系研究现状

  1. 英国。英国以REF 评价体系为代表的科研经费分配与资源配置的研究与实践表明,采用科学合理的目标导向与评价体系促使英国高校多个学科处于世界领先地位。在REF体系中,研究成果质量是组成评估模型的最重要要素,其中主要评估准则为:(1)从待评估科研团体提交的成果中选出代表性成果,一般是4篇最好的公开发表期刊论文,在评估期间,鼓励高等学校提交所有已产出过高质量科研成果合格团队,并鼓励他们提交各种类型的高质量科研成果进行遴选;(2) 评估成果准则为“原创性、严谨性、重要性”( 其

  中,重要性的含义包括在学术领域内的智能影响能力,或超:出学术领域实际或潜在的应用能力,或者两者兼备);(3)评估小组通过专家来评价成果,即以国际杰出作为基准进行成果评估,所有达到四星级( 特级) 的科研成果必须是世界领先,且符合原创性、严谨性、重要性等标准。REF框架的主要目的是在有限资金资助下最大限度地推进高等教育研究基地或其他科研机构的高质量产出;奖励和鼓励对研究成果的有效共享、传播和应用,以及在高等学校、企业、公众和第三方组织间的研究人员和创意成果的高效互换; 鼓励高校通过杰出科研成果为商业、经济和社会发展提供智力支持与利润回报; 同时通过高等教育科研成果质量评估体系鉴别最佳运作模式,支持研究基地的高效管理和可持续发展。

  2. 澳大利亚。该国科学研究委员会开展的科研评价经历了从“综合指数”到“科研质量框架”再到“澳大利亚科研卓越”计划的转变过程。从1995 年开始进行搭建的“综合指数”评价体系,以大学为独立单元进行评价,其考察内容包括大学所获得的科研经费、学术论文数量、获得硕士和博士学位数量等指标。这极大地推动了高校对学术论文发表的重视程度,其论文发表数量以每年8% 的速度提升,发表在SCI期刊上的论文每年增长2%,但由于评价体系未涵盖科研影响力,因此,澳大利亚学者的文献引用率从1988 年到1993年在OECD 国家的排名从第6 位下滑到第11 位,尽管学者们发表的论文数量在不断上升,但其平均引用影响( CitationImpact) 却在持续下降。针对这种情况,澳大利亚政府于2008 年开始采用ERA评价体系,该体系最显著的特征是增加了对科研机构科研质量的评价力度,结合文献计量数据及专家评审内容,以学科为评价单元进行评价。最后根据评估结果,对具备国际竞争力的院校和学科进行重点资助。与英国类似,澳大利亚的科研评价也是由政府主导,并且与科研经费资助挂钩。

  3. 荷兰。荷兰科研成果评价的SEP 体系,主要为提高科研质量和代表资助部门、政府及社会开展科研工作检查进行服务。其评价内容与形式非常丰富,包括回顾评价、前景评价、科研成果评价、研究前景、科研管理、科研政策评价等方面; 此外,该体系的评价形式还包括中期审查、终期评价、常规材料评审、现场审查和负责人访谈等。评价考察四个维度,即科研质量、科研产出率、社会相关性、活力与可行性。其中,科研质量包括研究质量及科学相关性、领导地位、学术声誉、人力资源和财力资源、博士研究生培养情况等5 项内容; 科研产出率包含科研产出策略与科研成果,研究成果评价基于3-5篇代表作及出版物的总数,使用文献计量统计指标; 社会相关性包括社会价值、社会影响及社会应用性; 活力与可行性包括SWOT( 长处、短处、机遇、威胁) 分析、策略、稳健性等3 项内容。SEP 评估体系采用同行评价和自我评价相结合的模式,其结果和政府拨款之间没有直接关联,但教育部会基于该评价结果对科研业绩较差的单位予以警告,督促其整改。

  目前,国外科研评价体系主要以定性分析为基础,以定量分析为手段,采用定性与定量相结合的方法,但也有一些国家仍只采用定性分析为主的方法进行评估。例如,美国、法国等国家的科研评价活动目前采用定性和定量分析相结合的评价方法,英国和瑞士的科研评价体系以定性方法为主、辅助以定量分析结果,瑞典则基本以定性评价为主。

  三、我国现有科研体系存在的问题与不足

  1. 重数量轻质量。重数量轻质量是当今科研体系中存在最为普遍的问题,由此导致学术浮躁和急功近利的思想、行为。许多高校教师为了数量达标而发表一些质量低劣的论文,为凑数而粗制滥造,致使许多堂而皇之的科学研究实质不过是低水平的重复,制造出大量的学术垃圾,造成高校弄虚作假的学术风气,形成了“学术泡沫”效应。

  2. 重形式轻实质。近年来,我国高校逐步形成了唯SCI、EI 和“核心”期刊是从的观点。对形式的追求导致大量新问题的产生,如大学教师更多地关注形式化、可量化的论文指标,忽略了学术品格、学术态度; 为满足形式化评估需要,一篇文章、一本书、一个实验乃至一个学科都不断进行各种精心包装,但往往短时期完成的成果,很难保证其质量。

  3. 重经济效益轻社会效益。当前,为解决办学经费的燃眉之急,许多高校将学校的发展过度寄希望于教师们申请到的科研经费,大学科研违背科技、教育发展规律的现象普遍存在。在科研方向上也存在学科发展不均衡、重横向课题轻纵向课题的情况。横向课题由于其应用性强、见效快、收益高,理论水平和要求相对低于纵向课题,所以即便是某些以基础研究见长的学科专业也跃跃欲试。对研究者个人经济利益的诱惑也使其更加乐意从事“效益科研”。政策上的偏斜更形成了对科研评价的误导,使之重经济效益轻社会效益,进而导致科研资源配置的“马太效应”,使纵向研究所获得的科研经费越来越少,自身造血功能越来越弱,处境越来越不利。不注意大学科研的长期目标,没有理论研究做支撑的大学科研,其代价和损失是潜在且难以弥补的。

  四、科研评价体系的设计原则

  针对我国目前科研评价体系存在的问题与不足,本文就搭建高校科研评价体系提出以下设计原则: 一是要客观、公正、科学,且可定量计算,最大限度地去除评价过程的主观因素; 二是在建模过程中依靠专家、发扬民主、实事求是,最大限度地设计普遍接受的准则; 三是反映科研成果水平和质量的客观实际,引导科研工作不断促进和提高科研成果的经济、社会的综合效益; 四是达到资源优化配置,实现资源共享,强化科研与教学的相辅相成作用,培养高质量科研和技术人才。

  通过国外科研评价体系的研究,我们可以看到,科研评价体系构建的基础是评价指标的选择,这直接关系到评价的科学性与合理性。好的评价体系有助于提升科研机构的成果质量和学术水平,更有利于助推创新型国家的发展。有鉴于此,我们将国外科研评价方法的设计思路融入我国科研评价体系要素,按照科研成果、科研条件和科研社会影响力等三个方面设计评价体系框架。其中,科研成果包括学术期刊论文质量和数量、专利和科研获奖情况等; 科研条件包括科研平台、学科平台、培养硕博人数以及科研经费到账情况等;科研社会影响力重点评价学术声誉、学术兼职等。在科研成果方面,按照国家级、省部级、部门行业或协会、地市级等优先次序,并结合获奖年份与获奖排名顺序建立权重系数,在成果鉴定原则上较同级别组织单位的获奖降低一级计算,构建这种评价模型在综合计算时可以有效地考虑不同级别奖励的统一度量问题,有助于对科研成果的定量。

  五、科研评价体系模型框架的构建

  本文评价体系模型框架的构建思路是先搭建个人科研能力评价模型,然后在其基础上增加学科平台、科研平台等所在机构其他科研贡献度的子模型后,获得机构科研能力评价的综合模型。

  1. 个人科研评价模型确立。英国的REF 体系是通过计算研究机构或高等学校的每位员工的科研成果指标得分后,加权汇总为机构的考核评分,其初始设计动因并不针对个人的科研能力进行考评。因此,我们在借鉴REF 体系设计原则的基础上,将目前通行的科研评价考核管理办法中涉及的科研获奖、专利授权、学术兼职等指标引入模型,从而形成了包含以下六大方面的个人科研能力定量评价模型。

  模型的总体评价形式可简述为下式:Stotal = α1 Spaper + α2 Sresearch + α3 Spatent + α4 Saward +α5 SPmemberships + α6 Sapply其中,Spaper表示由学术论文给被评价者贡献的得分,此处的学术论文主要指期刊论文,会议论文仅限大会报告或特约报告; Sresearch表示由承担纵向/横向科研项目给被评价者贡献的得分; Spatent表示由专利给被评价者贡献的得分; Saward表示由科研获奖或成果鉴定给被评价者贡献的得分;SPmemberships表示由学术兼职( Professional Memberships) 给被评价者贡献的得分; Sapply表示由成果推广应用或产生社会效益、经济效益带给被评价者的贡献得分; α1 - α6表示各科研能力子模型在综合评价模型中的权重系数。

  2. 高校科研机构科研评价模型。通过搭建上述个人科研能力评价定量计算模型,为高校机构科研能力评价模型奠定了基础。

  

  高校科研机构科研能力应主要考虑研究团队、以往领域的影响力、研究平台和科研环境等方面。研究团队是考查高校科研能力最重要的指标。良好的创新团队可以创造有利于科研成果产出的环境,因此,高校科研能力评价首先应考查此项指标,在建立研究团队指标时,应考虑人才梯队、团队模式、影响力等方面。研究平台主要包括高校的基础硬件及实验平台; 而科研环境主要包括人事制度及创新氛围的构建等。此外,还要考虑高校对社会服务( 以承担纵向课题为主的机构在论文公开发表方面; 以承担横向课题为主的机构在专利申请和企业效益提升方面的贡献) 以及推动社会进步方面所做的服务和贡献。

  综合以上因素,建立研究机构科研能力评价模型:Stotal = α1 Spersonal + α2 Steam + α3 Sfame + α4 Slab +α5 Senvironmert + α6 Sdisplinary其中,αi( i = 1,2,…,6) 表示各项评价指标得分在总模型中的权重; Stotal表示高校的科研能力总体评价得分; Spersonal表示高校所有个人科研能力汇总的综合得分; Steam表示高校科研团队的得分; Sfame表示高校研究积累或同行影响力的得分; Slab表示高校实验平台或基础硬件的得分; Senvironmert表示高校科研环境( 主要是政策面等管理、服务环节) 的得分;Sdisplinary表示高校学科平台的得分。

  (1) 研究团队:

  

  Steam是高校的研究团队得分; tr是高校的每个研究团队;level( tr) 为高校某科研团队的级别;buget( tr) 为高校某科研团队的项目经费; stuff( tr) 为高校总的研究人员数量。

  (2)领域声望:

  Sfame =Σrfellow( f r) innovation( f r)

  Sfame是高校的领域声望得分; f r是高校的每项与声望相关的项; fellow( f r) 为高校拥有的院或领域领军人物; innovation(f r) 为高校该领军人物在领域内做出的开创性工作评价。

  (3)科研平台:

  

  Slab是高校的科研平台贡献得分; lr是高校的每个科研平台( 重点实验室或工程中心) ; level( lr) 为高校科研平台的级别( 如教育部、科技部、北京市等) ; instrument( lr) 为高校科研平台的仪器设备价值; project( lr) 为高校某实验室承担的项目经费; award( lr) 为高校获奖情况得分; stuff( lr) 为高校科研平台工作人员数量。

  (4)研究环境:

  

  Senvironmert是高校的研究环境得分( 包括体制、制度、服务保障等);er是高校的每项为科研提供良好环境的因素( 如政策条例、规范等) ; push( er) 为高校科研环境条例中有利于推动科研工作的项目( 此部分有待进一步细化) 。

  (5)学科平台:

  

  Sdisplinary是高校的学科平台贡献得分; dr是高校的每个学科平台( 博士点或硕士点) ; level( dr) 为高校学科平台的级别( 一级学科点/二级学科点) 。Phd( dr) 为高校学科平台是否为博士学位授权点。

  3. 科研能力评价模型中权重系数的确定。本文建立的个人与高校科研能力评价模型中涉及大量的权重因子,由于各要素权重确定方式具有相似性,此处不做详细区分,仅以个人模型为例进行说明。在评价模型权重因子确定过程中,各因子间的相互关系对于评价同一研究者所得结果影响巨大。因此,本研究针对权重因子的确定设计了专门的调查问卷( 详见链接: http: / /59. 65. 232. 250 /dcwj. html) ,在收集到专家的问卷反馈后,采用统计分析方法折算成权重因子,最终确定本文研究模型的权重系数。

  本文权重因子调查问卷的设计考虑了专业因素,除此之外,宏观方面分为一级指标权重和二级指标权重。在一级指标体系中,又细分为学术期刊论文、纵/横科研项目、专利、科研获奖或成果鉴定、社会服务和成果推广等6 项权重系数,分值在1-13之间选择,根据专家对不同要素的偏好程度再进行二次调整; 在二级指标体系中,主要考虑论文作者排名次序、论文长度、承担纵向项目的级别、专题项目和普通项目区别因子对评价总分的贡献、项目中被评价人排名次序对评价总分的贡献、纵/横向课题项目的折算、获奖级别对评价总分的贡献、获奖等级对评价总分的贡献、专利类型对评价总分的贡献、科研获奖的名次对评价总分的贡献、不同级别学术兼职/社会服务工作、学术机构/社会服务工作兼职职位差别等方面。我们根据调查过程中收集的专家反馈意见,进一步完善了调查问卷。

  本文在全面分析我国现有科研评价体系不足的基础上,分别建立了个人与科研机构的科研能力评价体系定量计算模型框架,所建模型不但包括学术期刊论文发表、承担科研项目、专利授权、科研获奖、学术兼职、科研成果转化等个人成果方面,而且包含学科平台、科研平台、以往学术声誉等科研机构所属的科研能力资源信息; 通过设计调查问卷获取评价模型各要素的权重因子。

  高校科研机构科研评价框架模型虽然为科研评价提供了一个新思路,但仅处于框架设计状态,模型考虑到个人评价成果,还涉及一些研究团队、创新平台、研究设备或硬件条件、研究环境与政策等一些新的因素,模型的实用化尚有待进一步完善和细化。

  参考文献:

  [1]武学超. 英国学术研究卓越的生成逻辑与启示[J]. 中国高教研究,2012( 6) : 22 - 26.

  [2]Butler,L. Explaining Australia’s increased share of ISI publications- the effects of a funding formula based on publicationcounts [J]. Research Policy,2003( 32) : 143 - 155.

  [3]Australian Research Council. Excellence in Research forAustralia 2012 [EB/OL]. http: / /www. arc. gov. au /pdf /era12 /report_2012 /ARC_ERA12 _Introduction. pdf. 2012 -01 - 03 /2013 - 04 - 07.

  [4]蒋玉梅. 全球科研评价体系的演进与发展———以美国、英国、澳大利亚、荷兰四国为例[J]. 国家教育行政学院学报,2013( 9) : 81 - 86.

  [5]陈敬全. 科研评价方法与实证研究[D]. 武汉: 武汉大学博士学位论文,2004.

  [6]叶继元. 有益遏制学术评价形式化数量化[N]. 中国教育报,2012 - 03 - 28.

  [7]刘恩允. 高校科研评价的问题与对策[J]. 高等工程教育研究,2004( 1) : 39 - 42.

 (本文作者刘威系华北电力大学经济与管理学院副教授;张娟系华北电力大学高等教育研究所副研究员;师瑞锋系华北电力大学控制与计算机工程学院副教授)