国家重点实验室评估研究课题报告

“国家重点实验室评估研究”
课题报告

“国家重点实验室评估研究”课题组
上海交通大学高等教育研究所
刘念才 龚隽 周玲 万腾腾 赵文华 董育常

2003年4月30日
目      录

引言------------------------------------------------------------------------------  1

第一部分  国家重点实验室评估办法与指标体系修订工作总结

一、评估的现状分析---------------------------------------------------------  2
二、修订的指导思想和主要改进意见------------------------------------  4
三、问卷调查的统计结果及分析------------------------------------------  6
四、现场调研的意见总结-------------------------------------------------- 14
五、关于评估实施的若干建议-------------------------------------------- 21
六、相关问题的思考 — 年度考核-------------------------------------- 26

第二部分  国家重点实验室评估办法（修订稿）

第一章、 总则----------------------------------------------------------------- 28
第二章、 评估的组织-------------------------------------------------------- 28
第三章、 评估的程序-------------------------------------------------------- 29
第四章、 通信评估----------------------------------------------------------- 30
第五章、 现场评估----------------------------------------------------------- 30
第六章、 综合评估----------------------------------------------------------- 31
第七章、 评估报告与评估结果-------------------------------------------- 32
第八章、 附则----------------------------------------------------------------- 33

第三部分  国家重点实验室评估指标体系（修订稿）

国家重点实验室评估指标体系及权重表-------------------------------- 34
一、总体定位与发展潜力-------------------------------------------------- 35
二、研究水平与贡献-------------------------------------------------------- 36
三、队伍建设与人才培养-------------------------------------------------- 37
四、开放交流与运行管理-------------------------------------------------- 38

第四部分  重点实验室评估申请书（格式，修订稿）

申请书封面-------------------------------------------------------------------- 40
一、简表----------------------------------------------------------------------- 41
二、总体定位与发展潜力-------------------------------------------------- 42
三、研究水平与贡献-------------------------------------------------------- 45
四、队伍建设与人才培养-------------------------------------------------- 47
五、开放交流与运行管理------------------------------------------------- 49
六、自评表------------------------------------------------------------------- 51
七、审核意见---------------------------------------------------------------- 52

第五部分  附录

附录一、国家重点实验室评估办法与指标体系研讨情况表--------- 53
附录二、国家重点实验室评估办法问卷结果汇总表------------------- 54
附录三、国家重点实验室评估指标体系问卷结果汇总表------------ 62
引    言

    国家重点实验室作为国家科技创新体系的重要组成部分，是国家组织高水平基础研究和应用基础研究、聚集和培养优秀科学家、开展高层次学术交流的重要基地。为使国家重点实验室的评估工作更加科学、公正和规范，更好地发挥重点实验室评估的导向作用，在听取多方面的意见后，科技部决定对现行国家重点实验室评估规则和指标体系进行修订，并将在2004年开始的新一轮国家重点实验室评估中适用。为此，科技部基础研究司委托上海交通大学高等教育研究所成立课题组，进行国家重点实验室评估研究。
在科技部基础研究司基地建设处的直接领导下，课题组经过与科技部、国家自然科学基金委、中国科学院和教育部等单位的领导和专家反复研讨，听取了部分实验室主任的意见，形成了“国家重点实验室评估办法”（征求意见稿）和“国家重点实验室评估指标体系”（征求意见稿）。此后，课题组将“征求意见稿”寄往163个国家重点实验室及136个依托单位，同时发放了有关的调查问卷，并分别在北京、南京、西安、上海等地召开了多次研讨会，听取了教育部和中国科学院等实验室主管部门有关领导的意见，拜访了部分重点实验室主任和依托单位的科技处长。在此基础上，修改形成了“国家重点实验室评估办法”（修订稿）、“国家重点实验室评估指标体系”（修订稿）和“重点实验室评估申请书”（修订稿）。
 
国家重点实验室评估办法与指标体系修订工作总结

    一、评估的现状分析
1、评估的历史作用
从1989年起，国家自然科学基金委员会受国家计委和国家科委的委托，依据国家重点实验室评估规则和指标体系，动用了数以千计的科技专家和管理专家，对国家重点实验室进行了评估。评估工作改变了人们的观念、统一了人们的认识，使把国家重点实验室建成科学研究中心、人才培养中心、学术交流中心的指导思想深入人心，使开放、流动、联合、竞争的运行机制得以建立，对促进实验室的建设与发展起到了良好的作用。与此同时，在评估中发现了国家重点实验室目前存在的一些问题，主要包括：学术氛围不浓，原始创新的动力不足，在国际上有影响的重大原创性成果、学术大师很少，在国际科学界的地位不高；实验室的专业面窄、规模较小，布局结构不尽合理，学科交叉难以实现，实验室的开放交流特别是高层次的国际交流还很不够。
2、评估的问题分析
评估工作推动了国家重点实验室的建设，但是，评估本身还存在不少问题和不足，主要表现在：
评估的重点不突出，导向性不够。国家重点实验室评估的内容繁多、重点不够突出，越来越表现出重外在、轻内在，重形式、轻内容，重数量、轻质量的倾向。比如，过于注重论文的数量统计，忽视了研究成果的实际水平和质量，不仅没有将实验室导向原始创新，反而导致实验室急功近利、追求数量、甚至拼凑数据，从而背离了国家重点实验室的建设宗旨。
评估指标体系操作性和科学性不强。国家重点实验室评估的指标体系较为复杂。定性部分缺乏具有操作性的评估标准，不仅使评分难以拉开差距，而且使评分的随意性增大，致使公关风气蔓延；定量指标主要是数据的简单堆积，没有考虑学科性质、规模大小、投资多少带来的差别。此外，没有考虑大量实验室同时进行基础研究和应用基础研究的现实，而简单地将实验室分为基础类和应用基础类进行评估，缺乏科学性。
参评实验室准备工作繁重，接待压力大。首先，评估资料繁多，准备的工作量太大，实验室负担过重。其次，现场评估的会务工作委托各依托单位和参评实验室承办，评估专家组及有关人员的差旅费、食宿费、评审费等由实验室垫付，实验室的接待工作压力大，精神负担很重；同时，也给公关、送礼等不正之风提供了方便。
    评估专家的选择范围小，评估客观性有待提高。由于没有国际同行的参与，部分国内高水平的权威专家经常被回避掉了，使得评估专家的选择范围较小。与此同时，由于种种原因，评估专家受到非客观因素干扰，造成讲情面、说好话现象的发生，严重影响了评估的科学性、客观性和公正性。
    评估的监督与申诉机制不健全。淘汰制度应该实施，但简单地按一定的比例淘汰实验室不够科学。对实验室申报材料的真实性、评估过程的客观性和公正性等缺乏可操作的监督和惩罚措施，对评估结果有不同意见也缺乏正常的申诉渠道和程序。
评估工作的有关各方职责不够明确。在现有的评估规则中，只笼统规定了评估专家确定初步评估结果，科技部进行审议和公布，却没有明确指出初步评估结果只是行政决策的参考依据，也没有明确科技部的最终裁量权以及应承担的相应义务。此外，评估专家、实验室的职责也不够明确。

二、修订的指导思想和主要改进意见
此次修订工作在继承原“评估规则”和“评估指标体系”合理成分的基础上，借鉴国外评估经验，主要对以下内容进行了改进：
1、突出研究成果的水平与贡献，增加代表性成果的通信评估
突出代表性研究成果。以鼓励真正的科技创新、引导实验室出重大成果、催生有重大影响的国家重点实验室为宗旨，基本取消了对研究成果的数量统计（原方案中的定量评估），而代之以对实验室五年内若干项代表性研究成果的水平与贡献评估，并赋予较高的权重。
区分成果类型。在新的评估办法中，不再区别实验室类型。将代表性研究成果分为基础类和应用基础类，两类成果分别采用不同的评估标准。每个实验室可以自主选择参评代表性研究成果的性质和数量。这意味着，一个实验室的代表性研究成果可以同时含有基础类成果和应用基础类成果。
    增加通信评估。为了客观地评估实验室的学术水平与贡献，借鉴学术评估的国际惯例，在新的评估办法中增加了对代表性研究成果的通信评估。按相近学科领域对实验室进行合理分组，同一组实验室的代表性研究成果由同一批同行专家进行通信评估。评估专家应包括一定比例的国外同行专家。
2、简化评估指标体系，注重可操作性和针对性
简化评估指标体系。在新的评估指标体系中，仅设了4个一级指标和11个二级指标。与以前方案中的定量和定性指标相结合，设有7个一级指标和15个二级指标相比，有了大幅度简化，突出了核心指标的决定性作用。
明确各指标的评估标准。为提高评估水平和效率，在新的评估指标体系中规定了操作性较强的评估标准，即对每项二级指标提出了较明确的“优秀”和“较差”的标准，减少了随意性。如基础类研究成果的“优秀”标准为同时满足下列条件：（1）在科学上取得突破性进展的原创性成果，学术上处于国际领先或先进水平；（2）在国际公认的权威刊物上发表文章或出版学术专著；（3）得到国内外学术界公认并被广泛引用。
注重指标的针对性。如针对科研力量分散、难以出大成果的现象，增设了“科研团队建设”的指标，并提出优秀的标准为：固定科研人员中多数参加了所提交代表性研究成果的研究工作；为鼓励国际合作与交流，导向国际竞争，在“开放交流”指标的优秀标准中，明确提出了开展实质性的国内外学术交流与合作，参与国际重大科学研究计划，承办国际性、地区性学术会议的要求。
3、明确评估各方职责，减轻参评实验室的负担
明确评估各方职责。在新的评估办法中，增加了评估各方职责的条款，对科技部、评估机构、实验室主管部门、依托单位、参评实验室、评估专家的职责进行了明确的划分。
减轻参评实验室的负担。在新的评估办法中，基本取消了以前对课题、论著、专利、设备使用机时等的数量统计要求。同时，明确规定现场评估的会务接待工作不再委托参评实验室和依托单位进行，从而大大减轻参评实验室评估准备和接待工作的负担。与此同时，评估机构的工作量将明显增大。
4、改进评估专家选择，强化实验室横向比较
改进评估专家选择方式。在新的评估办法中，明确提出了建立专家数据库的要求。通过各实验室和其它研究机构推荐的方式建立包括国外同行专家、国内同行专家、管理专家在内的数据库。定期更新专家数据库，淘汰水平不高或信誉不好的专家。
强化实验室横向比较。为强化同一组实验室之间的横向比较，同一组实验室的现场评估由同一批专家（主要从通信评估专家中选择）完成；同一组实验室的现场评估结束后，专家组对本组内的实验室进行比较分析，并针对每项二级指标写出综合意见。为强化同一领域的实验室之间的横向比较，将一个大领域的所有实验室一起进行综合评估，由同一批专家完成。
    5、规范评估程序，改进评估结果的处理
规范评估程序。在新的评估办法中，对评估的过程做了较为全面细致的规定，使其更趋科学化和合理化；同时，评估办法的制定严格按照国家规范性文件的标准和要求，具有较强的权威性和严肃性。
    增加评估结果的公示和申诉。在新的评估办法中规定，科技部根据评估专家的评估结果确定各实验室的评估等级，予以公布，并公示一个月。公示期间，任何单位和个人都可以就评估结果向科技部提出书面异议，以使评估工作接受社会各界的广泛监督。

三、问卷调查的统计结果及分析
    1、问卷设计、发放及回收情况
    在国家重点实验室评估办法和指标体系的修订过程中，课题组采用了问卷调查的方法，针对评估办法中的重要问题和评估指标体系中的权重设置，分别设计了问卷。具体见表1和表2。课题组向所有国家重点实验室及它们的依托单位共发放问卷299份，回收问卷163份，回收率为54.5%。问卷发放和回收的详细情况见表3。
 
    表1、关于国家重点实验室评估办法的问卷
 问    题 A B C 建议
1 您认为把评估分为通信评估、现场评估和综合评估三个阶段，是否合适? 是 否 不知道 
2 国家重点实验室每五年评估一次，您认为这个周期是否合适？ 是 否 不知道 
3 对研究成果不进行量化统计比较，而仅对代表性成果的水平与贡献进行评估是否有利于鼓励原创性研究和产出重大成果？ 是 否 不知道 
4 代表性研究成果的数量以多少项为宜? 3 5 10 
5 将代表性研究成果分为基础类和应用基础类，并分别采用不同的标准进行评估是否合适？ 是 否 不知道 
6 通信评估的同行专家数量以多少人为宜？ 10 15 20 
7 通信评估专家中国外同行专家的比例以多少为宜？ 10% 20% 40% 
8 通信评估中不实行回避制度，而在现场评估中实行回避制度，这样做是否合适？ 是 否 不知道 
9 在通信评估和现场评估中，将参评实验室按相近学科领域分组是否合适？ 是 否 不知道 
10 在对研究水平与贡献进行通信评估后，现场评估的内容是否还应包括研究水平与贡献？ 是 否 不知道 
11 现场评估的专家以多少人为宜？ 3-5 5-7 7-9 
12 现场评估专家中同行专家与管理专家的比例以多少为宜？ 0.5:1 1:1 2:1 
13 现场评估的时间以多少天为宜？ 1 2 3 
14 现场评估中不要求实验室主任做报告，而代之以墙报或其它形式的介绍或展示，是否合适? 是 否 不知道 
15 实验室主任只在综合评估中作报告，并听取其他主任的报告，以达到交流的目的，是否合适？ 是 否 不知道 
16 同一组实验室的现场评估结束后，是否应对本组内的实验室进行比较并形成综合意见？ 是 否 不知道 
17 综合评估的专家是否应从现场评估和通信评估的专家中产生？ 是 否 不知道 
18 “优秀”实验室的比例定为多少比较合适？ 10-15% 15-20% 20-30% 
19 “不合格”实验室的比例定为多少比较合适？ 3-5% 5-10% 10-15% 
20 评估结果公布后，是否可以提出异议？ 是 否 不知道 
注：请您在满意的选择(A、B、C)上打钩。如您觉得上述答案均不满意，可在“建议”栏中写出您认为更合适的答案，并说明理由。
 
    表2、关于国家重点实验室评估指标体系及权重的问卷
一级指标 权重
(%) 建议
(%) 二级指标 权重
(%) 建议
(%)
总体定位与承担任务 10  总体定位 5 
   承担任务 5 
研究水平与贡献 50  5项代表性研究成果 50 
队伍建设与人才培养 25  实验室主任与学术带头人 10 
   科研队伍结构与团队建设 8 
   人才培养 7 
开放交流与运行管理 15  仪器设备 5 
   开放交流 5 
   运行管理 5 
     
     
     
     
注：请您在“建议”栏中填上您认为合适的权重；如果您认为某项指标不需要，请在建议栏中将权重填为“0”；如果您认为需要添加指标，请在空行中填写指标和权重。

    表3、国家重点实验室评估问卷发放与回收情况表
内  容 发出问卷(份) 回收问卷(份) 回收率 备注
总  计 299 163 54.5% 
按问卷对象
的性质分类 实验室问卷 163 78 47.9% 
 科技处问卷 136 67 49.3% 
按依托单位
的性质分类 大学问卷 190 102 53.7% 
 科研院所问卷 109 43 39.4% 
按评估等级
分类 优秀实验室问卷 22 11 50.0% 
 较差、差实验室问卷 13 5 38.5% 
 未署名的回收问卷  18  据分析，绝大多数来自科研院所
注：优秀和较差实验室的问卷数量较少，不具备统计意义，但可说明一些问题。科技处是指依托单位的重点实验室管理部门，有的是实验室管理处等，下同。
 
    2、评估办法问卷调查结果与分析
    问答题部分的总体情况。问卷的统计结果显示：对“国家重点实验室评估办法”（征求意见稿）中的主要改进意见得到了充分肯定。增加代表性成果通信评估的赞成率为83%，将代表性成果分为基础类和应用基础类并分别采用不同标准进行评估的赞成率为88%，同一组实验室的现场评估结束后对本组实验室进行比较并形成综合意见的赞成率为85%，评估结果公布后可以提出异议的赞成率高达95%。详细的统计数据见表4。
    需要注意的几个问题。有关回避制度、现场评估中是否包括研究水平与贡献、现场评估中实验室主任是否做报告等问题，问卷结果显示出了较大的意见分歧。为了弄清其中原因，课题组进行了认真分析，并在现场调研和个别访谈中特别听取了参加人员的意见，具体情况见现场调研的意见总结。此外，对实验室主任在综合评估中做报告并听取其他主任的报告，以达到相互交流的目的这个问题，赞成率只有56%，主要是大家担心“先讲的吃亏”。
    数据题部分的总体情况。多数被调查者认为：代表性研究成果的数量以5项为宜（赞成率51%，下同），通信评估的同行专家数量以10人为宜（50%），通信评估专家中国外同行专家的比例以20%为宜（51%），现场评估专家以5-7人为宜（56%），现场评估中同行专家与管理专家的比例以2:1为宜（69%），现场评估的时间以2天为宜（62%）。详细的统计数据见表5。可以看出，以上问题的赞成率都在50%附近，答案分布比较分散。为此，课题组又计算了不同意见的平均值，具体数据见表6。有关“优秀”、“不合格”实验室比例的意见更为分散，没有一个选项的赞成率超过50%。“不合格”实验室比例的统计平均值为5%，甚至出现了多个否定答案，说明大家普遍希望降低不合格的比例。
 
    表4、重点实验室评估办法问卷调查统计表（问答题部分）
问  卷  问  题 所有回收问卷 科技处问卷 实验室问卷 大学问卷 科研院所问卷 优秀实验室问卷 较差实验室问卷
 A% B% C% A% B% C% A% B% C% A% B% C% A% B% C% A% B% C% A% B% C%
您认为把评估分为通信评估、现场评估和综合评估三个阶段，是否合适? 82.8% 12.3% 1.8% 84.1% 11.6% 2.9% 79.5% 15.4% 1.3% 79.8% 15.4% 1.9% 86.0% 9.3% 2.3% 81.8% 9.1% 0.0% 60.0% 40.0% 0.0%
国家重点实验室每五年评估一次，您认为这个周期是否合适？ 90.2% 8.0% 0.6% 88.4% 8.7% 0.0% 92.3% 6.4% 1.3% 93.3% 4.8% 1.0% 83.7% 14.0% 0.0% 90.9% 9.1% 0.0% 80.0% 20.0% 0.0%
对研究成果不进行量化统计比较，而仅对代表性成果的水平与贡献进行评估是否有利于鼓励原创性研究和产出重大成果？ 66.3% 20.2% 6.7% 69.6% 21.7% 4.3% 64.1% 21.8% 6.4% 66.3% 22.1% 4.8% 67.4% 20.9% 7.0% 63.6% 18.2% 0.0% 80.0% 20.0% 0.0%
将代表性研究成果分为基础类和应用类，并分别采用不同标准进行评估是否合适？ 87.7% 4.3% 3.1% 89.9% 1.4% 5.8% 85.9% 6.4% 0.0% 86.5% 5.8% 1.9% 90.7% 0.0% 4.7% 81.8% 9.1% 0.0% 80.0% 20.0% 0.0%
通信评估中不实行回避制度，而在现场评估中实行回避制度，这样做是否合适？ 30.7% 58.3% 6.1% 30.4% 59.4% 4.3% 30.8% 56.4% 7.7% 32.7% 55.8% 5.8% 25.6% 62.8% 7.0% 54.5% 36.4% 9.1% 0.0% 100.0% 0.0%
在通信评估和现场评估中，将参评实验室按相近学科领域分组是否合适？ 93.3% 1.8% 2.5% 95.7% 0.0% 1.4% 91.0% 3.8% 3.8% 93.3% 2.9% 1.0% 93.0% 0.0% 7.0% 100.0% 0.0% 0.0% 100.0% 0.0% 0.0%
对研究水平与贡献进行通信评估后，现场评估内容是否还应包括研究水平与贡献？ 76.1% 17.2% 2.5% 76.8% 15.9% 4.3% 74.4% 17.9% 1.3% 72.1% 19.2% 1.9% 83.7% 11.6% 4.7% 81.8% 18.2% 0.0% 80.0% 20.0% 0.0%
现场评估中不要求实验室主任做报告，而代之以墙报或其它形式的介绍或展示，是否合适? 28.8% 62.6% 6.1% 23.2% 66.7% 8.7% 34.6% 59.0% 3.8% 30.8% 63.5% 4.8% 25.6% 60.5% 9.3% 27.3% 63.6% 0.0% 40.0% 60.0% 0.0%
实验室主任只在综合评估中作报告，并听取其他主任的报告，以达到交流的目的，是否合适？ 55.8% 33.7% 7.4% 56.5% 34.8% 5.8% 56.4% 35.9% 5.1% 61.5% 30.8% 4.8% 44.2% 46.5% 7.0% 54.5% 36.4% 0.0% 40.0% 40.0% 20.0%
同一组实验室的现场评估结束后，是否应对本组实验室进行比较并形成综合意见？ 84.7% 8.6% 5.5% 82.6% 5.8% 10.1% 85.9% 11.5% 1.3% 86.5% 8.7% 3.8% 79.1% 9.3% 9.3% 100.0% 0.0% 0.0% 100.0% 0.0% 0.0%
综合评估的专家是否应从现场评估和通信评估的专家中产生？ 84.0% 10.4% 3.7% 81.2% 13.0% 4.3% 85.9% 9.0% 2.6% 80.8% 13.5% 3.8% 90.7% 4.7% 2.3% 90.9% 9.1% 0.0% 80.0% 20.0% 0.0%
评估结果公布后，是否可以提出异议？ 95.1% 3.7% 0.6% 95.7% 2.9% 1.4% 94.9% 3.8% 0.0% 94.2% 4.8% 1.0% 97.7% 0.0% 0.0% 90.9% 9.1% 0.0% 100.0% 0.0% 0.0%
注：A-合适，B-不合适，C-不知道。由于有些问卷没有选择任何答案，所以三项比例相加不一定是100%。偏差是指平均偏差。
 
    表5、重点实验室评估办法问卷调查统计表（量化数据部分，赞成率）
问  卷  问  题 所有回收问卷 科技处问卷 实验室问卷 大学问卷 科研院所问卷 优秀实验室问卷 较差实验室问卷
 A% B% C% A% B% C% A% B% C% A% B% C% A% B% C% A% B% C% A% B% C%
代表性研究成果的数量以多少项为宜? 23.9% 51.5% 5.5% 29.0% 53.6% 1.4% 19.2% 51.3% 7.7% 21.2% 58.7% 3.8% 30.2% 37.2% 7.0% 9.1% 45.5% 18.2% 40.0% 20.0% 20.0%
通信评估的同行专家数量以多少人为宜？ 50.3% 35.6% 4.9% 46.4% 37.7% 5.8% 51.3% 34.6% 3.8% 40.4% 43.3% 4.8% 69.8% 18.6% 4.7% 45.5% 45.5% 0.0% 60.0% 40.0% 0.0%
通信评估专家中国外同行专家的比例以多少为宜？ 23.9% 50.9% 7.4% 14.5% 58.0% 8.7% 34.6% 41.0% 7.7% 25.0% 51.0% 4.8% 25.6% 44.2% 16.3% 27.3% 36.4% 18.2% 40.0% 60.0% 0.0%
现场评估的专家以多少人为宜？ 11.0% 56.4% 27.6% 8.7% 60.9% 27.5% 15.4% 47.4% 29.5% 13.5% 56.7% 24.0% 9.3% 46.5% 39.5% 9.1% 27.3% 54.5% 20.0% 40.0% 40.0%
现场评估专家中同行专家与管理专家的比例以多少为宜？ 6.1% 13.5% 69.3% 4.3% 18.8% 72.5% 7.7% 11.5% 61.5% 6.7% 16.3% 64.4% 4.7% 11.6% 72.1% 0.0% 27.3% 54.5% 0.0% 0.0% 100.0%
现场评估的时间以多少天为宜？ 31.3% 62.0% 4.9% 33.3% 56.5% 10.1% 24.4% 70.5% 1.3% 28.8% 62.5% 5.8% 27.9% 67.4% 4.7% 45.5% 54.5% 0.0% 40.0% 40.0% 20.0%
“优秀”实验室的比例定为多少比较合适？ 30.1% 44.8% 17.8% 29.0% 49.3% 14.5% 30.8% 39.7% 21.8% 27.9% 49.0% 15.4% 34.9% 32.6% 25.6% 36.4% 36.4% 27.3% 20.0% 60.0% 20.0%
“不合格”实验室的比例定为多少比较合适？ 49.1% 34.4% 3.7% 47.8% 30.4% 5.8% 52.6% 34.6% 1.3% 47.1% 33.7% 3.8% 58.1% 30.2% 2.3% 45.5% 54.5% 0.0% 60.0% 40.0% 0.0%
注：A、B、C在各个问题中代表的数据或范围见表1。
 
    表6、重点实验室评估办法问卷调查统计表（量化数据部分，平均值）
问  卷  问  题 所有回收问卷 科技处问卷 实验室问卷 大学问卷 科研院所问卷 优秀实验室问卷 较差实验室问卷
 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差
代表性研究成果的数量以多少项为宜? 4.9 2.1 4.4 1.2 5.3 2.5 4.8 1.5 5.2 3.1 5.8 2.3 5.0 2.9
通信评估的同行专家数量以多少人为宜？ 12.5 3.0 12.6 3.1 12.4 2.9 13.0 2.9 11.4 2.8 12.5 2.6 12.0 2.7
通信评估专家中国外同行专家的比例以多少为宜？(%) 19.0 8.2 20.2 8.0 17.9 8.9 18.1 7.6 21.1 10.2 19.1 12.8 16.0 5.5
现场评估的专家以多少人为宜？ 6.6 3.5 6.4 1.2 6.9 5.0 6.7 4.3 6.7 1.4 10.7 12.4 6.4 1.7
现场评估专家中同行专家与管理专家的比例以多少为宜？ 2.0 1.1 1.8 0.9 2.2 1.4 1.9 0.9 2.2 1.6 2.3 1.4 2.0 0.0
现场评估的时间以多少天为宜？ 1.7 0.5 1.8 0.6 1.8 0.5 1.8 0.5 1.8 0.5 1.5 0.5 1.8 0.8
“优秀”实验室的比例定为多少比较合适？(%)  17.5 4.7 17.1 4.1 17.9 5.3 17.5 4.7 17.6 5.0 17.7 5.2 18.0 4.5
“不合格”实验室的比例定为多少比较合适？(%) 5.8 2.3 5.9 2.5 5.5 2.0 5.8 2.3 5.5 2.1 5.9 1.8 5.4 1.9
注：对于问卷中给出数据范围的题目进行统计时，取其中间值计算平均值和偏差。偏差是指平均偏差。
 
    表7、重点实验室评估指标体系及权重问卷调查统计表
一级指标 二级指标 所有回收问卷 科技处问卷 实验室问卷 大学问卷 科研院所问卷 优秀实验室问卷 较差实验室问卷
  平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差 平均值 偏差
总体定位
与承担任务  12.1 3.8 12.3 3.9 12.3 4.1 12.3 4.1 12.3 3.6 10.0 2.2 14.0 8.9
 总体定位 5.3 2.1 5.0 1.5 5.7 2.6 5.3 2.3 5.6 1.9 5.0 1.9 7.0 7.6
 承担任务 7.2 3.1 7.8 3.7 6.9 2.7 7.4 3.4 7.2 2.8 5.0 0.9 7.0 2.7
研究水平
与贡献  47.8 5.1 48.0 4.4 47.5 6.0 47.4 5.1 48.4 5.5 50.5 1.5 42.0 8.4
 代表性研究成果 47.1 5.8 47.7 4.8 46.4 6.8 46.5 6.0 48.1 5.7 49.5 3.5 40.0 7.1
队伍建设
与人才培养  24.8 3.2 24.6 3.6 24.8 2.9 24.8 3.4 24.7 2.8 24.5 1.5 26.0 6.5
 实验室主任
与学术带头人 9.6 1.7 9.4 2.1 9.8 1.5 9.6 1.8 9.7 1.6 10.0 0.0 11.0 2.2
 科研队伍结构
与团队建设 8.2 1.9 8.4 1.8 7.9 1.6 8.2 1.8 8.0 1.5 7.6 1.4 7.6 2.5
 人才培养 7.0 1.7 6.8 1.6 7.1 1.8 7.1 1.9 6.7 1.2 6.6 0.8 7.4 4.3
开放交流
与运行管理  14.7 2.6 14.4 3.0 14.8 2.6 14.7 2.8 14.5 2.6 15.0 0.0 18.0 2.7
 仪器设备 4.7 1.4 4.6 1.6 4.8 1.3 4.7 1.6 4.6 1.3 4.8 1.4 5.0 0.0
 开放交流 5.1 1.4 4.9 1.5 5.2 1.4 5.1 1.4 5.0 1.5 5.6 1.7 6.0 2.2
 运行管理 4.9 1.3 4.9 1.3 5.0 1.3 5.0 1.4 4.8 1.1 5.5 1.5 7.0 2.7
注：偏差是指平均偏差。
 
    3、指标体系及权重问卷调查结果与分析
    问卷的统计结果显示：国家重点实验室评估指标体系及权重（征求意见稿）得到了充分肯定。在预留的指标空行中，只有5%左右的回收问卷中增加了个别新的指标，说明被调查者普遍赞同征求意见稿中的指标设置。征求意见稿中的指标权重设置也得到了普遍认同。除承担任务的权重从征求意见稿中的5%变为回收问卷的7%外，其它指标权重的变化很小。详细的数据统计见表7。

    四、现场调研的意见总结
在征求意见和问卷调查的基础上，课题组分别在北京、南京、西安、上海等地召开了多场由实验室主任和科技处长参加的研讨会，听取了教育部和中国科学院等实验室主管部门有关领导的意见，拜访了部分重点实验室主任和依托单位的科技处长。参与研讨或被个别拜访的实验室主任和科技处领导有100人左右。课题组对会议记录和有关的书面意见进行整理，归纳如下：
1、代表性成果
代表性成果的认可度。这一指标得到了绝大多数与会人员的高度评价。他们认为：这一指标与原先的定量指标相比较，更为科学合理。以往以论文数量等定量指标作为关键的评估依据，导致实验室过于追求数量，甚至进行拼凑和虚报等，严重影响了评估的权威性和公正性。而对代表性研究成果进行评估，反映了国家建立重点实验室的宗旨，能够引导实验室出代表国家级水平的重大成果，充分发挥评估的导向作用。个别与会人员持有异议，理由是：以一概全，容易造成片面性；过于强调“显示度”，忽视基础研究的稳定性和生长点；评分过程中人为因素太多，可能会有偏失。
代表性成果的数量。多数与会人员认为：对于成果的评估，关键要看质量和原创性。实验室的方向、性质各不相同，规模差异较大，产出能力不一，统一规定5项代表性成果不科学。有的以应用基础研究为主的实验室，五年拿出一项有重大影响的高质量成果来，就足以证明实验室的水平了。建议规定为最多不超过5项代表性研究成果。
代表性成果的分类。绝大多数与会人员认为：将研究成果分为基础类和应用基础类较妥，符合国家重点实验室以基础研究和应用基础研究为目标的定位；至于应用类成果及成果转化，应该是工程技术研究中心的职责。同时，大家普遍认为：由于许多实验室既有基础类研究成果又有应用基础类研究成果，所以将代表性成果分类比实验室分类更科学。
代表性成果的标志。绝大多数与会人员认为：只有署名单位为国家重点实验室的成果才能作为重点实验室的成果参加评估；包括论文、专利、专著（含合著中的章节）、设计等在内的各种成果形式，均可参加评估；一项研究成果是指对一个题目进行研究的成果，可以是一篇论文，也可以是同一个研究题目的若干篇系列论文的总和。部分与会人员提出：要客观对待引用率，一方面引用率的比较要在相同领域内进行，不同领域的引用率差别巨大；另一方面，最近1-2年的论文水平不论多高，由于时间限制，难以有太高的引用率。
有与会人员提出：“奖励”应该被纳入评估指标体系，可以作为代表性成果参加评估。但课题组认为：成果是一种事实，而“奖励”是对这种事实的评价和证明，两者性质不同，不可混为一谈。“奖励”不应作为成果来报，但可以作为成果的佐证一同上报；而用于报奖的成果只要符合规定就可以用于实验室评估。与会人员对这种解释表示认同。

2、研究水平、贡献与投入产出比
“研究水平与贡献”指标的认可度。与会人员普遍同意“研究水平和贡献”指标及其权重。国家建立重点实验室，每年给予巨大的经费投入和政策支持，就是为了能够提升我国的科研水平。这是实验室评估的最基本、最核心的内容，甚至有个别与会人员建议将“研究水平与贡献”的权重提高到60-70%。
实验室其它研究成果。大多数与会人员认为：代表性研究成果展现了实验室最高的学术水平，是评估关注的核心，应当给予较高的权重。但同时应当有点有面，点面结合，除了代表性成果这个点之外，也要考虑其它研究成果的贡献。因此，与会人员建议，在肯定代表性研究成果的前提下，适当给其它研究成果一定的权重，不仅可以体现实验室研究成果的总体实力与贡献，还可以综合考察实验室的投入产出比。
成果贡献、投入产出比与现场评估。多数与会人员认为：现场评估是对实验室真实情况的全面了解，应该在现场评估中考虑研究成果的总体实力与贡献，特别要考虑实验室的成果效益与人力资源投入、获得的经费投入是否相称。但不应进行简单量化统计，而应选择主要研究成果（25项或50项）。部分与会人员认为：现场评估主要考察实验室的运行管理水平，可以不考虑“学术水平和贡献”。
3、总体定位、承担任务与发展思路
“总体定位”。与会人员普遍赞同这一指标的设立。他们认为：重点实验室必须定位准确，以基础研究和应用基础研究为主要目标，在国内同行中发挥领头羊作用。部分与会人员认为：实验室的研究方向要与代表性研究成果一致，但是不一定要与实验室名称一致。理由有：评估研究方向是否合适，是学术委员会的权力，而不是评估专家的份内工作；研究方向应该随着科学的发展而调整，但要同步调整实验室名称很难。
承担任务指标的权重。多数与会人员认为：国家重点实验室的定位是“国家队”，理所应当承担较大数量的国家级科研任务，体现其在国家战略中的基础性地位，这一指标的权重应该适当加大。部分与会人员提出：作为国家队，在突出国家任务重要性的同时，也应关注社会效益大的横向项目和科学家自选的兴趣课题。
发展思路与潜力。多数与会人员强烈呼吁把“发展思路与潜力”作为一个评估指标。他们认为：重点实验室评估，不仅是对以往成绩的静态考察，而且也是对实验室发展前景的动态把握。如果一个实验室的发展目标不明确、建设思路不清晰、后备力量不充分、改革举措不到位，未来的发展根本无从谈起。有与会人员指出：在国外的科技评估中，实验室的发展规划是关键性指标之一，是实验室主任做报告的重要内容，这条成功的国际经验值得我们借鉴。
4、评估专家
通信评估专家。与会人员一致赞同由同行专家进行通信评估，避免外行评内行而产生的不公正。鉴于我国评估中较严重的不正之风和制度缺陷，大多数人都赞成邀请国际同行专家参与通信评估，最好是“非华人”专家，否则还是在一个圈子里转悠，无法避免评估过程中的人为不公正现象。也有人提出：请国外专家对从事基础研究的实验室比较适用，但对工程类和一些应用性较强的实验室不一定合适。
现场评估专家。大家非常赞成由学术同行专家和管理专家共同评估，认为这样既使实验室的学术水平和贡献得到客观评估，又可以从管理的专业角度考核实验室的运行效率、管理水平和存在问题等，有利于实验室的进一步建设。
专家的回避。与会人员普遍认为：评估工作应该坚持回避制度，但在细节上有意见分歧。大多数与会人员认为：进行通信评估的同行专家数量本来就不多，一旦实行回避，可能会将真正懂行的学术同行专家抛开，影响评估结果的权威性，因此通信评估时可以不回避，只要在统计评分时去掉最高和最低即可；而现场评估是面对面的评估，必须实行严格的回避制度。少数与会人员认为：回避制度应该贯穿评估工作的整个过程，包括通信评估。
专家数据库。与会人员一致认为：建立专家数据库是当务之急，是保证评估科学性和公正性的前提。但感到棘手的是如何公正地选取真正的权威专家，如何及时更新数据库。部分与会人员建议：数据库里的评估专家应按照规范的程序由各实验室推荐产生。对评估中信誉不好、做好人甚至有舞弊行为的专家，要及时从专家数据库中剔除。
5、评估的公正性和透明度
评估的公正性。大家对以往评估过程中的不良风气感触颇深，强烈呼吁有关部门采取切实措施，做到评估专家名单、评估过程、评估等级的绝对保密；同时，对评估中的贿赂、舞弊、泄密和玩忽职守等问题进行严肃处理，一经发现，取消有关实验室或专家的资格。与会人员建议：评估专家在评别人的同时，也应该接受检查和监督。建议评估机构组织力量对评分过高或过低的专家的评分情况进行检查分析，以确定其公正性。也有与会人员建议实行记名评估，并在一定范围内公开专家的评分等级和评估意见。
申请材料上网公开。多数与会人员认为：除个别有保密要求的以外，各实验室的评估申请书等申请材料要上网公开，不仅可以达到交流的目的，而且可以增强评估工作的透明度，有助于接受广泛的社会监督。如果发现所报材料与事实不符，应给予严肃处理，直至取消评估资格。
通信评估的公正性。绝大多数与会人员十分认同通信评估这种方式。大家认为：同行通信评估是国际上常用的科技评估方式，应当借鉴。但要分析我国其它同行通信评估中存在的问题，健全监督机制，保证评估的公正性与权威性。
6、评估结果与奖惩
“优秀”和“不合格”的比例。与会人员普遍持否定态度。他们认为：对那些太差的或者已经不适应的实验室淘汰是应该的，但是定淘汰比例过于武断。国家应该做出统一明确的标准，划定一条及格线。过了线是合格，没过线是不合格。不一定非要抓几个不合格才算评估达到目的，也不一定非要评多少个优秀才算建设有成效。
实验室的淘汰。相当一部分与会人员提出，实验室情况不同，有的第一次参评，有的已经评过多次了，都搞一次淘汰不公平。尤其是新建国家重点实验室的实力尚处在发展阶段，又没有参评的经验，一次淘汰过于苛刻。建议：如果首次参加评估的结果欠佳，可予以黄牌警告，适当削减运行经费并帮助分析原因，改进工作。
连续得优秀的实验室。有关与会人员提出：对于连续三次被评为优秀的实验室，足以证明实验室的实力，可以免评一次，结果视为优秀（而不是合格）。但也有与会人员认为：凡是想获得重点资助的实验室，有责任和义务参加周期评估。对于连续三次被评为优秀的实验室，可以只进行代表性成果的通信评估。
7、特殊地区与特殊领域
特殊地区。有关与会人员认为：东西部的差距是不可回避的事实。西部的实验室在仪器设备、开放交流、人才吸引等问题上都困难重重。用一个标准对待东西部的实验室，有失公平。他们主张：采用统一的评估指标体系和标准进行评估，但在结果的处理时给予优惠和倾斜，可采取类似高考中对边远地区和少数民族考生加分的办法。
特殊领域。有关与会人员指出：应当考虑不同领域的发展情况，对属于发展缓慢或衰退领域的实验室，其评估结果应降级处理；对属于科学前沿领域或国家急需发展的战略领域的实验室，其评估结果应给予优惠处理，如果某个实验室评估结果为不合格，则不一定马上淘汰，可以采取更换实验室主任的方式给予调整。此外，对于诸如地学、环境工程、农林科学等领域的实验室，一个领域只有一个实验室，评估分组时只能就近处理，要尤其注意评估专家的选择和评估结果的处理等。
8、其它问题
申请书格式。与会人员一致认为：科技部仍然需要制作《重点实验室评估申请书》格式，但是需要对原格式的具体内容作较大程度的修改，尽可能简单明了、重点突出。否则评估专家面对堆积的材料，很难有时间和兴趣仔细看。
现场评估与实验室主任报告。不少与会人员认为：实验室主任有必要在现场评估中做工作报告，只有墙报展示太过简单化。工作报告中还要有“如何解决了上次评估中发现的问题”。而且，让评估专家先听实验室主任报告，产生总体印象，然后再看有关材料，效果更好。
固定人员参加代表性成果研究工作的比例。部分与会人员认为：不宜作具体的比例要求。因为实验室的性质不同，研究组的规模不均，不好一概而论。对于工程类实验室，强调大团队精神是可取的；而从事基础研究的实验室，不一定要高度集中。
综合管理机关的职责。部分与会人员提出：专家的评估不能替代政府的决策。综合管理机关应行使对评估最后结果和奖惩的行政决策权，也应该承担必要的义务，如保证行政决策程序的规范和透明。此外，综合管理机关应采取措施保证实验室的资助经费按期到位，以免影响实验室的正常运行。

五、关于评估实施的若干建议
    1、评估程序与时间进度安排
    表8、国家重点实验室评估程序与时间进度安排表
序号 工 作 事 项 完成时间 责任人 备  注
1 确定拟评估的实验室清单 年前11月 科技部 每年1-2个领域的所有实验室
2 提交评估申请书、代表性研究成果 1月 主管部门
和实验室 代表性成果分为基础类和应用基础类
3 建立专家数据库 1月 评估机构 包括同行专家数据库、管理专家数据库等
4 制订详细的评估实施方案 1月 评估机构 包括实验室分组、评估专家名单、日程安排等
5 审核评估实施方案 2月 科技部 包括实验室分组、评估专家名单、日程安排等
6 1-5项代表性研究成果的同行专家通信评估 2-3月 评估机构
评估专家 按相近领域将实验室分组，每组15名通信评估专家
7 队伍建设与运行情况的现场评估 4月 评估机构
评估专家 每组5-7名专家，主要选自通信评估专家
8 实验室总体情况的综合评估 5月 评估机构
评估专家 30名左右专家，主要选自现场评估专家
9 提交评估工作报告和必要的附件材料 5-6月 评估机构 包括评估方案、评估结果、状况分析、建议等
10 审核评估报告，确定并公布评估结果 7月 科技部 
11 评估结果的公示 8月 实验室
或个人 提供必要的证据
12 评估结果异议的处理 9-10月 科技部 

2、评定等级、统计方法及评分表设计
评估等级。通信评估、现场评估和综合评估中的评估等级分为优秀、良好、一般、较差等四档。在实际操作中，按照十个等级进行评分。具体见表9。
表9、对评估等级进行加权求和的换算关系表
评估等级 优秀 良好 一般 较差
代表符号 A+ A A- B+ B B- C+ C C- D
换算方案 3.3 3.0 2.7 2.3 2 1.7 1.3 1 0.7 0

统计方法。通信评估、现场评估和综合评估中的评估结果统计可同时采用两种方法。（1）简单统计各档的数量，如5A3B1C，可以看出专家意见的一致与否。（2）去掉最高值和最低值，进行加权求和计算平均值，可以进行单项和总体结果排序。评估等级的换算关系见表9。根据专家数量的多少，通信评估、现场评估和综合评估中的评估结果统计可分别去掉2个、1个、3个最高值（最低值）。
评分表设计。通信评估、现场评估和综合评估的评分表设计分别见表10-12。建议实行记名评估制度，每位专家在自己的评分表上签名，不仅可以增加评分的严肃性，而且可以对专家的评分进行分析。在通信评估和综合评估中，对评估等级为优秀和较差的实验室（指标），专家必须在表格中给出主要理由。在现场评估中，针对评估等级为优秀的指标，专家必须写明实验室的主要优势与特色；针对评估等级为较差的指标，专家必须写明实验室的问题与不足。