科技教育经济社会计量评价的几个原理问题探讨

谷兴荣 陈 延

第 1 期 2007 年 3 月 评价与管理

摘 要 对科技教育经济社会等复杂或模糊现象的评价的基本原理和基础理论进行了探讨。首先把社会领域的数量关系概括为事物之间的大小多少强弱关系、 非因果性历史规律关系、 相关及因果关系 3 种。计量评价揭示第一种关系,是基础; 其次讨论了计量评价的历史与现状、 计量评价理论的构成, 同时讨论了数量指标、 质量指标、效益指标、 综合指标依次包含而不可代替的关系, 以及如何运用现代数学方法进行测度;最后讨论了计量评价的指标选择、 分类、 建模以及评价结果检验的数学规则与方法。

关键词 科技教育经济社会; 计量评价; 原理

科技教育经济社会有关部门都是自成体系的复杂系统,对这些系统的计量评价早已普遍展开,并出现了一大批评价机构与人员, 出版了大量的论文著作,但由于缺乏应有的理论基础与依据,也存在不少问题。本文力图从计量评价原理这个根本性的问题入手进行初步探讨。

1 引论

科技教育经济社会计量评价原理研究的由来与基础有以下几点。

1. 1 计量评价是社会计量分析理论的三分天下之一,问题重要社会科学领域的理论多种多样,按学科数量而言,少说也有好几千门,笔者在对科技教育经济社会的计量研究中发现, 整个社会科学乃至自然科学讨论的客观对象,无非是揭示事物与事物之间的关系。这些被揭示的数量可以归结为三大类。( 1)事物与事物之间的大小多少强弱相比较而得出的指标值的关系, 是某阶段不同事物发展状态的指标比较关系。( 2)事物自身随着时间的推移而形成的非因果性时序关系,即人们常说的历史规律的计量表述。( 3)事物与事物之间在运动变化中的相关关系与因果关系是最复杂的关系,也是讨论得最多, 在理9* 本文是谷兴荣!科技教育经济社会的计量评价原理∀一书中的创新性观点简析。论体系中占比重最大的科学。所有的基础理论科学( 不包括技术与方法性科学)所讨论的计量分析内容都没有超出这三者的范围,任何一个学科都是研究这三大关系之中的一部份内容。这三大关系都可以用数学方法表述出来。计量评价要讨论的是第一种关系, 即给出评价对象的数量多少、 规模大小、 水平高低、 能力强弱、 影响大少、 发展速度快慢等等。它是研究客观世界的三大关系之一。在这三大关系研究中, 事物的计量评价关系研究是基础。因为事物的时序关系( 历史规律) 是事物状态(计量关系)的变化过程与变化规律, 通过状态数据的变化体现出来, 没有事物在各个时点上的状态数据,便无法定量讨论事物发展的过程与规律。事物的相关关系与因果关系的定量分析也要建立在统计评价数据的基础上, 没有数据作基础的相关分析,因果分析就成了无源之水,无本之木。需要说明的是因果关系与相关关系两者之间是程度上的差别,因为相关关系也是部分程度的因果关系。由此可见, 我们要进行规律分析、 相关分析、 因果分析,必须先了解不同事物的各自状态,从各自状态在相互运动中发生的变化, 来分析他们之间的连带关系,如果各个事物的状态数据都没有,便不能分析事物之间的因果关系与相关关系。因此, 事物的状态计量与评价是关于事物的一切分析的基础, 没有事物的状态计量就没有其他定量分析, 可见其地位是多么重要。

1. 2 计量评价的历史现状与需要解决的几个问题正因为社会领域的计量评价如此重要[ 1], 所以这方面的探索有着较长的历史、 较多的成果、 较大的规模。美国早在 20 世纪初成立国会服务部( CRS) ,直接针对各委员会及议员们提出的各类问题进行研究分析与评价, 其中与科技有关的分析与评估即可认为是评估的雏形。经过近百年的发展, 该项工作在美国已成为制度化、 经常化的工作,并建立了科技教育经济社会评价支持系统。法国、 德国、 加拿大、日本、 丹麦开始于20 世纪的 40~ 60 年代; 瑞士、 瑞典、 英国、 澳大利亚、 韩国开始于20 世纪80年代; 西班牙、 新西兰、 泰国开始于20 世纪90 年代。基本效仿美国开展科技教育评比活动的国家有瑞典、 德国、丹麦、 荷兰、 澳大利亚; 部份借鉴美国科技教育评估的国家有瑞士、 匈牙利、 墨西哥、 俄罗斯等。日本的科技教育评价开始于 20 世纪40 年代的日本科技审议制度,到90年代已形成了完善的开放型研究评价体制,增加了科技教育评估的透明性、 公开性,使科技教育经济社会的评价发展到了一个新的阶段[ 2]。现在世界各国对科技教育经济社会复杂关系的计量评价都已形成了自己的方法与步骤。由定性分析转向以定性分析为基础, 定量分析为手段,采用定性与定量相结合的方法, 也有以定性分析为主的国家。美国、 法国、 日本等国家的评价采用定性与定量相结合的方法,英国、 瑞士的评价以定性为主,瑞典基本上是定性分析。科技教育经济社会评价已形成了一个庞大的组织机构体系。概括起来这些机构已有两种属性(政府性的和非政府性的) 和三个层次( 国家级、 地方或省级、 科研院所高校级)。由于各国从事科技教育经济社会计量评价的历史背景不同等诸多原因,组织机构的设置和作用也有所差别, 美国、 法国、 英国、 澳大利亚、 马来西亚等国家的评价组织机构的设置都相当建全,两种属性和三个层次的机构并存,所不同的是日本高层的评价机构较多, 欧美则较少[ 2]。科技教育经济社会计量评价至今还存在不少问题,其中有些还是根本性的,非解决不可的问题。主要表现在缺少系统的科技教育经济社会计量评价的理论基础;评价的主观性、 经验性太强, 而科学性太差;评价的组织者不规范; 评价的内容较紊乱;评价的数据源多种多样;评价的发布方式参差不齐等[ 3]。

1. 3 科技教育经济社会计量评价理论的构成科技教育经济社会计量评价的基础理论体系的构建是一个重要问题, 方法研究较多,对基本原理的研究较少。因此, 构建计量评价学的基础理论体系还不成熟[ 4];但与评价相关的统计学、 数量经济学等学科则较成熟。笔者在这方面作了一些不成熟的构想,提出了自己的见解。( 1)提出科技教育经济社会计量评价理论由总论与各论两部分构成。总论包括两大块理论,即各种评价都需要运用的最基本的4 大评价指标( 数量指标、 质量指标、 效益指标与综合指标) 理论和评价过程中的4 大关键环节,即指标选择、 指数分类、 指标建模、 结果检验的数学规则与方法。各论是把基本指标用于特定对象的评价。在总论中我们用4 大指标基本覆盖了科技教育经济社会评价中的全部内容, 在各论中, 有多少评价对象, 就有多少种评价。各论的计量评价方法体系要庞杂得多,但它们都离不开对 4 大基本指标的运用。现把各论分为两大块。#特定对象评价, 包括:区域评价10评 价 与 管 理(一个省、 一个市等的某一方面评价或几个方面的综合评价)、 部门评价(如工业评价、 农业评价、 教育评价等)、 单位评价( 如对一个企业、 一个学校、 一个医院等单位的评价)、 工作要素评价( 如职工队伍评价、经济状态评价等)。∃工作方面评价,包括工作水平评价、 工作质量评价、 创新程度评价等。总之,各论中的各种评价都是运用总论的理论与方法,结合实际进行的评价是应用性评价。( 2)提出科技教育经济社会计量评价的4 大基本指标的内在联系。认为科技、 教育、 经济社会的所有评价指标都可以按从简单到复杂的依次包含关系分为 4 个等级(或叫4 类) ,每个等级(每类) 又包含一些子指标。评价指标数量指标: 直接从评价对象中获取质量指标不考虑成本的: 成效数量指标活动主体数量规模指标主体活动的效能比较指标( 如引文频率)功能系数所得数据标高分析所得数据效益指标: 数量指标% 质量指标成本综合指标:数量指标、 质量指标、 效益指标、 能力指标4 者综合运算而得科技经济的评价也好,测算也罢,所有指标都包含在以上4 类指标之内, 它们4 者构成了层次分明、相互联系、 指标繁多的体系,覆盖了评价领域的各个方面。可见它们的关系如下。( 1)数量指标是直接从测算对象数出来的与量出来的单个指标。如一个地方的生产总值、 国民收入、 科技人员数、 科技经费数、 科技成果数等。( 2)质量指标是由两个以上数量指标而体现的,在数量指标的基础上得出一定规模的地方与单位的活动效果水平的大小,质量指标包含了数量指标, 如人均生产总值、 人均收入、 科技人员的人均受教育年数、 人均科研经费等等。由效能指标、 功能系数、 标高分析等方法解得的数据也是由两个以上数量指标结合计算而来的。( 3)效益指标是数量指标、 质量指标与成本的关系的体现。效益指标=数量指标% 质量指标成本指标由此可见, 效益指标既包含了数量指标与质量指标,又增添了成本指标,因而更复杂。(4)综合指标是近些年讨论最多的,但又是不明确的指标,现在看来它是由数量指标、 质量指标、 效益指标、 能力指标等4者所构成,并经复杂计算而得的指标。由以上可见,各指标的关系是从简单到复杂的关系,是依次构成和包含而不可替代的关系。

2 科技教育经济社会 4 大基本指标测评的数学原理笔者认为对科技教育经济社会4 大基本指标的评价,总的指导思想是远离主观意识, 贴近客观自然,在具体研究上找出科学的测度方法和计算方法,用科学方法代替经验方法。具体的创新性思考如下。

2. 1 科技教育经济社会数量指标评价的科学原理科技教育经济社会的数量指标是整个评价指标的基础,其他3 种指标都是在此基础上繁衍出来的。数量指标本身多种多样,有直观的、 有潜在的、 有明确的、 有模糊的。对于明确直观的数据, 直接统计即可,如人口数、 生产总值等。对于间接的潜在的数据,可以通过特定的测度方式或特定的数学转换方式把它测定出来,如统计学上的定类尺度、 定序尺度、 定距尺度、 定比尺度就很好地解决了一些问题[ 5]。对于模糊不清的数量指标, 一直是不能不面对的难题。过去大多采用人为的划等级赋值的方法处理,现有不少人提出用模糊数学的方法解决。但评价实践中很少有人运用这种方法, 问题是计算太复杂,不适用。这要求实际测评者有深厚的数学功底。笔者提出运用隶属函数和模糊判别的方法进行简化,得出步骤清晰明显的处理方法。( 1) 隶属函数的模糊事物截距方法。首先要明确两种不确定性, 即评价对象论域U 到[ 0, 1] 上的映射是反映客观事物的复杂性, 而概率论中从事件集合到[ 0, 1]上是反映客观事物的随机性,但两者都具有不确定性。隶属函数的方法就是在复杂的不确定性事物的[ 0, 1] 范围中, 找出其临界值, 在之上为1, 在之下为 0, 使不确定的模糊数字变成了精确的定量的概念。( 2)模糊识别与科技教育经济社会的数据测度方法。对评价对象的某些数量特征模糊, 有明显层级性,但无精确数据,如人的能力大小、 水平高低等。要转化为精确数据,运用模糊识别的方法,通过建立模糊向量及其内积外积、 笛卡儿乘积、 贴近度等途径,采用最大隶属原则、 择近原则等方法抽取事物的数量指标。( 3)理顺了不同的繁多的数量指标,并进行分类构建。首先分为总量指标、 相对指标、 平均指标、 内在差别指标等4类,每类再细分,由此形成体系。11谷兴荣等:科技教育经济社会计量评价的几个原理问题探讨

2. 2 科技教育经济社会质量指标的评价原理科技教育经济社会质量指标是测度其评价对象内部和不同评价对象之间的能力价值内涵的指标,它是由两个有联系的数量指标进行对比而产生的。另外,两个有联系的质量指标对比也产生新的质量指标。把物体的变量(数量指标)与体积(数量指标)对比得出比重( 质量数据) ; 把受不同教育程度的人(质量指标)与相应人口数(数量指标)对比得出人口文化程度构成的质量指标, 质量指标的高低与总体范围与规模没有直接关系。对质量指标的测度有直接测评法,如衡量论文著作质量被引频率的测度、 单位生产水平的无量细化测度。因为现在评价质量指标最常用的方法还是数量指标乘权重。过去的权数多为主观赋给的, 现在要运用相对客观的数学方法。目前常用的有质量指标权数的模糊评价法、 质量指标权数的模糊关系方程计算法、 质量指标权数的矩阵向量评价法。通过直接测度法、 无量纲化测度法、 权数评价数学法等方法,基本上能给出有理论基础的、 科学的、相对客观的评价方法。

2. 3 科技教育经济社会效益指标的评价原理在科技教育经济社会计量评价中, 明确了效益指标的内涵,它与质量指标相比有共性也有差别, 共性是两者都表征着评价对象所达到的水平与能力,不同的是质量指标只考虑评价对象所达到的整体水平与整体能力, 而不考虑成本和投入,不考虑总成本与总收入的关系。近些年关于大学评价与排序, 绝大多数评价者只考虑了各高校在本、 专科教育上所达到的相关产出指标与拥有量, 各高校在论文、 著作、 科研立项、 获奖等达到的指标,不考虑政府与社会对各高校在投入量上的差别, 所以这只是一般的质量指标评价, 而不是效益指标评价。效益指标是考虑投入的,要把投入与产出联系起来分析。科技教育经济社会效益指标的计算方法, 总的指导思想同样是尽量避免主观感性的定量分析, 采用具备科学性的全面定量的评价方法。目前运用的方法有效益指标的直接比较计量方法、 多因素简易计算法、 量本利分析方法、 拓扑分析方法、 数据包络分析法,这些方法在!计量评价学原理∀等文献中都有详细的讨论。通过这些方法对科技教育经济社会进行评价既全面系统又较为彻底。特别是科技教育经济社会的拓扑分析方法是!计量评价学原理∀中首创的分析方法, 它包括了从一因一果到多因一果,再到多因多果的分析方法, 从线性变化关系到非线性变化关系的分析方法,从正常时期到非正常转化时期的投入产出分析方法。同时还都给出了详细的计算模型与检验方法。从这些模型特点出发,推论出了科技教育经济社会的关系和影响机制[ 6]。

2. 4 科技教育经济社会综合指标的评价原理科技教育经济社会综合评价的指标叫综合指标。综合评价是用得最多, 而评价的主观性太强。为了在综合评价中把主观经验性评价转变为科学客观性评价,笔者首先把综合指标看成由数量指标、 质量指标、 效益指标、 能力指标(也可把能力指标列入质量指标) 4 者所构成的综合体系。( 1)列出科技教育经济社会综合指标体系。该体系分为4 大部分,即社会发展指标体系、 教育发展指标体系、 经济发展指标体系、 科技发展指标体系。这是一级指标,还可从中划分出二级指标和三级指标。( 2)科技教育经济社会综合指标的功能系数评价法,即运用功能系数评价科技教育经济社会的综合指标的方法, 这是一套相对系统的方法。( 3)科技教育经济社会综合指标的模糊聚类评价方法,包括明确二元模糊关系等概念。( 4)科技教育经济社会综合指标联合概率评价法,也是!计量评价学原理∀中首次提出的方法, 即把各分子都看成各自的概率指标(各指标都有不确定性) ,各子系统的概率指标之间的关系我们称其为联合概率关系,这些都可以用数据表达出来,也可以用概率的方法计算总体结果。

3 科技教育经济社会评价的四大环节的处置规则在科技教育经济社会评价过程中, 有四大基本环节,这都是评价中的根本性问题,包括评价指标的选择标准和分类问题、 各评价指标之间在构成数学模型时的方法原则问题、 评价结果的检验问题等。能否提出科学的数学方法对此予以解决, 本文提出了一些新的思路与系统性方法。

3. 1 科技教育经济社会计量评价指标选择的数学方法与原则在科技教育经济社会的计量评价中, 往往有许多的相关指标,有的直接, 有的间接; 有的作用程度大,有的作用程度小。在评价中收集采用的指标越多,所得结果越准确,但计算的工作量则越大。如何既把主要指标不遗漏地收集进来, 又把作用稍次的指标放弃,这就需要对指标进行科学的选择。在该12评 价 与 管 理领域用得最多的是温伯格的科学评价指标选择准则。基本要点如下。( 1)要回答的问题: 开展哪些研究是更合适的?该领域科学家的研究能力如何?( 2)外部准则:包括技术价值、 科学价值、 社会价值。根据其价值大小,确定临界值进行选择。( 3)内部准则: 包括研究方向选择的正确与否;研究主体的研究能力如何? 技术研究本身所达到的高度如何?根据以上几个方面给出的指标, 采用数学方法得出评价标准, 进行判断选择。

3. 2 科技教育经济社会评价指标分类的依据与方法科技教育经济社会评价指标的分类,过去是凭主观经验进行, 现在要用数学依据事物间的相似性作为类层划分准则对评价指标进行区分和分类。因此,属于无监督分类的范畴,在分类过程中人们必须先给出一个分类标准, 分类分析能够从样本数据出发,自动进行分类。分类分析所使用的方法不同, 常常会得到不同的结论; 不同研究者对于同一组数据进行分类分析, 所得分类数也未必一致。( 1)层次分类及Q 型聚类与R 型聚类。层次分类是根据评价指标之间的亲疏程度,将最相似的对象归类在一起, 以逐次归类的方式将评价指标分类,直到最后所有样本都聚合成类, 分为Q 型聚类与 R型聚类两种形式。前者使具有共同特点的样本归在一起,以区分不同类的样本,后者是将具有共同特征的变量聚在一起,以便从不同类中分别选出具有代表性的变量作分析, 从而减少分析变量的个数[ 7]。( 2)指标的相似程度测量。有一个测度方法, 即对一群有待分类的指标标志值用P 个变量描述, 则每个样本点可以看成是 R 空间中的一个点。因此在数学上可以用& 距离∋来测度标志值之间的相似程度,即最短距离法与最长距离法[ 8]。

3. 3 科技教育经济社会评价指标的综合建模方法与规则科技教育经济社会的评价过程始终离不开建模,将复杂样本的模糊数据转化为精确数据, 要建模测算。将不同数量指标转化为质量指标, 将数量指标与质量指标转化为效益指标,将数量指标、 质量指标、 效益指标等概括为综合指标,每一步都离不开建模测算。建模是根据评价目标、 各指标之间的关系来构建的。在数学上建模有以下基本规则。( 1)加法规则: 根据评价的需要与数据的可能,采取直接相加或加权平均等方法测算的基本规则。其中各项指标可以线性地互补, 一项指标得分低,哪怕为0,其他指标得分高,其总评价值仍较高。( 2)乘法规则:有自己的建模测算方法,这种方法主要应用于要求各项指标都取得较好的水平才能使总的评价较高, 只要有一个指标低,总分就低。如有一个指标为0,不管其他指标多高,总分便为0。( 3)其他规则:除上述两种常用规则外,还有比率法、 乘除法、 功能系数法、 主次兼顾法、 指标规划法、 指标分层法等,各自都有自己的建模规则与适用范围[9]。

3. 4 科技教育经济社会评价结果的检验与控制科技教育经济社会的计量评价结果如何,需要检验。包括评价的基本问题,有技术性问题分析、 社会性问题分析、 评价结果的偏差程度测评、 评价偏差的有效性检验、 评价偏差的控制等[ 10]。笔者在!计量评价学原理∀中有详细的论述。以上讨论的都是总论的内容,需要说明的是,科技教育经济社会的计量评价是从特定的评价对象的研究开始的,也就是从各论的内容开始研究的, 至今仍是研究最为活跃的领域,笔者在论著中也讨论了某些内容。如从效益指标延伸出来, 对科技的经济贡献率的评价问题; 从质量指标与效益指标中延伸出来,对高校教育的评价;从效益指标与综合指标延伸出来,对区域创新的评价等等,在评价方法上提出了一些新的方法。

参考文献

1 张其瑶. 没有科学评价就没有科学管理. 评价与管理,2004( 4) : 622

2何汶.国际评估概述. 评价与管理, 2005( 1) : 743

3何汶.我国科技评估发展现状. 评价与管理, 2004( 1) : 454

4吴钢.现代教育评价基础. 上海:学林出版社, 2002: 235

5谷兴荣.科学技术管理的基本原理.长沙: 湖南科技出版社, 2002: 2196

6谷兴荣.科学技术发展的指标、 模型与推论.评价与管理,2006( 1) : 137

7 孙东川,杨立洪, 钟拥军.管理的数学方法. 北京: 清华大学出版社, 2005: 2838

8谌红.模糊数学在经济管理中的运用. 武汉: 华中理工大学出版社, 1993: 669

9庞景安.科学计量研究方法论. 北京: 科学技术文献出版社, 1999: 6410

10钱在森.普通教育评价原理与方法. 沈阳: 辽宁大学出版社, 1992: 84