时间:2014-08-19 编辑整理:早检测网 来源:早检测网
近年来, 作为管理改革的一个方面, 学术评价的量化管理被引入了许多高等学校和研究机构。它们纷纷公布了本单位认可的各学科的重要期刊表( 或核心期刊表、权威期刊表、优秀期刊表) , 根据发表论文的期刊在该学科领域的质量( 重要程度) 予以论文不同的权重( 分值) , 作为确定专业人员职务聘任、晋升、评奖等所依据的一项重要指标, 旨在鼓励撰写高质量的论文, 扩大论文影响面, 减少论文评价的主观性和随意性, 提高评价效率。此举在国内学术界和教育界引起了强烈反响, 赞同者与反对者皆有之。从争论双方发表的文章看, 其分歧主要在以下问题上: 论文的质量是否就是刊载这些论文的期刊的质量? 文摘量、引文量、影响因子能否判定论文的质量及刊载论文的期刊的质量? 核心期刊与重要期刊、优秀期刊、权威期刊、知名期刊是什么关系? 要不要对学术期刊进行评比,怎样评比, 指标有哪些? 探讨并解决这些问题, 对于我国学术研究和学术评价的健康发展, 不论在理论上还是在实践上, 均有十分重要的意义。
学术论文是专业人员发表研究成果的主要方式, 因而其发表论文的数量和质量就成为衡量该专业人员的研究能力、学术水平和贡献的重要的指标。论文的数量很容易度量, 论文的质量则较难评价。评价论文的质量, 最可靠最直接的做法当然是同行专家评审该论文本身, 任何其他的评价都无法完全代替这种方法。但显然不可能对每一篇论文都组织同行专家进行评审) ) ) 代价太高, 难以实行, 然而, 论文在某一期刊上发表时, 都要经过编辑部的评审, 质量越好的期刊, 评审制度往往越严格。因此, 实际上是发表该论文的期刊代行了一定的评价职能; 从理论上说, 审稿制度越严格的期刊, 其对发表论文的评价性越强。此外,如果某种期刊以往刊载的好论文比例大, 那么这种期刊就会在该领域建立起一定的名望, 也就具有了一定的评价功能。比如在5Nature6、5Cell6、5中国科学6或5中国社会科学6这些权威期刊上发表的论文, 一般说来, 其质量高于一般性期刊上的论文, 正如名牌大学的毕业生通常好于一般大学的毕业生一样。从这些方面上说, 论文评价与期刊评价是有关系的。完全否认二者的联系, 把它们对立起来是不恰当的。但是也不能把二者的联系绝对化, 不能用期刊的评价完全代替其所发表论文的评价, 不能认为凡质量好或名望高的期刊上的论文篇篇都是好论文, 都好于一般期刊上的论文。期刊的容量毕竟有限, 即使是核心期刊, 也不能囊括所有的好稿, 由于各种各样的原因, 有些高质量的论文也会出现在一般期刊上。况且, 一些新兴学科、交叉学科、边缘学科的论文, 由于其学科的特点, 也常常会发表于非核心期刊上。此外也应看到, 在物欲横流的今天, 学术界也有不能免俗之处, "人情稿"、"照顾稿" 已非鲜见。总之, 期刊的质量只能作为评价其所刊载论文质量的参考, 不能简单化地将二者等同起来, 不应只认可核心期刊而排斥非核心期刊; 在论文质量与期刊质量不一致时, 应首先注重论文的质量, 这里有个主次的问题, 不能并列, 更不能颠倒。
文摘量是指期刊发表的原创论文被文摘期刊进行选择、评价、撰写文摘或收录原文摘的数量。文摘率则是指某刊在某年度在某学科内被摘的篇( 次) 数与该刊在某年度刊载该学科论文的篇数之比。国内外一些知名的文摘期刊, 如美国的5化学文摘6、5历史文摘6、5中国社会科学文摘6, 其编辑和文摘员通常都是该领域的专家或具有博士学位的人员, 一篇论文是否被摘, 要经过这些专家的阅读、分析和撰写摘要, 实际上是经过了又一次评价, 并非有文必摘。笔者之一曾多年担任美国5历史文摘6的编辑顾问和文摘员, 对文摘收录的情况较为了解。因此可以说, 比较正规的文摘期刊的文摘量和文摘率, 对论文及其期刊具有一定的评价作用。论文或期刊被摘量大、被摘率高, 一般说来, 影响力较大、质量较高。当然, 由于各种期刊的性质、范围不同, 文摘员选择的标准不同, 或可供选择的论文和期刊不同等原因, 不能绝对地说, 未被摘或被摘量小的论文和期刊质量一定不高。引文情况更是如此。期刊引用量是指某刊的论文引用其他期刊的论文的次数。影响因子( Impact Factor) 是指某刊论文的平均被引率, 即某刊某年的影响因子等于该年引用该刊前两年论文的总次数与前两年该刊所发表的论文总数之比。影响因子可以消除因期刊载文量不同和质量不等的论文对期刊被引率的影响, 使各类型的期刊具有一定的可比性。一般说来, 引用量大、影响因子高的论文和期刊质量较好, 能在一定程度上反映论文和期刊的质量。对引用量、影响因子等数量指标的评价作用, 要实事求是地给予恰当的评价, 任意地夸大或缩小其作用都是不可取的。如有的学者认为, 影响因子是/ 衡量学术刊物水平的客观标准0、/ 可靠的客观指标0 ¹, 显然夸大了它的作用, 因为这些数据源、统计方法及引用的动机、轻重等相当复杂, 有些数据含有不少水分, 即使是信誉度较高的影响因子, 也有类似情况。由于5SCI6( 科学引文索引) 的5JCR6( 期刊引用报告) 没有明确规定/ 可引文献0, 有的编辑部在书评、编者按、会议报道等非论文中, 故意加上某些学术内容、关键数据等, 以供读者大量引用, 而SCI 或SSCI 在计算影响因子时, 并没有把它们包括在/ 可引文献0( 分母) 中, 导致该期刊的影响因子高涨º。正如5SCI6创始人加菲尔德( Garf ield) 告诫的: / 我们总是应当强调,当使用引文数据来评价任何事物时, 对引文数据的解释一定要小心, 清醒地认识其局限, 例如, 不同学科之间与同一学科之内, 作者数与期刊数会有很大差别, 作者与刊物的引用水平与引用率也随之不同, 像植物学和数学这些较小的领域产生的论文数与引文数都比不上生物技术与遗传学这样的学科。另外, 对于某些领域, 也许需要10 年甚至更长的时间, 一篇论文的被引次数才像个样子。而对于其他研究领域, 论文发表几年之后, 引用数就达到最高峰。0 但有的学者却认为, 文摘率、引文率很少或仅/ 有些0评价功能¹, 显然又低估它的作用。因为这些数据的水分毕竟是少数, 不能以偏概全。
利用引用量、影响因子等文献计量数据来定量地评价论文和期刊的质量, 在国外已有几十年的历史, 国内也有十余年的经验。总体看来, 国内外科技界对此接受度较高, 人文社会科学界对此争议较多。笔者认为, 单纯的定性评价, 有相当的随意性、主观性, 定量评价则较为客观、合理, 但也会有误差, 最为理想的方法则是将定量与定性有机结合起来进行评价。但从目前国内学术界、教育界和期刊界实际情况看, 在论文和期刊评价中确实存在过分依赖统计数据的倾向, 例如, 在期刊评价中, 文摘量、引文量、影响因子的权重过大, 应根据不同学科、不同领域、不同研究方向、不同类型的期刊、不同的文献统计源确定各项目的不同权重; 对那些通过不正当方式在重要期刊上发表的低质量论文应制定有效的措施,使其不能享受与该期刊中其他高质量论文的同等待遇, 同样, 对那些发表在非重要期刊上的高质量的论文, 也应给予与重要期刊上高质量论文的同等待遇。
核心期刊( Core Journals) 的概念最早产生于20 世纪30 年代的英国, 发达于70 年代的美国。核心期刊原本是文献计量学上的概念, 是指那些刊载某学科文献密度大, 文摘率、引文率、及利用率相对较高, 代表该学科现有水平和发展方向的期刊。学科性、集中性和代表性是核心期刊的三大特点。就是说, 核心期刊必须是某一学科较集中地刊载原创一次论文的学术性期刊, 文摘、索引等二次期刊文献及通俗性、科普性期刊不包括在内, 它必须有载文、被摘引、被利用的各种统计数据作为根据。确定核心期刊的本意并不是对期刊质量的评价, 而是对学科领域论文分布规律的揭示, 而有助于实际的期刊工作。因此, 严格说来, 核心期刊与重要期刊等是有区别的。然而, 近几年国内已从单纯地以统计数据来筛选核心期刊过渡到以定量和定性( 如专家评审) 相结合来筛选核心期刊, 如5中文核心期刊要目总览6、5国外人文社会科学核心期刊总览6、5国外科学技术核心期刊总览6等, 从而使核心期刊的概念超出了原本的涵义, 核心期刊的筛选越来越接近于从综合质量上评价学术性期刊, 核心期刊与重要期刊等的区别越来越模糊。以致各学术单位在学术评价改革中引入量化管理时, 往往从核心期刊表中依据专业范围、出版级别等具体情况抽取一些期刊形成/ 重要期刊0 表或/ 权威期刊0表, 加以公布。显然, 这里的/ 重要期刊0 等概念是不同于核心期刊概念的, 某些单位把/ 重要期刊0等直接称为/ 核心期刊0是不合适的。这种情况也带来了一些矛盾, 有人把在论文和期刊评价上的种种不正之风, 都归罪于/ 核心期刊0及其研究, 似欠公允; 有的编辑部由于所出版的期刊未被列入核心期刊表而懊恼、沮丧,甚至向编表单位兴师问罪, 实为误解。应该说, 我国广大图书情报人员经过十余年的辛勤研究, 在核心期刊筛选、利用、订购、协调等方面都取得了很大进展, 尽管还存在不足, 但对这些学术性的问题, 只能通过深入的探讨和争鸣来解决, 而不能采用行政命令的方式或其它非学术的方式。实际上, 目前关键的问题不是核心期刊等的名称问题, 而是学术期刊要不要进行质量评价、分等分级, 以及怎样评价, 如何制定指标及权重等的问题。如果这些问题解决了, 那么名称术语的规范问题完全可以根据大多数同行的意见, 通过约定俗成来解决。
目前世界上出版现期期刊约十五万种, 其中学术性及半学术性的期刊约八万种。国内现刊八千余种, 其中学术性及半学术性的期刊约六千余种。在如此众多的期刊中, 良莠不齐, 即使是SCI 收录的期刊, 其质量差别依然很大。按期刊的主管部门分, 国内期刊可分为中央级或国家级期刊和地方级期刊, 但这种根据行政管理机构来划分的期刊级别与期刊的质量没有直接必然的联系, 不能说中央级期刊的论文学术水平及出版技术水平一定高于地方性期刊。到目前为止, 国家没有一种从质量、学术等方面为期刊定级的规定。但没有这种规定, 并不是说国家不赞成对期刊质量进行评价, 恰好相反, 国家是鼓励评优分级的, 是鼓励创办/ 品牌0期刊的。我国有关部门曾明确指出, 为期刊的发展制定一种从质量、学术、技术水平等方面综合评价分级的规定或办法是必要的, 但这是一项非常细致、复杂、科学性很强的工程, 必须经过周密详尽的调查研究和学术论证,逐步开展和实施。确实, 对这些复杂的学术评价问题, 国家不必也无需仓促做出规定。近几年国家多次组织评选重点期刊、优秀期刊, 这就表明期刊是应该评优分级的。笔者也是赞成对期刊评优分级的, 其理由有:
1. 有利于学术期刊间的合理竞争和品牌期刊的出现
目前国内学术期刊, 总体上看, 精品不多, 不易产生规模效益, 也不利于在国际市场上竞争。评优分级, 优胜劣汰, 可尽快提高学术期刊质量, 创立品牌期刊。
2. 有利于指引期刊的发展方向, 提高学术期刊整体水平
通过评比, 各期刊社明确了好期刊的具体标准、指标、权重等, 可以根据这些具体明确的要求进行整改、努力, 从而提高办刊水平。
3. 有利于高质量论文的撰写
在质量高的期刊上发表的论文比一般期刊的论文可得到更多的读者, 进而产生更大的影响, 可以引导作者注重论文质量, 不单纯追求论文数量, 尽量减少低水平重复论文的撰写。
4. 有利于论文评价的客观性和评审效率
目前国内学术界的评职、评级、评奖等, 均要评审论文。当评审者不是某一学科, 或同一学科不同领域、不同专业方向的专家时, 往往很难对论文的水平做出客观、公正的评价。而学术期刊, 通过审稿制度, 在论文发表前, 由专家评判文稿的学术性、创造性及问题与不足, 一般说来, 只有那些有创见、有意义、可靠的论文才能发表, 质量差、或数据不确、论据不足的论文被拒之门外。越是质量高的期刊, 其审稿制度越严格, 因此, 在正常情况下, 那些公信度、学术地位高的期刊能为论文的学术质量提供一个重要的参考指标。
5. 有利于论文作者投稿
期刊评优分级后, 作者可以根据论文的质量和期刊的质量, 选择最恰当的期刊投稿, 以获得尽可能大的传播范围和影响力。
6. 有利于读者查阅期刊
对于任何学科的初学者或不熟悉某学科的读者而言, 可以根据期刊质量的等级有选择、有针对性地阅读期刊。即使是本学科的专家, 通过选择阅读, 可以节省查阅时间, 用最少时间获得最大信息量, 提高研究效率。总之, 根据国内期刊现状和学术现状, 对期刊评优分级是很有意义的, 至少是利大于弊的。如果要评价, 那么关键是如何评价, 如何把真正好的期刊评出来。
公正客观是整个评价工作是否有价值的最基本的要素。如果在这方面不能使人信服, 那么就不能达到评价的目的, 发挥评价的作用, 甚至还有相当大的负面作用。建立期刊与论文的评价标准和指标体系是个细致复杂而亟待完成的工作, 为了积极而稳妥地做好这项工作, 笔者建议:
1. 发挥各学科专家的群体优势, 共同参与、共同制定、共同遵守, 随着国内学术气氛、学术意识和学术自主性的增强, 各学科专家、学者和期刊界、图书情报界专家和科研管理干部应广泛参与, 全面总结国内外在核心期刊、期刊评价和论文评价等方面的经验与教训, 共同探讨, 力争在评价标准、指标、权重等关键问题上形成共识, 大家制定的/ 游戏规则0, 就为大家遵守这些规则奠定了良好的基础。由于各学科和各学科期刊具有不同的情况, 可以按学科成立期刊/ 审议委员会0。/ 审议委员会0的组成着重考虑/ 全面性0和/ 代表性0的要求, 各大学、学术机构按专业人员数分配名额。同时, 还可以向本学科广大专业人员随机抽样发放调查表, 了解专业人员对论文学术标准、要求、论文类型及学术含量度、项目、指标, 以及期刊评价标准、指标、权重、具体期刊分数、投稿期刊意向等情况。在这方面也可充分利用新的信息技术, 进行网上调查、评议、反馈的工作。
2. 从定量和定性两方面来评价期刊及论文实践证明, 仅从文摘率、引用率等文献计量统计指标定量的评价, 或光从专家意见等定性上来评价都有偏颇之处,唯有将两者有机地结合起来, 才可能建立较为公正、合理的标准。从美国及台湾地区的情况看, 基本也是遵循这种相结合的作法, 比如对法学期刊的评价, 主要从作者权重( author prominence) 、引用频率( citat ion count ) 、用途调查( usag e survey)、专家评分和编审制度来评价期刊。没有定量, 随意性、主观性太大; 拘泥于定量, 亦造成失真。比如, 期刊评比时的一、两分之差, 可能就是因为统计误差或缺少一、两个统计源等原因造成的, 非要把相差一两分的期刊比出个高低是很困难的, 因此最后期刊的排序, 最好分等按集团罗列, 对人文社会等不能完全量化的方面模糊一些, 也许会更公正、客观一些。
3. 根据各学科的学术环境及其期刊现况确定评价项目、指标、权重等各学科发展的不平衡, 导致各学科期刊发展的不平衡。活跃的学科, 研究人员就多, 相应地, 期刊就多; 有的较为成熟的学科或分学科已经形成了公认的高质量期刊,有的就没有; 有的可以借助于SCI 或SSCI 的来源期刊为标准, 有的却不能, 如此等等。因此评价项目、指标和权重的设计应考虑实用性、合理性的要求, 着重考虑期刊作为论文发表的功能, 与此功能关系不大的项目不作为评价指标, 如经营状况、编排形式、经费情况等。发达国家衡量期刊学术水平的评比标准一般是编辑严谨程度、审稿制度、被引用情况、读者用途、作者投稿取向、稿件来源广度、专家评价意见等。各项目下再分若干小项目, 并标明分数。如审稿制度项:
a) 所有稿件皆由编辑部以外相关专家两人以上且双向匿名审稿: 5 分
b) 所有稿件皆由编辑部以外相关专家两人以上审稿: 4 分
c) 所有稿件皆由编辑部以外相关专家审稿: 3 分
d) 部分稿件由编辑部以外相关专家审稿、部分稿件由编辑部人员依专长审
稿: 2. 5- 2. 8 分
e) 所有稿件皆由编辑部人员依专长审稿: 2 分
f) 所有稿件皆由编辑或主编或社长决定是否刊登: 1 分
g ) 来稿必登: 0 分
各个评比项目的重要性不同, 其权重亦不同。通过权重的调整, 可以平衡各项目的实用性和合理性等差异。根据各学科及其期刊状况, 同一项目的权重可以有所不同, 如在国外生物学期刊评比中, 被引用次数和影响因子通常被赋予较高权重, 但一些人文社会科学的期刊, 其权重就降低。台湾学人在评比法学期刊时, 审稿制度的权重为30% , 而被引用次数( 不是影响因子) 仅为5% 。
4. 建立论文评价的学术标准
虽然期刊评价可以建立期刊品牌, 使其具有评价论文学术水平的部分作用,但是, 由于各学科发展程度不同、各学科期刊的学术市场的完备性不一, 因此对有些学科和有些期刊来说, 完全依靠品牌期刊来评价论文的质量仍有不足。因此除建立期刊评价标准外, 还应建立或健全论文本身的评价标准。论文评价是/ 本0, 期刊评价是/ 末0, 前者比后者更重要。在设计项目时, 应区别各文章类型及其学术性的程度, 如, 理论性论文、应用性论文, 评论性论文、书评、讲演、介绍性文章等, 这些文献类型间的学术性, 一般呈阶梯式差别, 即有创见的论文学术性最高, 依次为应用性论文、比较研究论文、介绍性论文等。还应将各种类型的论文的学术性要素列出并给分, 不论何种类型的论文, 凡符合一个要素, 就给一分, 这样不论何种类型的论文, 只要学术性强, 都有可能得高分, 当然不同类型的论文在初始阶段上的得分不同, 如同体操、跳水比赛中的/ 难度系数0得分一样。论文发表后, 被译成他种文字、被转载、有严肃公正的书评、被有关部门采纳、被具有评价功能的文摘期刊作成文摘、被引用、被评奖等都是评价的标准。此外,读者的反馈, 同行的评论乃至争鸣, 也应是参考的因素。
5. 加强对评审人可信度的考核
不论是论文评价, 还是期刊评价, 都是由评审人进行的评价, 因此, 评价总是避免不了主观因素的。为此, 应对评审人的可信度加以考核。在正常情况下, 评审人与其他评审人评价的一致性越高, 则其可信度越高。在排除非正常情况后,可信度低的评审人应暂停或取消其资格, 以保证评价的公正、客观。中国社会科学文献中心研制的控制评审人可信度的方法可以参考¹。此外, 去掉一个或数个最高分和最低分的做法也是可取的。
评价是一种高层次的学术规范, 它对学术系统的运行起着关键性的控制和指挥的作用。论文评价和期刊评价是目前学术界和教育界普遍关心的课题, 它关系到广大专业人员的切身利益和学术的健康发展。任何评价都是相对的。在现有条件下, 只要学人群策群力, 善于总结, 纠正不足, 一定可以制定出相对公正、客观的评价标准和指标系统来。