第一资讯站［摘 要］2020年U.S.News数学学科排名，曲阜师范大学领先北京大学，引起舆论关注。本文以此为例，分析四个主流高校排行榜排名的特征和局限性，提出新时代学科评估应提升客观评价的精准程度；充分考察人才培养的能力、水平和效果；提升科研产出的精准评价；保证数据的客观性、准确性、时效性和全面性。
2020年U.S.News的数学学科排名中，曲阜师范大学名列国内第一，领先北京大学，引起关注。曲阜师范大学数学学科水平自然不容小觑，领先北京大学被质疑也属正常。值得关注的是学科评估的科学性和客观性，及对世界一流学科建设的导向。通过分析U.S.News学科评估指标体系和公开的两校科研产出大数据，可以一窥其中究竟。
在世界知名的四大学术排名指标体系中，QS世界大学排名考察的办学指标主要是6项，其各自占比为：学术声誉（40%）、雇主声誉（10%）、师生比例（20%）、师均论文引用数（20%）、国际教师比例（5%）及国际学生比率（5%）。ARwU世界大学排名考察的办学指标也主要是6项，其各自占比为：获诺贝尔奖和菲尔兹奖的校友折合数（10%）、获诺贝尔奖和菲尔兹奖的教师折合数（20%）、高被引学者数（20%）、N&S（即《Nature》和《Science》）论文数（20%）、国际论文即SCI&SSCI收录论文数（20%）及上述5项指标得分的师均值（10%）。THE世界大学排名考察的办学指标主要是5项，其各自占比为：教学（30%）、研究（30%）、引用（30%）、行业投资的研究收入（2.5%）和国际展望（7.5%）。U.S.News的指标体系分成了三类13项（详见表1），其实质为两类，即声誉与学术出版物（其第三类“科学成就计量指标”也是基于论文的数量与引用率）。
各指标体系相比，U.S.News和ARwU聚焦科研，U.S.News基于出版物的客观计量指标占比75%，ARwU全部采用客观计量指标，主要考察高层次人才占比和高水平学术论文数。QS和THE兼顾教学和科研，QS主观评价（社会评价和同行评价）占比较重，达50%，THE指标较为全面和均衡。
综上，U.S.News聚焦高校科研产出进行评价，主要基于学术出版物及被引用情况开展数量指标计量。出版物达到一定学术认定水平，一般为无差别计入，尚不能进一步区分科研产出的质量。
细看北京大学优在何处
曲阜师范大学“量”领先，北京大学“质”占优。两校U.S.News总评为80.2分和78分，由分项排名（见表2）可见。
曲阜师范大学在会议论文和专著的出版数量、总被引用次数和平均被引用次数、国际共同作者论文相关两项指标等六个分项中，三项名列第一，另三项各名列第二、第三、第四。这些计量指标，都是数量指标、非竞争性指标，纳入计量样本的门槛相对不是很高。在竞争性的两项声誉指标中，北京大学明显领先；“引用率前10%的出版物数量、引用率前10%的出版物数量占总出版物的比例、学术论文出版数量”，这三项对出版物学术质量抬高门槛的指标，北京大学领先。
北京大学顶刊发文遥遥领先。按照学术界共识，影响因子10以上为世界顶级刊物。曲阜师范大学在影响因子10以上世界顶级刊物发表的论文总数仅为26篇，且在15以上顶刊没有文章；北京大学在影响因子10以上顶刊发表论文总数为156篇，其中15以上有83篇。两校数学学科在学术顶层的比较，北京大学占有绝对优势。
北京大学学术出版物主要是被国外、校外的一流学术机构引用。北京大学被国外引用占比63%，曲阜师范大学是30%；北京大学被校外引用是84%，曲阜师范大学是66%；北京大学被非本学科引用占比57%，曲阜师范大学是42%。两校TOP10引用机构的平均被引量，曲阜师范大学为456次，北京大学为583.7次，差距不大，但是从引用机构在QS排行榜中的排名看，引用曲阜师范大学学术出版物前10位的机构依次为：广州大学、山东科技大学、上海师范大学、江南大学、科廷大学（QS排名217）、阿卜杜勒阿齐兹国王大学、南京信息工程大学、西南师范大学、东南大学（QS排名493）、华南师范大学；引用北京大学学术出版物前10位的机构依次为：北京应用物理与计算数学研究所、清华大学（QS排名15）、新加坡国立大学（QS排名11）、北京师范大学（QS排名279）、复旦大学（QS排名34）、中国科学院大学、上海交通大学（QS排名47）、中山大学（QS排名263）、宾夕法尼亚州立大学（QS排名101）、厦门大学（QS排名432）。引用曲阜师范大学的机构基本未上排行榜，引用北京大学的机构基本在排名前300，约一半排名在前100。
曲阜师范大学小团队互引比例畸高。根据大数据分析，曲阜师范大学数学学科内部小团队互引较普遍，且互引占比较高，平均互引达34%，大数据分析一般团队内部互引比例为10%-20%，北京大学是16%，且北京大学内部互引基本以大团队互引为主（见图1、图2）。使用CA+指数消除无效引用后，北京大学相关人员排名基本稳定，曲阜师范大学相关人员排名相对于H指数排名大幅退后。
U.S.News指标体系有待优化
基于大数据分析发现，曲阜师范大学的学术出版物及一般引用数量较多，但发表或引用的平台的影响因子远低于北京大学，差距主要在高被引上。以两校被引数最高论文为例，曲阜师范大学例文的引文没有一篇刊发在影响因子大于10的期刊上，而北京大学例文有111篇。由此可见，实际上U.S.News对于来自影响因子30+和10-期刊的引用并不有效区分，这显然是欠科学和客观考虑的。
前文提到的曲阜师范大学小团队互引畸高的问题，暴露出U.S.News对引用的“质”和“量”没有有效区分。此外，引用曲阜师范大学论文的机构在QS排名中靠后或者没有排名，但没有区别对待，北京大学虽多被全球一流高校引用，却没有被有效区分。
概括地说，U.S.News基于学术出版物及引用的粗线条的客观数据计量，可以大概勾勒却难以精准评估一项科研产出、一个人、一个学科、一个学校的学术水平和排名。
当前，争创世界一流大学和世界一流学科成为中国高等教育领域标志性的目标和任务。高校学术评估的科学性、客观性、引领性，尤显重要。新时代学科评估应充分依托信息技术，特别是大数据技术和人工智能技术，聚焦解决以下问题：
一是如何消除主观评价的非理性干扰，提升客观评价的精准程度。声誉类主观性指标在学科总体性评价中被认可度较高，但难免因样本人群的非学术因素产生偏差，且存在一定滞后性。目前常用客观性指标难免因数据覆盖和模型表达的局限性产生类似本文案例的总体性偏差。基于大数据和人工智能技术，通过同行专家和特定领域代表人群参与，扩大客观评价的大数据有效覆盖，迭代优化计量模型，将主观评价与客观评价有机融合，可能为此问题提供解决思路。
二是如何充分考察人才培养的能力、水平和效果。高等教育的核心任务是人才培养，U.S.News居然没有纳入考察，也是出现本文案例中偏差的重要原因。ARwU计量了校友获奖等个别指标，THE和QS计量了生师比等结构指标，都缺乏整体考察。基于大数据和人工智能技术，通过对校友一定阶段内就业、薪酬和成就进行整体性考察，总体性综合性评价高校人才培养质量，已经成为可能。
三是如何提升科研产出的精准评价。不唯论文不是不关注论文，而是不简单计量论文的数量，要精细化考察论文的质量。通过考察论文刊发平台的影响因子、论文引用者的关系、论文引用者水平、引用期刊的影响因子、论文学术领域特征等，综合赋权论文的学术价值。同时考察作者相关的有价值专利、学术会议影响、合作者影响、学术领域影响等，大数据和人工智能技术产生为此提供了可能。
四是如何保证数据的客观性、准确性、时效性和全面性。目前国内体制内学科评估主要通过被评估者申报数据，很难有效实现上述标准。例如，某校数学学科申报参与评估的学者是四十人，而通过信息技术获得该校数学学科的科研产出达到一定水平的学者有上千人，包括博士后、参与科研的访问学者等，也包括人事关系隶属本校其他学院的学者。显然，将其全部纳入可以更加全面、客观反映该校数学学科的学术能力和水平。
综上，大数据和人工智能技术可以给信息时代学科评估和学术评价提供新的范式，以一场新的革命，尝试解决之前无法解决的问题。
【作者单位：李永智，上海市教育委员会；江明，上海市教育人才交流中心；谷俊，上海柏观数据科技有限公司】
原载2020年第24期《中国高等教育》杂志
