资料来源：中国社会科学网
原名：准确评估学术成果的社会影响
教育部发布《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》明确指出“注重论文、著作、决策咨询报告等代表性成果的政治地位、理论创新、学术贡献和社会影响”，把学术成果的社会影响放在更加突出的位置。与学术影响力相比，学术成果的社会影响力更为广泛。一般来说，社会影响是指学术成果对经济、社会、文化、公共政策、公共服务、医疗、环境或生活质量的影响或效益。社会影响力评估有助于全面评估学术成果的影响力，引导科学研究关注社会关注的问题，提高公众对学术成果的理解和应用，构建有中国特色的学术评估体系。
我们必须清醒地认识到，社会影响力评估比学术影响力评估更复杂，其实施更具挑战性。首先，社会影响的多维性导致追踪和归因困难。不同用户使用学术成果的渠道是多维的，这些渠道难以全面跟踪。潜在的结果是，只选择容易获得的通道进行评估，从而产生偏差。学术成果对社会的影响过程复杂，很难将其归因于具体学术成果的贡献。因此，学术成果的社会影响具有复杂性、非线性和不可预测性。其次，社会影响力的滞后难以满足学术评价的时效性需求。学术评估的目的是指导科学决策，这就要求评估工作及时进行。学术评价的长度取决于学术成果的复杂性，但滞后评价结果的实用性将大大降低。此外，社会影响容易受到社会因素的影响。学术成果产生的社会影响是偶然的，不同机构对研究的重视程度不同，必须充分考虑不同类型的研究；学术成果的社会影响不是价值中立的，不是由成果的内容直接决定的，而是与包括研究人员的晋升在内的多种社会因素有关。因此，要准确评估学术成果的社会影响，必须注意至少两个方面的结合。
第一，倡导结果评价与过程评价相结合。学术成果的社会影响评价应兼顾结果评价和过程评价。结果评价提供了坚实的评价基础，过程评价弥补了结果评价的“失败”地带。因此，评估科学研究的社会影响是一种常见做法。评估影响的常用方法是将学术影响的结果整合到社会影响的框架中。根据学术成果从学术界流向社会的过程，可分为研究课题识别、研究投入、研究开发、直接研究成果、间接研究成果、研究成果采纳和社会影响七个阶段。根据学术成果产生的效益维度，可分为五个方面：学术效益、未来研究和能力建设效益、政策服务和产品开发效益、部门效益和更广泛的经济效益。从而实现对数据、质量、效果、效率和社会满意度的评价，但在实际操作中存在一些问题，如归因、时滞、多因素影响等。
过程评价强调科学研究的社会影响是一个知识转移和转化的过程，是对结果评价的重要补充。过程评价通过跟踪科学研究对象与其他社会主体之间的合作与联系来评估科学研究对象的社会影响。Siampi模型是过程评估的典型代表。它将科研主体与其他社会主体之间的有效互动分为直接互动、间接互动和财务互动。直接互动包括面对面、电话、电子邮件和视频会议。间接互动包括研究人员利用文本、展览、模型、音频、视频等载体与其他社会主体建立联系，如在新闻中报道学术成果、在政策文件中引用学术成果、在科技展览中引用学术成果。财务互动包括签署研究合同、提供财务支持、共享设备等，通常伴随着直接或间接的互动，但通常会对研究活动产生更强的反馈。
二是坚持定性评价与定量评价相结合。在构建具有中国特色的学术成果社会影响评价的过程中，中国可以借鉴一些发达国家的经验，充分考虑自身的需要，坚持定性与定量相结合的评价原则。一方面，建立标准的案例研究报告规范。案例研究是衡量学术成果社会影响力最重要的定性评价方法。评估人员通过案例展示他们在社会影响方面的成功故事或实践，专家评审组将对这些案例进行审议。以英国在这方面最成熟的科研卓越框架为例，该机构提交的案例包括五个部分：总结、相关学术成果描述、参考文献、影响力以及与影响力相关的支持证据。标准案例报告规范的建立将有助于提高案例审查的效率，整理和积累案例数据，为进一步挖掘和分析提供依据，促进社会影响评估的智能化。由于学术同行专家很难衡量学术成果的社会影响，行业专家可被视为评估小组成员。案例研究的优势在于，它可以提供丰富的方式来展示学术成果的社会影响力，适用于所有学科。然而，案例研究的成本很高，这增加了审查者和申请人的负担。案例研究的结论不规范，难以推广，不能相互比较，不能直接反映投资回报。
另一方面，探索建立科学的量化评价指标。定量评估指标是定性同行评审的有力补充。在评估学术成就的学术影响力方面，已有成功的实践。相关经验可为构建社会影响力定量评价指标提供参考。各国在评价实践中积累了许多优秀的量化评价指标。专利引用和临床医学指南引用是两个被广泛接受的社会影响评价指标。例如，澳大利亚科学研究卓越评估框架中使用的定量评估指标包括专利引用、植物育种者权利、注册设计和学术成果的商业化收入。近年来新兴的替代计量学研究为社会影响评估提供了新的工具。社交媒体、新闻报道、政策文件等都提到了学术成就。讨论的数据已被系统收集。基于这些数据的一些替代性衡量指标已被机构采纳，作为显示社会影响力的证据。定量评价指标的优点是成本相对较低，可以实现横向比较的标准化和聚合化。但是，我们必须充分考虑学科差异，并用指标来确定相关领域。在多维性和可行性之间难以实现稳定的量化评价指标，并且存在着作为指挥棒的疏远风险。
（余厚强，作者：中山大学信息管理学院）
主编：女王
最新评论