本期沙龙以 “口译测评：人工和机器评分(Assessing interpretation: Human versus machine scoring)”为主题，阐述了口译测评的内容、历史、目的及场景，聚焦口译评分方法、近期研究进展和成果以及未来研究趋势，重点介绍了三种口译评估的范式，即人工评分、人机协作评分和机器评分及相关前期研究成果。

韩潮教授首先从与口笔译研究息息相关的概念“quality(质量)”入手，简要介绍了口笔译测评研究的发展和背景。韩教授将口笔译评估视作一个完整的循环周期而非单纯的“分数”产出，包括测试设计(test design), 测试开发(test development), 数据收集(test administration), 表现评估(scoring), 结果汇报(score reporting), 测试验证(test validation)六个环节。韩教授也表示，当研究者将口笔译质量测评看成是一个循环周期时(the assessment cycle )，关注点就会从某一个具体录音或文本的批判转换到广泛层面的质量评估，这种转换也对测试的信度(reliability)、效度(validity)以及实践性(practicality/efficiency)提出了较高要求。

回顾口笔译评估研究的历史，韩教授认为可以追溯至1919年，当时巴黎和会雇用了许多口笔译工作者，为了保证会议的顺利举行和质量，在筛选人员的过程中采用了相关的测评手段。至今以来的发展过程中，比较重要的考试分别是1973年成立的ATA(America Translators Association)考试(有非常成熟的体系来评估笔译质量，其中很多标准沿用至今)、1977年成立的NATTI(National Accreditation Authority for Translators and Interpreters)考试(第一个以政府为主导的认证&测评体系)以及1980年开始的FCICE(the Federal Court Interpreter Certificate Examination)。而近代大规模系统性的中-英语对测试则可以回溯到1979年在北京成立的译训班(the UN Training Program for Interpreters and Translators)。

随后韩教授谈到了口笔译测评的应用领域，包括口笔译教学、职业实践、口笔译研究、外语能力，以及在社会活动中的重要性，如提供相关的数据和证据作为支撑从而作出更合适的高风险决策、影响提供服务的从业者和受用者等。在提到该领域的研究时，韩教授用三个词描述了自己初涉口笔译测评领域的感受：dumbfounded、baffled、befuddled，以形容该领域的重要性未得到重视、相关研究非常欠缺的状况。韩教授还表示，近50年间真正关于测评的著作，也就十几本书，相对而言比较少，且其中8-9本是在2020发表，这表示在最近十年间口笔译测评才得到了重视。

部分相关著作

谈到评分(performance scoring), 韩教授认为实施具体的评分前，应将其看成一个连续的整体，既涉及人工，也涉及机器，还有人机耦合的成分。随后，韩教授结合具体研究案例，就人工、人机、机器在口笔译测评过程的作用、方式和视角分别进行了剖析。他表示人工评分是一个涵盖认知、心理和语言的复杂过程，可以从input/stimuli, scoring method, scoring specificities, characteristics of raters, scoring process和psychometric properties of assessment results六个视角进行解读，具体实施有错误分析法、采分点评估和量表评分三种方式。在分析过程中，韩教授还提到了分项评分和整体评分的优劣势，及其对教学的启示。关于机器评分，韩教授表示有四个方式非常重要，即Temporal variables (acoustic features), Linguistic features, Machine translation (MT) evaluation metrics,和 Quality estimation (QE)。

关于未来发展方向，韩教授认为教学相长、高风险口笔译测试、人机耦合和自动评估四个方面非常具有研究价值。

在最后的互动环节，参会老师和同学们踊跃提问，韩教授就评分量表、流利度指标、学生自评和互评在教学过程的作用等多个方面与大家进行了热烈的讨论。

本次口译沙龙讲座聚焦前沿且具有启发性，受到与会师生的一致好评。

[1]  Han, C. (2020).Translation quality assessment:A critical methodological review. The Translator, 26(3),257-273.

[2]  Han,C. (2022).Interpreting testing and assessment:A state-of-the-art review. Language Testing, 39(1), 30-55.

[3]  Han,C.,& Lu,X-L.(2021).Interpreting quality assessment re-imagined: Synergy between human and machine scoring. Interpreting and Society, 1(1), 70-90.