4月2日,国内领先的人工智能在线教育机构流利说(NYSE:LAIX)宣布旗下AI英语老师提供的“定级测试”完成与中国英语能力等级量表(CSE,China’s Standard of English Language Ability,简称CSE)对接。这是目前国内第一家与CSE对接的企业,此前流利说完成对接CSE AI老师有了“中国标准”,英国文化教育处旗下雅思、普思等国际英语考试宣布与CSE完成对接。
据悉,为促进中国外语教育改革与发展,培养具有国际视野、熟练运用外语、通晓国际规则的新时代人才,国务院在《关于深化考试招生制度改革的实施意见》中提出加强“外语能力测评体系建设”的明确要求。其中流利说英语等级,研制中国英语能力等级量表是外语能力测评体系建设的重要任务。量表是首个面向中国学习者的英语能力标准,于2018年2月由教育部、国家语言文字工作委员会正式发布。根据循序渐进的原则,CSE 将语言能力分为9个级别和3个发展阶段,其中1-3 级为初级,4-6级为中级,7-9级为高级阶段。
流利说此次提交的对接产品,是公司核心App“英语流利说”提供的“定级测试”系统。定级测试作为流利说AI英语老师的重要组成部分,该系统已经帮助近四千万用户完成了英语水平定级。其定级题库涵盖了六种题型,采用3PL模型(3 parameter logistic model)估计出每道题的难度、区分度和猜测度。测试过程根据用户每一题的答题情况得出相应的测量误差,随着做题数量增加,测量误差降低,在误差低于设定阈值时结束测试。从测试实施到结果判定,整个过程由AI老师负责,涉及用户的听说读写能力,利用音频、图片等多种多媒体形式,完全自动化。
流利说联合创始人兼首席科学家林晖博士表示:“在流利说定级测试与CSE对接之后,英语学习者能使用英语流利说App随时衡量自己的英语水平并与国家标准对应,进而根据测试结果制定学习目标,运用流利说人工智能英语老师对自身的英语水平进行针对性提高。”
本次对接过程主要采用改良的Angoff方法,CSE的主要起草人之一、广东外语外贸大学刘建达教授作为团队学术带头人,与数名具备丰富的一线高校英语教学经验的成员组成专家组。他们结合CSE的分级方法,通过自身作答、知识点分析、难度判断等方式进行讨论和判断,最终得出各题目对应CSE的级别。
刘建达教授表示:“研制CSE的目的之一是让英语教学回归本质——学习者能用英语做什么流利说英语等级,流利说与CSE的对接可以帮助AI技术赋能英语教育在教、学、测等方面的进一步升级。”
值得注意的是,改良的Angoff方法相比传统的Angoff方法多了一轮讨论和二次判断的步骤,根据对接报告中援引的论文注1,第二次判定的结果相比第一次往往更为一致。结果显示,第二轮判定后有13题级别上调,9题级别下调,充分体现了改良后Angoff方法弥补了传统Angoff的不足,提高了对接的准确性。
对接报告显示,流利说定级测试中的级别与CSE的级别基本相当:1级相当于CSE的1-2级流利说英语等级,流利说的2级相当于CSE的2-3级,流利说的3级相当于CSE的3-4级,流利说的4级相当于CSE的4级,流利说的5级相当于CSE的4-5级,流利说定级测试的6级以上能力水平相当于CSE的5级或以上等级。
注1:何惧, 何佳, 安滔, 高靖. 2007. Angoff法及其衍生方法在资格考试合格线设 定中的比较研究 [J]. 中国考试(研究版)(06): 23-26.