信息技术用于英语教学论文提纲

论文题目：基于认知诊断理论的EFL同伴互助听力学习研究

摘要：近年来,我国英语学习者的学习需求逐渐朝着个性化方向发展,而传统的反馈形式仅在最终的成绩报告中提供总分、排名等信息,通常不具有个性化特征,学习者往往难以从中明确自身的优势与不足之处。考分相同的学生在知识结构方面可能存在差异,其能力也未必相同（何莲珍2000）,因而他们更希望考后能获取有关自己已经掌握的技能及有待提高之处的诊断信息,这就涉及到认知诊断理论（涂冬波等2008）。认知诊断的评估方法可为学生提供多维度、细粒度的测评结果,以弥补传统单维成绩的不足（杜文博、马晓梅2018）。语言测试领域的研究人员逐渐认识到诊断性反馈的价值,将认知诊断测试（cognitive diagnostic assessment,简称CDA）的研究方法引入到对语言能力的细化诊断之中,视其为新兴前沿研究话题（江进林2018）,并指出其对于个性化语言教学也能起到一定作用（何莲珍2018）。尽管CDA的发展仍处于萌芽阶段（Leighton＆Gierl 2007）,研究人员已探索出实施诊断测试的两种主要方式:其一,设计新的诊断性测试（如Nichols 1994;Toprak＆Cakir 2021）;其二,运用翻新法（retrofitting）从现有的非诊断性测试中提取关于考生优势与不足的诊断信息（如Lee＆Sawaki 2009b;Liu et al.2018）。由于前者需要较多时间与资金投入,目前此类诊断性测试并不多,而Bachman（1990）也提到任何考试都有提供诊断性信息的潜力,因此后者更为常见。CDA通常包括两个阶段:首先对试题进行内容分析以确定题目与所考查属性之间的关系,而后运用认知诊断模型对这些属性和试题进行处理（Lee＆Sawaki 2009b）。前者主要涉及领域内专家基于试题构建“试题—属性”二维关联Q矩阵的过程,后者则是通过认知诊断模型对考生作答数据的分析来获取考生的知识状态或对各属性的掌握程度。其中,认知诊断模型指的是带有一个简单或复杂载荷结构的验证性多维潜变量概率模型（Rupp＆Templin 2008）,常见的模型有确定性输入噪音“与”门模型（deterministic inputs,noisy“and”gate model,简称 DINA）、确定性输入噪音“或”门模型（deterministic inputs,noisy“or”gate model,简称DINO）、加和认知诊断模型（additive cognitive diagnostic model,简称 ACDM）、简化型重新参数化统一模型（reduced reparameterized unified model,简称RRUM）、线性逻辑斯蒂模型（linear logistic model,简称LLM）、广义DINA模型（generalized DINA model,简称 G-DINA）等。基于CDA的两个阶段,研究人员提出了将认知诊断方法应用于语言测试中的四步研究框架（Lee＆Sawaki 2009b）:定义属性、构建Q矩阵、分析数据、提供针对教与学的诊断性分数报告或个性化反馈。国内外认知诊断测试的相关研究主要集中在前三个步骤,鲜有运用诊断性分数报告进行针对性补救教学和学习的研究。而在EFL课堂学习过程中,除了对个性化反馈的需求,有越来越多的学习者意识到与同伴互动、合作的价值。同伴是学习动机和直接互动的来源（Hanushek et al.2003）,是语言学习中有用的资源（高瑞阔、唐胜虹2014）。学界对合作学习（Slavin 1980）、同伴互动（Webb 1989）等涉及同伴的学习模式进行了探索,并提出了“同伴互助学习”（peer-assisted learning,简称PAL）概念。PAL是指地位平等或匹配的伙伴之间通过积极主动的帮助与支持来获取知识与技能的学习活动（Topping＆Ehly 1998）,在开展PAL过程中也会参考合作学习中的五要素:积极的相互依赖、面对面促进性互动、个人责任、交流技能培养和小组反思（Doolittle 1997;Johnson＆Johnson 1999;Topping et al.2017）。目前,已有同伴合作与反馈的研究关注听力（Khansir＆Alipour 2015）、阅读（Ghaith＆El-Malak2004）、口语（王晓燕＆王俊菊 2012）以及写作（Yarrow＆Topping 2001）,而从语言技能的认知诊断相关研究来看,对写作等产出型技能的研究仍处于起步阶段（李航2019）,且限制条件较多（Kim 2011;Xie 2017）,对听力、阅读等接受型技能的研究则相对成熟且便于开展。而与阅读相比,听力的认知诊断研究数量更少,有更大的探索空间。因此,本研究选择听力理解作为研究对象,聚焦CDA听力研究中运用诊断性分数报告进行后续针对性补救学习的环节。在此过程中引入PAL概念,提出基于属性驱动型听力任务的课内同伴互助学习模式（attribute-driven task-based in-class peer-assisted learning,简称ATIPAL）。本研究包括ATIPAL预实验和主实验,两个实验均由CDA和PAL两个阶段组成。在CDA阶段,本研究采用翻新法从现有的非诊断性听力测试中提取关于被试优势与不足的诊断信息,并将其用于个性化诊断性分数报告;在PAL阶段,作者将这些个性化诊断报告反馈给实验组和对照组的被试,并将实验组被试分为若干两人组或三人组,按照合作学习五要素实施基于任务的课内同伴互助学习,对照组被试则未做分组处理。整个研究过程采用混合方法研究（mixed methods research）中的聚敛式设计（convergent design,Creswell＆Clark 2017）,既有定量分析（如认知诊断模型分析）又有定性分析（如访谈文本分析）,通过数据分析旨在回答以下两个研究问题（其中第一个主要针对CDA阶段,第二个主要针对PAL阶段）:1)在 G-DINA、DINA、DINO、ACDM、RRUM、LLM 等主要的认知诊断模型中,哪个模型在CDA阶段能生成最佳拟合以及细粒度诊断结果?2)在PAL阶段收到诊断性反馈后,参与ATIPAL的经历对实验组被试有何影响?具体而言,分为以下两个小问题:第一,ATIPAL中涉及的合作部分对被试在听力后测中的表现是否有影响?如果有,ATIPAL中哪些部分有助于或有碍于被试的学习?第二,被试如何看待ATIPAL中使用的CDA分数报告和听力任务?一、ATIPAL预实验为了检验ATIPAL这一模式的可行性,作者在主实验开始前进行了一次预实验。在CDA阶段之初,作者通过文献参考法（陈慧麟2015）,回顾了以往听力技能方面的研究成果,构建了包含获取细节信息、识别语音信息等十个属性的听力理解属性列表,并将其用于后续Q矩阵的建立。随后,作者选取华东某高校4,604位学生在2017-2018学年秋冬学期大学英语Ⅲ课程期末考试听力理解部分客观题的作答数据,并将其导入R软件,运用CDM软件包进行认知诊断模型分析。这些学生中的大多数将在该学年春夏学期继续修读大学英语Ⅳ课程。在CDA阶段的诊断性反馈生成后,作者邀请该校两位大学英语老师在他们春夏学期所教授的四个大学英语Ⅳ课程平行班中进行PAL阶段的实验。作者从每位老师的两个班级中随机选取一个班级作为实验组,另一个作为对照组,每组均有35位被试,共计140人。独立样本t检验显示两个实验组与其所对应的对照组的前测数据（即大学英语Ⅲ课程期末考试听力分数）均无显著性差异。PAL阶段结束后,实验组被试需要完成一份关于ATIPAL的调查问卷,问卷改编自Buchs et al.（2016）的研究,由十个量表题和两个主观题构成。量表题分为三类,涉及被试在ATIPAL过程中的互动参与度（1-4题）、与同伴的合作关系（5-8题）、对任务的评价（9-10题）等,主观题分别涉及ATIPAL与平时大学英语课的差异以及学生参与ATIPAL的体会。此外,作者在PAL阶段结束后从实验组随机抽取部分小组进行访谈,访谈提纲中的问题涉及ATIPAL的优势与有待完善之处、参与ATIPAL的收获、最感兴趣和最有帮助的任务类型、个性化诊断性分数报告在ATIPAL中的作用以及可改进之处。同时,作者也对两位大学英语老师进行了访谈,访谈问题涉及对ATIPAL的总体印象以及对ATIPAL实施过程的看法。预实验CDA阶段结果表明,大学英语Ⅲ课程期末考试听力理解部分客观题涉及听力理解属性列表十个属性中的七个,分别是:获取细节信息（Listening for details）、概括大意（Listening for gist）、识别语音信息（Listening for phonological information）、推理与判断（Listening and making inference）、综合处理信息（Listening and synthesizing）、识别词汇语法信息（Listening for lexico-grammatical information）和辨别态度与目的（Listening for attitudinal and intentional information）。模型相对拟合指标分析结果显示,尽管其中的贝叶斯信息准则指标（Bayesian information criterion,简称 BIC）并未偏向 G-DINA 模型,该模型在其他指标上相比其他五个模型表现更好,而接下来的绝对拟合指标分析结果显示该模型也符合标准,因此作者将G-DINA模型的诊断结果用于诊断性分数报告。通过对 Score Report PlusTM（College Board）、DiagnOsis（Jang 2005）以及属性层级模型分数报告（Roberts＆Gierl 2010）等三份常见的CDA分数报告的分析,作者参考由分数报告形式（包括反馈标尺、解读参照、评估单元、报道对象、测量误差等）和结果呈现形式（包括数字形式、图表形式、表述形式、报道媒介、设计原则等）两部分组成的诊断性分数报告框架（Roberts＆Gierl 2010）,设计了一个由四部分组成的CDA分数报告,即“如何解读分数报告”、“回顾你的答案”（包括正确答案、被试的答案、总分与三个单项分数等）、“属性描述”（包括听力属性各自的定义、属性掌握情况分析图表等）以及“总结你的表现”（包括对被试属性掌握情况的文字总结以及对他们未来学习的建议）。CDA分数报告与针对每个属性所设计的听力任务一起构成了实验材料ATIPAL小册子,用于PAL阶段。预实验PAL阶段结果显示两位老师的实验组与对照组的后测数据（即大学英语Ⅳ课程期末考试听力分数）独立样本t检验无显著性差异（p值分别为p’A=0.362,p’B=0.351）,但是问卷和访谈数据表明实验组被试认为,总体而言,ATIPAL让同伴之间有更多的讨论与互动,且ATIPAL有助于构建和谐的学习环境。他们认为,ATIPAL能提升他们的学习动力,通过参与ATIPAL,他们能认清自身在听力属性层面的优势与不足,便于他们“取他人之长”以“补己之短”。另一方面,作者从被试的反馈中发现ATIPAL在以下三个方面有待完善:1)ATIPAL中的听力任务是按照大学英语课本单元的主题来设计的,因此每个单元包含多类任务。这种安排使得教师在有限的课堂时间内分配给某个听力属性对应任务的训练量不足,从而给被试带来一种松散、缺乏针对性的感觉;2)大学英语是一门综合英语课程,涉及听力、阅读、口语等多个语言技能的学习,而ATIPAL的听力训练只是课堂众多环节之一,因此分配给同伴互助的时间有限;3)实验组被试的听力水平差异较大,其中高水平被试参与同伴互助的积极性普遍不高,低水平被试由于听懂的内容有限而难以在同伴互助中有所贡献。对两位教师的访谈结果显示,她们对ATIPAL的总体印象良好,认为这种形式有助于课堂教学。但是,她们同样指出ATIPAL的任务安排松散,被试听力水平差异较大,这些问题可能会影响ATIPAL的效果。基于以上反馈,作者做出如下调整:第一,每次聚焦一个听力属性的任务,以便培养被试属性层面的意识;第二,把ATIPAL放在听力课堂进行,以保证充足的同伴互助学习时间;第三,在选取被试时,重点关注听力能力处于中等水平的学生。此外,作者结合预实验中被试提出的需求以及合理的建议,对ATIPAL的设计做出了如下修订:第一,增加属性掌握概率单变量分布分析环节,以检验认知诊断模型分类结果的信度;第二,从前测真题中挑选出考查每个属性的题目,组成“例题”加入分数报告中,把预实验中分数报告的四个部分修改为三个部分（“回顾你的答案”、“属性描述”和“总结你的表现”）以及两个支撑元素（“如何解读分数报告”和“例题”）,同时在“属性描述”部分尽量减少术语的使用,并将属性掌握情况通过雷达图方式予以呈现。二、ATIPAL主实验基于预实验结果,作者在2019-2020学年秋冬学期大一新生入学并开始修读大学英语Ⅲ课程时进行了 ATIPAL主实验。作者共招募到444名被试参加CDA阶段前测（N-Test 1）,该测试选自历年大学英语四级考试听力真题,收集的作答数据用于认知诊断分析。随后按一定规则从中选取120人参与PAL阶段实验,将这些被试分为实验组和对照组,两组的N-Test 1数据的独立样本t检验结果无显著性差异。在PAL阶段,实验组被试根据自己的属性掌握情况在组内选择属性掌握模式互补或接近互补的同学作为同伴,形成两人组或三人组,开展同伴互助听力学习,对照组被试完成同样的听力任务,但不做分组处理。听力任务按属性类型集中编排,全部任务完成后,两组被试参加了后测（N-Test 2）。N-Test 2试题同样选自历年大学英语四级考试听力真题,运用独立样本t检验对N-Test 2数据进行显著性分析。同时,作者采集了实验组被试的问卷数据和部分小组的访谈数据。被试在N-Test 1和N-Test 2施测前均未做过选取的大学英语四级听力试题。在CDA阶段,作者通过把444名被试的N-Test 1作答数据和构建的Q矩阵导入R软件,运用CDM软件包依次进行属性掌握概率单变量分布分析（分布形状越接近U形越好）、模型相对拟合指标比较（指数的值越低越好）、绝对拟合检验（要求低于一定的临界值）、属性层面模型分类信度检验（准确度、一致性越接近1越好）,对第一个研究问题进行了探索,结果如下:1)属性掌握概率单变量分布分析显示,G-DINA模型在Q矩阵中涉及的全部四个听力属性（获取细节信息、概括大意、推理与判断以及综合处理信息）上都获得了比较理想的接近U形的分布图,而ACDM、RRUM和LLM在综合处理信息这一属性上没有出现接近U形的分布,DINA和DINO模型则在综合处理信息和概括大意两个属性上都偏离了 U形分布,因此从属性掌握概率单变量分布来看,G-DINA模型表现最佳;2)模型相对拟合指标比较表明,G-DINA模型在其中的负二倍对数似然（minus twice log likelihood,简称-2LL）和赤池信息准则（Akaike’s information criterion,简称 AIC）两个指标上都生成了 最低值（-2LL:12,675;AIC:12,869）,但在BIC指标上的最低值（13,148）却源自DINO模型,这一结果可能是因为BIC指标对参数较少的简化模型更具倾向性（如高旭亮等2018）,因此基于数据分析结果,在相对拟合指标上G-DINA模型表现更好;3)G-DINA模型的绝对拟合检验表明,其在所选的全部绝对拟合指标中都达到低于相应临界值的要求,因此作者将G-DINA模型的CDA分析结果用于诊断性分数报告,包括每个被试的个性化诊断性反馈（即该被试每个属性的掌握概率及其属性掌握模式）和被试总体层面对Q矩阵中所涉四个听力属性的掌握概率（获取细节信息:0.528;概括大意:0.683;推理与判断:0.645;综合处理信息:0.623）。4)G-DINA模型的分类信度检验结果显示,其对N-Test 1所涉四个听力属性的分类准确度介于0.89到0.92之间,而分类一致性则介于0.82到0.86之间,均属于信度较好范围（Johnson＆Sinharay 2018）。综上所述,对于 N-Test 1 而言,在 G-DINA、DINA、DINO、ACDM、RRUM、LLM等主要的认知诊断模型中,G-DINA模型生成了最佳拟合以及细粒度诊断结果。在PAL阶段,作者将修改版的CDA分数报告与针对四个属性设计的听力任务编排成新的ATIPAL小册子。基于预实验反馈,对小册子中的听力任务做出如下调整:1)选材依然围绕大学英语课程各单元主题,但编排时不再按照教材的单元顺序,而是将同一属性的任务集中编排,完成该属性对应的全部任务后,再进入下一个属性对应的任务;2)每个任务前面都附上了生词及中文意思;3)对获取细节信息、概括大意两个属性对应的任务进行修改,分别给出细节类型和主旨提示词,以帮助被试听材料时更能抓住属性特点,而推理与判断、综合处理信息两个属性对应的任务类型则因其在预实验中较受欢迎而保持不变。作者对实验组和对照组的N-Test 2数据进行独立样本t检验,结合问卷以及访谈数据,对第二个研究问题进行了探索,结果如下:1)实验组和对照组的N-Test 2数据独立样本t检验结果显示:经过PAL阶段后两组出现了显著性差异（p’=0.002）,实验组均分（ME’=15.59,SDE’=4.036）高于对照组（MC’=12.81,SDC’=4.402）,因此ATIPAL中涉及的 合作部分有助于实验组被试的听力学习,使他们在N-Test 2中的表现优于对照组被试。通过对问卷量表题的定量分析和对问卷主观题以及访谈数据的定性分析,作者发现其中可能的原因是被试基本能积极参与到ATIPAL当中,且他们与同伴的合作关系总体良好;2)大约87%的实验组被试认为ATIPAL对听力学习有帮助,他们指出参与ATIPAL中的互动有助于他们汲取同伴之长（如同伴对听力策略的合理使用）,还有助于他们更直观地发现自己在听力属性层面上的不足（如通过与同伴比较属性掌握概率雷达图）。此外,ATIPAL新颖而有趣的形式也有助于激发他们的学习动机。但实验组被试也遇到了两方面的问题或困难:首先,部分被试表示在互动过程中会对同伴产生依赖感,进而出现“搭便车”的消极心态;其次,N-Test 1分数相对较低的部分被试觉得听力材料播放的语速较快,且有时他们对所听词汇不熟悉,这些因素阻碍了他们理解所听内容,使得他们在ATIPAL中较为被动;3)对于CDA分数报告,约80%的受访者表示其中的细粒度诊断性信息有助于他们找到最合适的或属性掌握模式接近互补的同伴,而分数报告中的属性掌握概率雷达图因其直观的呈现方式,使他们能清晰地了解自己和同伴在听力属性层面的优势与不足,但部分受访者也指出,他们希望在分数报告上能看到错题对应的听力文本等信息;对于ATIPAL中的听力任务,实验组被试认为其总体设计合理,对听力学习有一定帮助,而访谈结果也表明受访者认为四类任务对他们的听力学习都有帮助。综上所述,本研究将PAL概念引入CDA研究中鲜有涉及的后诊断阶段针对性补救学习环节,提出ATIPAL的听力学习模式,通过认知诊断模型分析、对代表性CDA分数报告的剖析、对听力前后测分数的独立样本t检验以及对问卷和访谈数据的定量定性分析,检验了 ATIPAL的可行性与有效性,其研究发现具有一定的理论意义,在研究方法和实践层面也有一定启示。理论层面,ATIPAL主要带来四点启示。第一,研究结果显示实验组被试运用认知诊断测试结果辅助了后续同伴互助学习,这一发现支持了测试能促进语言学习的观点（如Tomlinson 2005）。第二,ATIPAL模式的提出离不开CDA和PAL的理论支持,前者是语言测试领域新兴研究方向之一,后者则是二语习得领域常见的研究方法,二者的成功融合,在某种程度上支持了 Bachman（1988）和Shohamy（2000）等提出的语言测试和二语习得研究存在合作的必要性和可能性这一观点。第三,研究结果表明在模型比较过程中更复杂的饱和模型G-DINA脱颖而出,这一发现为解释听力理解的复杂性提供了证据;此外,简化模型中补偿型与非补偿型模型的拟合情况也有助于理解听力理解的互补机制。第四,ATIPAL在PAL阶段借助属性驱动型听力任务把听力教学与学习过程连接起来,研究结果表明这些任务在听力教学、学习中起到一定作用,这一发现有助于理解语言教学与语言学习之间的关系,对任务型语言教学方法有所启示。方法层面,ATIPAL一方面对混合方法研究聚敛式设计在应用语言学实证研究中的应用有所启示,另一方面对先进行预实验再进行主实验的研究方法也有一定的启示。文秋芳和林琳（2016）统计了国内外应用语言学领域两份代表性期刊上发表的520篇实证研究文章使用的研究方法,发现其中使用混合法的研究所占比例不足20%,因此混合法在应用语言学研究中的应用尚有可开发之处。Jang等人（2014）指出在语言测试领域有越来越多的研究人员尝试在研究设计中使用混合法。本研究采用了混合方法研究聚敛式设计,作者在ATIPAL实验过程中综合定量方法与定性方法对收集的数据进行分析,通过这样的设计为混合法在应用语言学研究中的应用提供新视角。此外,Malmqvist等人（2019）指出精心设计的预实验十分重要,因为研究人员通过开展预实验能对研究工具做出调整、对研究设计进行完善。本研究先做了 ATIPAL预实验,作者发现问题后进行修改,再进行主实验,预研—主研的设计方法对于实证研究的设计具有一定的启示。实践层面,ATIPAL对语言教学、测评均有一定启示。就语言教学而言,ATIPAL的成功开展对教师在语言课堂上组织学生开展同伴互助活动有借鉴意义,对教师使用基于任务的语言教学也有参考价值。一方面,教师在二语课堂中常以小组活动的形式组织同伴互助学习（McDonough 2004）,本研究中实验组被试基于分数报告中的细粒度诊断结果,寻找属性掌握模式互补的同伴组成互助学习小组,从而更好地实现小组同伴之间取长补短、共同进步,因此ATIPAL的分组方法值得借鉴。另一方面,语言学习任务对于课堂教学而言是重要工具（Kim 2009）,ATIPAL中使用的听力任务是针对细粒度的听力属性设计的,实验组被试对这些听力任务的评价总体较为积极,因此从基于任务的语言教学模式来看,ATIPAL在课堂听力任务的设计方面能给教师带来一定启示。当教师需要为听力能力处于中等水平的语言学习者设计教学方案时,ATIPAL具有一定的参考价值。就测评而言,ATIPAL对于诊断性语言测评（diagnostic language assessment,简称DLA）的开发者制定补救性学习方案具有一定启示意义。DLA核心成分之一是补救性学习方案,DLA的开发者需要设计各种学习活动以帮助学习者补足弱项（Lee 2015b）。本研究中作者基于认知诊断Q矩阵中属性的特点,为每个属性设计了听力任务,并以ATIPAL的形式开展补救性学习,为DLA的开发者提供了基于任务的同伴互助补救性学习案例。诚然,本研究也存在一定的局限性,主要体现在以下三个方面:第一,本研究分数报告中的诊断性反馈主要以属性掌握模式和属性掌握概率雷达图的形式呈现,没有更具体的文字描述,未来研究可考虑在反馈中加入《中国英语能力等级量表》中的“能做”描述语。第二,本研究没有对互动过程进行录音或录像,未来研究可收集这方面素材,从中获取互动过程中同伴之间的对话并进行文字转录,统计其中的语言相关片段（language-related episodes）的数量和类型,以探索语言相关片段对ATIPAL效果的影响。第三,本研究的互动模式仅为面对面线下互动,随着信息技术的不断赋能,线上教学或线上线下相结合教学越来越普遍,未来研究可关注线上互动,探索基于属性驱动型任务的网络同伴互助,同时可考虑开展计算机自适应认知诊断测试。

关键词：认知诊断测试;同伴互助学习;听力任务;诊断性反馈

学科专业：外国语言文学

摘要

Abstract

Acknowledgements

List of Abbreviations

Chapter 1 Introduction

1.1 Context and objectives of the study

1.2 Research questions

1.3 Definition of key terms

1.4 Overview of the dissertation

Chapter 2 Literature Review

2.1 EFL listening comprehension

2.1.1 Theoretical underpinnings of listening comprehension

2.1.1.1 The nature of listening comprehension

2.1.1.2 The process of listening comprehension

2.1.2 Sub-skills and strategies of listening comprehension

2.1.2.1 Speculative sub-skill taxonomies

2.1.2.2 Research-based sub-skill taxonomies

2.1.2.3 Studies on listening strategies

2.1.2.4 The categories of recurrent elements

2.2 Diagnostic language assessment

2.2.1 Theoretical underpinnings of DLA

2.2.2 The components of DLA

2.2.3 DLA and SFL assessment

2.2.3.1 The tentative framework

2.2.3.2 The four-stage process

2.3 Cognitive diagnostic approaches

2.3.1 Cognitive diagnostic assessment

2.3.1.1 Theoretical underpinning

2.3.1.2 Q-matrix

2.3.1.3 Major frameworks for developing cognitive diagnostic tests

2.3.2 Cognitive diagnostic models

2.3.2.1 Early classic models

2.3.2.2 Compensatory and noncompensatory models

2.3.2.3 The Fusion model

2.3.2.4 The G-DINA model

2.3.3 Cognitive diagnostic score reports

2.3.4 CDA and EFL listening

2.3.4.1 Relevant studies abroad

2.3.4.2 Relevant studies in China

2.4 Peer-assisted learning

2.4.1 Zone of proximal development

2.4.2 Cooperative learning

2.5 The relationship between assessment and learning

2.6 Summary

Chapter 3 The ATIPAL Pilot Study

3.1 Background

3.2 Methods

3.2.1 Subjects

3.2.2 Instruments

3.2.2.1 Listening comprehension tests from two final exams

3.2.2.2 The coding sheet and the ATIPAL booklet

3.2.2.3 The ATIPAL questionnaire

3.2.2.4 The interviews

3.2.3 Procedures

3.2.3.1 Conducting cognitive diagnostic analysis

3.2.3.2 Preparing materials for the ATIPAL sessions

3.2.3.3 Completing the in-class listening tasks

3.2.3.4 Collecting post-ATIPAL data

3.2.4 Data analysis

3.2.4.1 CDM analysis of the absolute and relative fit statistics

3.2.4.2 Other statistics from the CDA phase

3.2.4.3 Analysis of typical CDA score reporting frameworks

3.2.4.4 Quantitative analysis of post-ATIPAL data

3.2.4.5 Qualitative analysis of post-ATIPAL data

3.3 Results and discussion

3.3.1 Attribute identification and Q-matrix specification

3.3.2 CDA statistics

3.3.2.1 CDM fit statistics

3.3.2.2 Attribute mastery statistics

3.3.3 Diagnostic feedback and the listening tasks

3.3.4 Results of quantitative analysis of post-ATIPAL data

3.3.5 Results of qualitative analysis of post-ATIPAL data

3.3.6 Discussion of the pilot study

3.4 Revisions to ATIPAL

3.5 Summary

Chapter 4 The ATIPAL Main Study

4.1 Background

4.2 Methods

4.2.1 Subjects

4.2.2 Instruments

4.2.3 Procedures

4.2.3.1 Conducting cognitive diagnostic analysis

4.2.3.2 Preparing materials for the ATIPAL sessions

4.2.3.3 Completing the in-class listening tasks

4.2.3.4 Collecting post-ATIPAL data

4.2.4 Data analysis

4.2.4.1 Analysis of the CDA data

4.2.4.2 Analysis of the post-ATIPAL data

4.3 Results and discussion

4.3.1 Model selection

4.3.1.1 Q-matrix specification

4.3.1.2 Shapes of univariate distributions

4.3.1.3 Other CDA statistics

4.3.1.4 Discussion on model selection

4.3.2 The effect of the additional cooperative sessions on the subjects' learning

4.3.2.1 The effect of ATIPAL on the subjects' performance on N-Test 2

4.3.2.2 The subjects' feedback on the benefits of ATIPAL to learning

4.3.2.3 The subjects' feedback on the hindrance of ATIPAL to learning

4.3.2.4 Discussion on the effect of the additional cooperative sessions on the subjects' learning

4.3.3 The subjects'perception of the CDA score report and the listening tasks used in ATIPAL

4.3.3.1 The subjects' perception of the diagnostic score report

4.3.3.2 The subjects' perception of the listening tasks

4.3.3.3 Discussion on the subjects' perception of the CDA score report and the listening tasks used in ATIPAL

4.4 Summary

Chapter 5 Conclusion

5.1 Major findings

5.1.1 Research question 1 revisited

5.1.2 Research question 2 revisited

5.2 Implications

5.2.1 Theoretical implications

5.2.2 Methodological implications

5.2.3 Practical implications

5.3 Limitations and directions for future research

5.4 General conclusion of the dissertation

References

Appendices

Appendix 1: The original ATIPAL questionnaire

Appendix 2: Interview outline

Appendix 3: Transcripts of the interview in the pilot study

Appendix 4: The coding sheet

Appendix 5: Two sample tasks with handwritten notes from a dyadic group in the pilot study

Appendix 6: Test items in N-Test 1

Appendix 7: Test items in N-Test 2

Appendix 8: Transcripts of the interview in the main study

Appendix 9: Two sample tasks with handwritten notes from a dyadic group in the main study