教学一致性分析 ——作为衡量教学质量的标准外文翻译资料

教学一致性分析

——作为衡量教学质量的标准

作者：MORGAN S. POLIKOFF, ANDREW C. PORTER

单位：University of Southern California, University of Pennsylvania

摘要：

近年来，在美国K-12教育中占主流的两大政策出现了趋同：对于课程标准的问责和教师教学质量改革。这些领域的工作产生了多种衡量教师教学质量的措施，包括衡量教学与课程标准的一致性的方法，通过观察、对学生调查的方式衡量教学质量，以及衡量教师对学生考试成绩的贡献程度。本文利用比尔和梅琳达·盖茨基金会的有效教学措施研究数据，首次探讨了教师的教学一致性与他们对学生学习的贡献以及他们在新的综合评价指标上的有效性之间的关系。在我们讨论这两种政策的潜在研究和政策含义过程中，发现了两者之间令人惊讶的微弱关联。

关键词：测量；心理测量学；评估；择校；调查研究

在过去三十年以课程标准为基础的美国教育改革中，存在这样一种观点，即教师的教学内容是学生学习的重要决定因素。这一假设是创建各州共同核心内容标准的主要依据，这些标准规定了学生要获得的特定技能和知识，因此为教师提供了关于重点教学内容的指导。学生的学习机会(OTL)标准中规定的内容被认为是使学校工作核定的评估结果具有有效性的重要保证(McDonnell，1995；Porter，1995；Schmidt，Cogan，Houang，amp;McKnight，2011)。研究证实了教学内容覆盖率在影响学生跨学科学习成果方面的重要性(例如，Gamoran，Porter，Smithson，amp;White，1997；塞布林，1987)。也许在当前的政策措施中，衡量教学内容覆盖率的最重要的标准是教师的教学与各州共同核心内容标准或是评估的一致性(Polikoff，2012c；Porter，2002)--这就是我们在这里关注的衡量标准。

在另一系列的政策研究中，我们了解到，各州最近已经做出了大量努力来改进评估教师的方法。在各州和国家政策倡议的推动下，比如争优计划基金(Race To The Top Fund)和不让一个孩子掉队(NCLB)遭到了免除。如何改进评估教师教学质量方法的很大一部分集中在教师对学生学习的贡献上，这通常是通过增值模型(VAMs)来衡量的。由于教学的多面性、基于VAM的教师有效性测量带来的挑战和局限性(例如，Papay，2012；Rothstein，2010)，以及美国教育研究协会、美国心理协会和国家教育测量委员会(1999)教育和心理测试标准的指导，在这些因素的推动下，出现了开发多测量评估系统的运动，即通过将VAM增值模型或其他成绩数据与教师教学质量的观察评级和利益相关者的评价(例如，来自学生调查评级)相结合来确定教师有效性。在这些评估系统中，教学质量是教师教学有效性更为具体的一个概念——这也是我们在这里使用的定义。比尔和梅林达·盖茨基金会的有效教学评估(MET)研究旨在为政策制定者证明这些多指标评估系统设计的合理性。许多州在争优计划基金或中小学教育法被免除的情况下，在州政策中纳入了多措施评估系统，这些行为也使其成为一个重要的研究课题。

尽管这些多指标评估体系越来越受到关注，但这一领域的研究和政策工作普遍忽视了教学内容覆盖率在预测有效教学方面的潜在重要作用，无论是增值指标还是综合有效性指标。文献告诉我们，教学内容覆盖率的变化仍然是一个紧迫的政策问题，无论是在州内还是在州间(Schmidt等人，2011年)，人们普遍认为教学内容很重要，否则，为什么要有教学内容标准？事实上，使教学与内容标准保持一致是基于标准改革的核心政策目标之一(Smithamp; Day，1991)，而保持一致是联邦标准政策的一个主要焦点。尽管如此，关于教学一致性和教学质量与VAM（增值评估体系）预测之间关系的大规模分析从未出现过。关于教学一致性与多测量教师效能等级之间关系的大规模研究也没有出现过。

文献中对教学一致性的疏漏，既有统计测量技术上的原因，也有概念上的理解问题。从技术上讲，从预测VAM或其他MET的模型中排除教学一致性可能会导致忽略变量偏差(例如，如果教师被评价为更有效，实行更能体现教学一致性的措施，则教学一致性是推动学生成绩增长的因素)。也就是说，一旦控制了教学的一致性，用于推导综合有效性指标最佳权重的相关性(例如Mihaly，McCaffrey，Staiger，amp;Lockwood，2013)可能是虚假的。教学质量与教学一致性之间可能存在交互作用，这一点似乎也是合理的，因为只有当教学与标准或评估相一致时，教学质量才更重要。从概念上讲，鉴于教学一致性在基于标准的改革理论中的中心地位，不研究和衡量教师实际教学过程中的对于标准的内容覆盖率是没有意义的。

为了解决文献中的这些漏洞，我们对MET项目进行了一个子研究，我们在这里介绍这个项目。这项研究的总体目标是回答三个关于教学一致性与两个与政策相关的结果的关系的研究问题——教师教学质量VAM增值模型和一个目前在各州实施的有效性的综合衡量标准：研究问题1：教师报告的教学内容占标准的覆盖率与学生成绩增值在多大程度上具有一致性？研究问题2：教学质量的衡量标准在多大程度上调节了教学一致性与学生成绩增值之间的关系？研究问题3：教师报告教学的一致性在多大程度上与教师效能的综合标准有关？

在接下来的内容中，我们首先简要回顾我们在这一领域的概念框架和其他实证工作。接下来，我们将描述研究的设计框架和工具，以及获得的教师样本，并提出了我们的分析策略。其次，我们给出了我们的结果。最后，我们讨论了这项工作的局限性和挑战，以及对政策和研究的影响。

概念框架

指导我们分析的概念框架是基于学生学习机会（OTL）标准的。使每位学生都有机会学习国家标准内容，是以标准为基础的教育改革努力的核心(波特，1995)。以标准为基础的改革政策的一个核心前提是，教师的教学内容在不同的地区是可变的，这在很大程度上取决于教师收到的关于他们应该教什么的信息(Smithamp;Olsquo;Day，1991)。人们认为，通过教学内容标准和教学一致性的评估、课程材料和专业的培训，可以为教师提供更一致的信息，并将使他们的教学方式与标准保持一致，由此学生对内容标准的了解将会提高。在某种程度上，这些标准代表了一个“好的目标”，学生的学习机会（OTL）标准将会提高学生的知识和技能。

hellip;hellip;

在OTL文献中有几个重要的细微差别。其一，OTL的显著性水平在很大程度上取决于所采用的教学措施。教师的教学有很多方面可能会影响学生的学习。最近的一篇评论(Kurz，2011)指出了三个主要维度--教学时间、内容和教学质量。这些维度可以使用自我报告(例如，波特提出的对齐指数，2002)，或者使用观察或学生调查(例如，Danielson，2007；Ferguson，2008)来获取，这是衡量内容覆盖率的常用方法(例如，Danielson，2007；Ferguson，2008)。即使有各种各样不同类型的测量策略，为了创建OTL标准索引，教师也需要做出关于符合教学内容和方式的报告记录。例如，自我报告测量可以是学期或年终测量(Porter，2002)，也可以是每天或每周的日志测量(例如，Rowan，Camburn和Corenti，2004)。观察性或给学生调查问卷则侧重于以教学理论为基础的测量工具所带来的不同衡量标准(例如，Danielson，2007；Ferguson，2008；Grossman等人，2010；Hill等人，2008；Piantaamp;Hamre，2009)。研究发现，教学质量衡量标准的选择在很大程度上会影响其预测力，这是合乎逻辑的(Polikoff，2010)。在本研究中，我们采用了一种广泛使用的教学内容年终调查方法，该方法有充分的效度证据(如下所述)。我们还使用了观察性的和面向学生调查教师教学质量的测量方法，这些方法已经在许多州和地区的评估政策中进行了研究和采用。因此，我们的工作捕捉到了OTL的三个维度中的两个，使用了可用的最高质量的衡量标准。

hellip;hellip;

虽然有相当多的文献研究OTL及其与学生学习结果的关系，但这项研究在以下几个方面对这些文献做出了贡献。首先，它是第一批使用完善的测量方法将教学一致性和教学质量与VAM联系起来的研究。据我们所知，还没有一项先前的研究既包括广泛使用的教学质量的观察性测量，又包括同一模型中教学一致性的详细测量。其次，它是第一次在多州标准化考试的背景下这样做——六个州，两个年级，两个科目。虽然我们在任何一个州的样本量都不足以对逐个州进行分析，但我们的多州数据相对于之前的研究增强了工作的概括性。第三，这项研究是第一批使用课堂水平的VAM测量作为因变量的研究之一，这类测量目前在各州和地区普遍用于评估教师。第四，这项研究首次将教学一致性与目前在美国广泛实施的教师有效性综合衡量标准联系起来。鉴于政策制定者将这些综合评估系统的结果作为“好教学”的标准，我们可以试图理解“好教师”是否实行更一致的教学。

方法

研究设计

预期样本。研究设计的目的是为了调查两个年级和两个科目的教学一致性与其他衡量教师有效性的指标之间的联系。因此，我们选择了四年级和八年级的数学和英语语言艺术(ELA)。初步的分析表明，需要81名教师的样本才能检测到预测VAM的回归方程中R²增加了0.1，我们认为在R²中增加0.3的相关性是保守的，因为在先前的研究中发现一致性与成绩的相关性为0.45(Gamoran等人，1997年)。因此，我们以每个年级/科目的81名教师为目标，总目标样本为324名教师。在最大可能限度上，我们的目标是让教师均匀分布在参与MET研究的各个地区。这六个区是纽约市、达拉斯、丹佛、夏洛特-梅克伦堡、孟菲斯和佛罗里达州希尔斯伯勒县。在本文的其余部分中，由于与地区签订的保密协议，地区是匿名报告的。

为了招募参加此次研究的教师，我们首先列出了每个目标年级/科目的每个学区的教师名单，并从中随机选择一部分教师。不过，为了达到样本数目，我们最终选择招募各区目标年级和相应科目的所有教师。在2010学年结束前大约4周，我们通过电子邮件联系了教师，并邀请他们参加此次研究活动。这些教师们填写了一份简短的在线答复表，表明他们是否愿意参与。在六个学区中，有五个学区向教师发放了参加活动的礼品卡；而第六个学区规定不允许对教师进行补偿。此外，报名的所有教师都是自愿参加的。

在学年结束后的一周内，我们联系了表达参加意向的教师。他们收到一份链接到以颁布课程(SEC)内容分类调查为依据的在线教学调查表格。这项调查指导教师考虑选择一个我们事先准备的目标MET班级。虽然每位教师只被分配了一个目标班级，但一些数学和ELA的四年级教师选择完成这两个科目的调查(n=49)。这里使用的是这些教师对这两个科目的调查回复。

获得样本。这项研究获得的教师样本来自所有六个合作研究MET的地区。我们总共联络了701名教师参加，因为他们是在目标年级/科目任教。在这些人中，有388人报名参加，签约率为55%。在签约的人中，278人(72%)实际完成了一项调查(其中49人同时完成了两个科目的调查)。因此，总体参与率为39%。参与调查的教师集中在几个地区，在327项调查中，有100项来自第4区，90项来自第6区，参与率最高的是第3区，报名参加的教师有83%，而且全部都有参与。最糟糕的是第五区，只有29%的教师报名参加，其中38%的人实际完成了调查。报名参与率以及完成率这两个数据，第5区都明显低于其他地区的总和(z=6.97，plt;0.001和z=8.29，plt;0.001)。因为这是一个不允许给教师进行补偿反馈的地区。如果剔除这区，其余地区的签约率是62%，完成率是89%。第一区没有任何四年级教师参与更大规模的MET研究，第二区和第三区没有任何八年级教师。我们在四年级时达到了81名教师的目标，但到了八年级时，这两门课都没有达到这个目标。

考虑到这些回复率，我们试图核实参与者是否能代表全部MET教师样本。表1列出了每类教师(合格参与者、注册教师和非受访者)的描述性统计数据。这些描述性统计数据包括课堂特征和VAM、Tripod和教学框架(FFT)分数。这些比较突显出这两个群体之间几乎没有什么有意义的差异。与未签约的教师相比，签约报名的教师的班级白人显著(t=2.37，plt;0.05)，黑人/美国印第安人显著减少(t=minus;2.28，plt;0.05)。同样，没有完成调查的教师的班级中黑人/美国印第安人学生的数量明显多于完成调查的教师(t=minus;2.00，plt;0.05)。然而，参与者和非参与者在教师质量指标上没有显著的差异或明显的模式。这两个群体可能在一些与教学和学生结果相关的未被观察到的变量(例如，动机、适宜性、完成调查的空闲时间)上存在差异。Table 1参与者与未参与者的特征统计

测量方法

SEC，这项研究使用的教学一致性的衡量标准是SEC内容分类法(Porter，2002)为基础的。这些研究工具源于一篇研究数学教师在决定教学内容方面的文献(例如，Freeman等人，1983)，但SEC衡量的内容领域已经扩大到包括ELA、科学和社会研究。这些调查定义了特定主题和认知需求水平的交集内容。这些特定主题是根据教师和学科领域专家的意见随着时间的推移而制定的，目的是代表目标学科中K-12教学所涵盖的所有主题。下为概念(例如乘法分数)被分组到上位概念(例如运算)之下；数学中有183个下位概念，ELA中有133个下位概念。认知需求有五个层次——这些层次在数学和ELA之间略有不同，但通常从记忆到应用或创造

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 18 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[597881]，资料为PDF文档或Word文档，PDF文档可免费转换为Word