教育评价研究外文翻译资料

教育评价研究

作者：Anton Havnes,*, Kari Smith, Olga Dysthe,Kristine Ludvigsen b

国籍：挪威

出处：Studies in Educational Evaluation

关键词：形成性评价、反馈、学生的学习、中学教育

摘要：这个研究探讨了评估信息是如何被接收和处理的。该研究与一个为期两年并且涉及到六所挪威高中的介入项目有直接联系，特别关注职业培训和三个核心学科:英语、挪威语和数学。收集到的调查数据来自五所学校，包括职业教育和学术教育。其他数据来源是在五所学校中的三所进行的焦点小组访谈，涉及学生、教师和学校领导。研究结果显示，学生和教师对反馈实践的感知存在显著差异。在男孩和女孩之间以及不同学科之间也有显著差异。学生在职业培训中比在传统的学术课程中体验到更多的反馈。

前言

反馈被视为形成性评价的一个主要组成部分，也是对学习影响最强烈的因素之一。这种立场在政策文件中越来越被强调，被信任的品牌教师，并被期望在文化教育机构中根深蒂固。然而，积极的反馈效果并不是这样的。Kluger和DeNisi发现，超过三分之一的效果表明反馈对学习的消极影响。Shute使用了术语“形成性反馈”，她将其定义为“传递给学习者的旨在改变其思维或行为以提高学习的信息”。在她的文章中，她注意到反馈对学习有积极影响的方面。她综合了“要做的事”、“要避免的事”、“时间问题”和“学习者特征”等干预措施，作为文章的结语。Hattie和Timperley还讨论了以积极方式影响学习的反馈问题，并建立了一个“反馈促进学习”的模型(第87页)。这两种有影响力的文章有一个共同的特点:重点是提供反馈，反馈作为信息主要提供给学习者。在Shute(2008)的定义中，固有的假设是，它是改变思维和行为的信息。通过关注时间和学习者的特征，她也强调，在学习的传播模式上构建的信息的传递需要被检验，反馈提供者应该考虑到不同的学习者以不同的方式解释反馈信息。我们发现了相同的模式在Hattie和Timperley(2007)的模型中;他们会提前提供反馈信息或正面反馈信息。这些观点在探索中都有很好的研究基础，并且提供了有用信息为理解反馈如何提高学习。然而，在这些非常著名的评论文章中，有一个元素缺失了，或者被沉默了:施动型学习者的角色没有被明确阐述。有一个隐含的假设，为了使反馈成为形成性的和反馈能够促进学习，反馈需要以一种邀请学习者积极参与反馈的方式来制定、传递和构建。

在最近的一篇文章中，Sadler强调了在形成性评价的分析中，需要包括学生对反馈信息的理解以及在进一步学习中对反馈信息的积极利用。早些时候，Ramaprasad从组织理论的角度补充了积极使用反馈作为一个必要条件:信息是反馈，只有当它被用来改变“实际业绩水平和参考水平之间的差距”(另见Sadler, 1987)。Boud声称，“除非学生能够利用反馈来改进作业，例如，通过做同样的作业，否则他们和给予反馈的人都不会知道这是有效的。”尽管已经有人声称反馈的接收者是决定反馈是否有用的人，但我们仍然对学习者对反馈的反应的了解很少。

从给予反馈者(教师)和接受反馈者(学生)的角度来看，本文关注的中心是反馈的使用。我们寻求的特殊问题是:在同一情境(中学)中，教师和学生如何感知反馈实践?不同学科和不同课程(学术和职业)的反馈实践是否存在差异?这些问题产生了四个分析类别:教师-学生多样性、学科多样性、项目(学术与职业)多样性，以及学校多样性。

研究背景

这篇文章报告了一个研究和发展项目，该项目是在一个侧重于挪威西部六所高中评估的两年发展项目的背景下进行的。该发展项目是与区县合作实施的，该县所有高中都被邀请申请参与这个发展项目。六所项目学校的选择依据如下:

·城乡混合学校

·学术和职业学校的混合

·小型和大型学校的混合

·如学校发展计划所述，致力强调以学习为目的的评估

每一所学校都挑选了六名教师参与项目的发展部分，以确保在研究涉及的每个学科领域和学校领导层中至少有一名教师。该项目集中于将正在进行的实践和策略概念化，以改进挪威中学三个核心学术科目的反馈实践:英语、挪威语和数学。除了不同学科的差异之外，还有学术和职业(如烹饪、木工和美发)课程的混合。

作为发展项目的一部分，每一所学校都建立了一个发展计划，包括概念化持续实践和尝试新的策略形成性评估的科目。目前的论文集中在项目的早期阶段，然而学校正在计划干预反馈系统和实践。

论文的作者参与了开发项目的建立，有责任分工：学校区域负责监督和指导发展项目，大学研究人员负责研究部分。然而，研究人员监督项目负责人，对形成性评估的研究进行介绍，并对学校提出的计划进行反馈。有时有机会我们也会被邀请到去学校演讲。

研究设计，数据收集和分析

采用混合方法从调查对象中引出互补数据。这种混合方法设计结合了“呼吸的广泛目的以及理解和证实的深度”，从其中5所学校收集了定量调查数据(有一所学校无法组织数据收集)，定性数据(焦点小组访谈)收集自三所学校，包括职业培训和学术导向学校，定量数据是在项目第一年的半途，也就是2010年2月收集的。数据收集过程可概括如下:

·对所选5所学校(N = 192)的所有教师进行调查问卷；

·对这五所学校所有高一学生的调查(N = 391)；

·焦点小组访谈分别对三所学校的教师和领导(每所学校各一组)和两组学生(单独)进行访谈。

调查问题在测试和作业的背景下构建了评估和反馈实践。在访谈中，引入了更广泛的评估和反馈内容，这让我们得以探索评估和反馈的概念，并将分析扩展到教学、学习和解决问题的情境下的课堂实践和教师与学生之间、学生与学生之间的互动。

问卷通过两种方式进行验证。首先，一位调查专家严格审查了一份草案。接下来，调查由一组来自一所学校的学生和教师进行试点，这所学校不在样本学校之列，也没有参与开发项目，试点包括随后与参与的教师和学生进行讨论。调查结果根据评论进行了修改，并去掉了模棱两可的问题。网上调查表包括29个陈述，涉及评估和反馈系统和做法的不同方面。受访者被要求根据他们的经验来考虑这些说法是否正确。对于每种陈述，受访者可以从以下四个选项中选择一个:(1)正确，(2)几乎正确，(3)在一定程度上正确，(4)不正确。在调查的最后也有一个开放的空间供评论。通过使用一套为教师和学生群体设计的共享陈述，我们能够登记教师和学生的回答，并比较他们对评估和反馈的具体方面的看法。在三个学科(挪威语、英语和数学)中都被勾选，而职业项目的学生也在第四个类别上做出了回答:职业培训。教师们被要求回答其中的一个主题，并确定回答时涉及的主题(包括职业培训)。

调查问卷是在每个学校的课堂时间内发放给学生们的。教师根据自己的方便程度进行调查。这项研究被挪威科学数据服务处接受。在收集数据之前，研究人员向学生、家长和教师提供了有关这项研究的书面信息。

采用SPSS软件对定量数据进行分析。通过使用因素分析，我们可以将大量的变量压缩为四个类别，我们将这些类别作为学生和教师参与反馈的维度。

1. 反馈的质量(例如，反馈的长度，有或没有标记，告知优势和劣势，系统变量如时间和分数相对于纯粹的形成性反馈)。Cronbach的阿尔法系数为0.68，学生为0.75。
2. 学生对反馈的使用情况(如在课堂上完成作业的反馈，跟踪学生对反馈的使用情况，利用反馈调整教学)。Cronbach的阿尔法系数为0.69，学生为0.77。
3. 同事反馈(评论同事的工作)。Cronbach的阿尔法系数为0.74，学生为0.88。
4. 学生参与评估实践(讨论标准，学生设定自己的学习目标，使用这些标准评估自己的工作)。教师的Cronbach阿尔法系数为0.78，学生为0.87。

表1

学校 学生 反应率 老师 反应率

学校1 54 110 49% 21 31 67%

学校2 72 97 74% 30 46 65%

学校3 67 88 76% 19 31 61%

学校4 48 63 76% 20 23 86%

学校5 149 321 46% 102 183 55%

总计 391 679 57% 192 314 61%

学生和教师的两栏显示了被调查者的人数和学校的学生和教师的总数,与学生相比教师人数较多是因为所有教师都是被调查者，但只有高中一年级的学生。

表1总结了网上调查的答复率。左栏为学生和教师，表示受访者人数，右栏为学生和教师总数。所有的教师，但只有高中一年级的学生被包括在内，这导致教师的比例相对高于学生。

数量数据为评估和反馈做法以及在项目、任务和测试方面使用评估信息和反馈提供了基线。访谈以定量分析的结果作为起点，目的是更详细地探讨教师和学生对评价和反馈的看法，以及评价和反馈如何形成和支持学生的学习。本研究于四月对两所学校的校长、教师及学生进行焦点小组访谈。为了补充定性数据，我们在2010-2011学年的9月对第三所学校的教师和学生进行了焦点小组访谈。学校领导招募学生和老师参加面试。我们有两个学生焦点小组，一个是教师，另一个是三所学校的领导。由于样本是基于自我招募，可能在学生中有过高的高分代表。这可能意味着，与更具代表性的受访者选择所呈现的相比，定性数据在学生参与反馈方面给予了更积极的印象。

访谈数据采用NVivo软件根据因子分析中出现的类别进行编码，在分析的结果下，开发了子类别，本文中没有对学校领导地位的分析。

发现

调查发现

定量数据的结果在更广泛地呈现四次访谈的定性数据之前呈现。

从数据中可以看出，除了评分外，教师还会对考试和作业进行反馈。没有分数的反馈——纯粹的形成性反馈——或者在学生注意到反馈后才给分数，这是很罕见的。反馈与评价挂钩。

大多数学生认为对考试和作业的反馈是有用的，它们提供了关于他们如何表现以及对他们的期望的信息。然而，一大群学生发现他们收到的反馈是没有用的，出现的主要情况是形成性评估文化普遍较弱。Shute建议Black和williams和Sadler从Hattie和Timperley的反馈促进学习模型的角度分析了所有被试在学生参与、反馈质量和同伴反馈方面的薄弱。测试和作业反馈的使用尤其薄弱，另一方面，当学生完成作业时，老师和学生报告的反馈比完成作业时更广泛。

除了两所学校在学生参与这一分析维度上存在显著差异外，其他维度上没有显著差异。因此，我们排除了学校多样性作为分析范畴。

表2总结了根据其余三个分析类别:项目、学科和师生多样性进行的定量分析的主要结果。

项目多样性

挪威语、英语和数学都是学术和职业课程的科目。各项目之间这些科目的反馈实践之间没有显著差异。差异出现在职业教育的实际部分:职业培训。在这里，学生在设定目标和标准时比在学术课程中更容易被纳入，他们报告的同伴反馈也更多。职业培训的教师也强调学生参与评估和反馈。因此，由于职业培训的组成部分，职业课程的学生比学术课程的学生更注重反馈。

主题多样性

通过比较研究对象，我们发现挪威语和英语之间没有差异，除了挪威语教师比英语教师表达了更多的学生参与。因此，在分析中我们将挪威语作为挪威语和英语的一个范畴，在一周形成性评估文化的总体情况下，数学、挪威语和职业培训之间存在差异，教师和学生都报告说，与学术学科相比，职业学科的学生更多地参与评估和反馈；与语言学科相比，学生们对他们收到的反馈更满意，并报告更频繁地使用同侪评估。另一种模式是，与职业培训和挪威语相比，学生在数学方面的反馈更少。反馈很短，学生们不参与讨论标准，同伴评估也很少见。另一方面，数学课程强调指导学生解决问题的策略，确保他们理解任务，学生更热衷于在测试后纠正错误。

师生多样性

学生和老师都同意学生不被包括在计划，设定标准或讨论解决问题的策略，学生和老师在这个问题上意见一致，他们还同意，同行

剩余内容已隐藏，支付完成后下载完整资料

附：外文原文

Studies in Educational Evaluation

Keywords : Formative assessment; Feedback; Student learning; Secondary school;

Abstract：The study explores how assessment information is received and attended to. The research is linked to a 2-year intervention project involving six Norwegian upper secondary schools, and with a particular focus on vocational training and the three core subjects: English, Norwegian and Mathematics. Survey data was collected from five schools, including both vocationally and academically oriented education. Other sources of data are focus-group interviews in three of the five schools, involving students, teachers and school leaders. Findings show that there are significant differences in how students and teachers perceive feedback practices. There are also significant differences between boys and girls, as well as within the various school subjects. Students experience more feedback in vocational training than in the more traditional academic subjects.

Feedback is seen as a primary component in formative assessment and one of the factors that have the strongest influence on learning (Black amp; Williams,1998; Crooks, 1988;Hattie amp; Timperley,2007; Hattie, 2009). This stance is increasingly being emphasized in policy documents, trusted by teachers and expected to be ingrained in the cultures of educational institutions (Crisp, 2007). However, positive effects of feedback are not always the case. Kluger and DeNisi (1996) found that more than one third of the effects indicated negative impact of feedback on learning. Shute (2008) uses the term formative feedback which she defines as “information communicated to the learner that is intended to modify his or her thinking or behavior for the purpose of improving learning” (p.154). In her article she draws attention to aspects of feedback that actually have positive impact on learning. She wraps up the article by synthesizing lists of interventions like “things to do”, “things to avoid”, “timing issues” and “learner characteristics” .Hattie and Timperley (2007) also address aspects of feedback that influence learning in a positive way and develop a model of “feedback to enhance learning”(p. 87). Both these influential articles have one common trait: the focus is on the provision of feedback and characteristics of the feedback as information provided mainly to the learner. Inherent in Shutersquo;s (2008) definition is the assumption that it is the message that modifies thinking and behavior. By focusing on timing and learner characteristics she also emphasizes that the delivery of the information building on a transmission model of learning needs to be examined, and the feedback provider should take into consideration that different learners interpret feedback information in diverse ways. We find the same pattern in Hattie and Timperleyrsquo;s (2007) model; they bring the feedback information or feedback message up-front. These perspectives are well grounded in research and bring forward useful information that is needed to understand how feedback enhances learning. However, there is an element that is missing – or silenced – in these well-known review articles: the role of the agentive learner is not explicitly elaborated (Sadler, 1989a,b; Wiliam,2011). There is an implicit assumption that for feedback to be formative (Shute) and feedback to enhance learning (Hattie and Timperley) the feedback needs to be formulated, delivered and framed in such a way that it invites learnersrsquo; active engagement with the feedback.

In a recent article Sadler (2010) emphasized the need to include in the analysis of formative assessment studentsrsquo; understanding of the feedback information and the active use of it in further learning. Earlier, Ramaprasad (1983, p. 5), from an organization theory perspective added the active use of feedback as a necessary condition: The “information [hellip;] is feedback only when it is used to alter the gap” between the actual level of performance and the reference level (see also Sadler, 1987). Boud (2000, p. 158) claims that “unless students are able to use the feedback to produce improved work, through, for example, redoing the same assignment, neither they, nor those giving the feedback, will know that it has been effective”. Even though claims have been made that the receiver of feedback is the one who decides if the feedback is to be of use or not, we still know little about the learnersrsquo; response to feedback (Jonsson forthcoming).

In this paper the center of attention is the use of feedback, as viewed by those who give feedback (teachers) and those who receive feedback (students). The specific questions to which we sought answers are: How do teachers and students in the same context (secondary school) perceive feedback practice? Are there differences in feedback practices across subjects and across programmers (academic versus vocational)? These questions generate four analytical categories: teacher–student diversities, subject diversities, programmer (academic versus vocational) diversities, and diversities across schools.

Context of the study

The article reports from a research and development project that was conducted in the context of a two years development project focusing on assessment in six upper secondary schools in Western Norway. The development project was run in collaboration with the regional county. All upper secondary schools in the county were invited to apply for participating in the development project. The six project schools were selected according to the following criteria:

·Mixture of rural and city schools

·Mixture of academic and vocational oriented schools

·Mixture of small and larger schools

·Engagement in emphasizing assessment for learning, as expressed in the schoolrsquo;s development plan.

Each school had selected six participating teachers for the developmen

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[595507]，资料为PDF文档或Word文档，PDF文档可免费转换为Word