Егэ по литературе 9 класс 2019: Олимпиада по литературе 2019-2020 школьный этап г. Москва

Экзаменационные средние показатели по стране — Канада

• Средние национальные показатели за 2019 г. — практические

  ДИСЦИПЛИНА	УРОВЕНЬ	СРЕДНЯЯ ОТМЕТКА
  Аккордеон	Уровень 5	91,0
  	Уровень 8	91,0
  	Уровень 9	78. 0
  Фагот	Уровень 1	86,5
  	Уровень 2	89,8
  	Уровень 4	65,0
  	Уровень 6	87,3
  	Уровень 8	64,0
  Кларнет	Подготовительный	82,5
  	Уровень 1	82.5
  	Уровень 2	85,3
  	Уровень 3	76,2
  	Уровень 4	72,2
  	Уровень 5	76,7
  	Уровень 6	79,4
  	Уровень 7	75,3
  	Уровень 8	73,3
  	Уровень 9	72. 5
  	Уровень 10	81,3
  Контрабас	Уровень 5	84,0
  	Уровень 6	82,3
  Эуфониум	Уровень 4	90,0
  	Уровень 6	78,7
  	Уровень 8	88,0
  	Уровень 9	77.0
  Флейта	Подготовительный	81,5
  	Уровень 1	75,8
  	Уровень 2	76,6
  	Уровень 3	81,4
  	Уровень 4	80,6
  	Уровень 5	74,0
  	Уровень 6	76. 1
  	Уровень 7	77,7
  	Уровень 8	75,1
  	Уровень 9	76,7
  	Уровень 10	61,7
  	Исполнители ARCT	79,3
  Валторна	Уровень 1	89,6
  	Уровень 2	91.0
  	Уровень 4	87,8
  	Уровень 6	80,5
  	Уровень 8	85,7
  	Уровень 9	77,5
  	Исполнители ARCT	85,0
  Гитара	Подготовительный	79,8
  	Уровень 1	79.1
  	Уровень 2	75,7
  	Уровень 3	75,0
  	Уровень 4	73,0
  	Уровень 5	74,0
  	Уровень 6	76,0
  	Уровень 7	66,5
  	Уровень 8	65,5
  	Уровень 9	69. 8
  	Уровень 10	65,2
  	Исполнители ARCT	80,0
  Арфа	Уровень 2	79,9
  	Уровень 4	87,4
  	Уровень 6	69,2
  	Уровень 8	67,4
  	Уровень 9	87.5
  	Уровень 10	81,2
  	Исполнители ARCT	34,0
  Гобой	Уровень 1	88,8
  	Уровень 2	89,5
  	Уровень 4	86,6
  	Уровень 6	85,1
  	Уровень 8	72.0
  Орган	Уровень 7	84,3
  	Уровень 8	72,0
  	Уровень 9	85,0
  	Уровень 10	81,5
  	Исполнители ARCT	83,3
  Перкуссия	Уровень 1	85,8
  	Уровень 2	83. 0
  	Уровень 4	78,0
  	Уровень 6	81,7
  	Уровень 9	83,0
  	Уровень 10	95,0
  Фортепиано	Подготовительный А	85,1
  	Подготовительный Б	83,5
  	Уровень 1	81.2
  	Уровень 2	79,6
  	Уровень 3	76,8
  	Уровень 4	77,6
  	Уровень 5	75,4
  	Уровень 6	75,2
  	Уровень 7	75,7
  	Уровень 8	73,9
  	Уровень 9	76. 1
  	Уровень 10	74,2
  	Исполнители ARCT	74,2
  	Начальная фортепианная педагогика	77,9
  	Промежуточная педагогика фортепиано	78,3
  	Продвинутая педагогика игры на фортепиано	66,6
  	Продвинутая фортепианная педагогика Viva Voce	74.2
  	Лицензиат	77,0
  Саксофон	Подготовительный	91,0
  	Уровень 1	80,2
  	Уровень 2	84,3
  	Уровень 3	78,7
  	Уровень 4	77,0
  	Уровень 5	78.3
  	Уровень 6	74,4
  	Уровень 7	74,3
  	Уровень 8	64,9
  	Уровень 9	73,0
  	Уровень 10	81,5
  Речь и драма	Подготовительный	81,2
  	Уровень 1	76. 1
  	Уровень 2	82,0
  	Уровень 3	82,9
  	Уровень 4	81,0
  	Уровень 5	82,3
  	Уровень 6	82,0
  	Уровень 7	84,4
  	Уровень 8	78,9
  	Уровень 9	85.2
  	Уровень 10	76,4
  	Исполнители ARCT	90,0
  	Преподаватели ARCT, часть 1	40,0
  	Преподаватели ARCT, часть 2	41,0
  Тромбон	Уровень 1	77,7
  	Уровень 4	85,7
  	Уровень 6	65. 4
  	Уровень 8	84,5
  	Уровень 10	88,0
  Труба	Подготовительный	91,0
  	Уровень 1	83,7
  	Уровень 2	68,7
  	Уровень 3	85,5
  	Уровень 4	83.0
  	Уровень 5	73,5
  	Уровень 6	71,7
  	Уровень 7	77,8
  	Уровень 8	66,2
  	Уровень 9	81,7
  	Уровень 10	90,0
  Туба	Уровень 4	85.0
  	Уровень 6	85,0
  	Уровень 8	86,7
  Виола	Уровень 1	83,5
  	Уровень 2	82,7
  	Уровень 3	84,7
  	Уровень 4	77,1
  	Уровень 5	78. 4
  	Уровень 6	80,1
  	Уровень 7	84,8
  	Уровень 8	74,2
  	Уровень 9	79,5
  	Уровень 10	75,8
  	Исполнители ARCT	93,0
  Скрипка	Подготовительный	81.8
  	Уровень 1	81,5
  	Уровень 2	78,5
  	Уровень 3	76,5
  	Уровень 4	76,5
  	Уровень 5	74,7
  	Уровень 6	76,0
  	Уровень 7	74,6
  	Уровень 8	73. 7
  	Уровень 9	77,0
  	Уровень 10	74,3
  	Исполнители ARCT	78,6
  Виолончель	Подготовительный	88,6
  	Уровень 1	79,0
  	Уровень 2	70,9
  	Уровень 3	77.9
  	Уровень 4	76,7
  	Уровень 5	75,8
  	Уровень 6	76,1
  	Уровень 7	72,5
  	Уровень 8	74,4
  	Уровень 9	62,6
  	Уровень 10	73,2
  	Исполнители ARCT	82. 3
  Голос	Подготовительный	87,1
  	Уровень 1	80,8
  	Уровень 2	81,7
  	Уровень 3	79,9
  	Уровень 4	79,0
  	Уровень 5	78,1
  	Уровень 6	76.7
  	Уровень 7	77,6
  	Уровень 8	75,5
  	Уровень 9	76,9
  	Уровень 10	79,5
  	Исполнители ARCT	78,6
  	Учителя ARCT	71,0

• Средние национальные показатели за 2019 г. — теория

  УРОВЕНЬ И ПРЕДМЕТ	СРЕДНЯЯ ОТМЕТКА
  Уровень 5 Теория	83.5
  Уровень 6 Теория	80,0
  Уровень 7 Теория	84,8
  Уровень 8 Теория	80,4
  Уровень 9 Гармония	71,8
  Уровень 9 История	76,1
  Клавиатура уровня 9 Harmony	79,6
  Уровень 10 Гармония и контрапункт	69.0
  Уровень 10 История	76,2
  Клавиатура уровня 10 Harmony	82,9
  Начальная фортепианная педагогика	74,0
  Промежуточная педагогика фортепиано	76,6
  Продвинутая педагогика игры на фортепиано	80,1
  Анализ ARCT	76. 7
  ARCT Гармония и контрапункт	72,2
  История ARCT	82,6
  Клавиатура ARCT Harmony	80,8
  ARCT Учитель: гитара	80,0
  ARCT Учителя: Голос	59,3
  Уровень 1 История речи и литература	77.0
  Уровень 1 Речевые технологии и теория	76,0
  Уровень 2 История речи и литература	77,2
  Уровень 2 Речевые технологии и теория	73,7
  Уровень 3 История речи и литература	67,0
  Уровень 3 Речевые технологии и теория	78,6
  Уровень 4 Речевые технологии и теория	58. 0

%PDF-1.7 % 2711 0 объект > эндообъект внешняя ссылка 2711 107 0000000016 00000 н 0000003732 00000 н 0000004035 00000 н 0000004072 00000 н 0000004158 00000 н 0000004187 00000 н 0000004431 00000 н 0000007725 00000 н 0000007907 00000 н 0000008362 00000 н 0000008758 00000 н 0000009269 00000 н 0000009769 00000 н 0000010186 00000 н 0000010723 00000 н 0000010980 00000 н 0000011019 00000 н 0000011136 00000 н 0000011251 00000 н 0000011364 00000 н 0000011931 00000 н 0000012364 00000 н 0000012879 00000 н 0000012984 00000 н 0000013835 00000 н 0000014383 00000 н 0000014978 00000 н 0000015229 00000 н 0000015972 00000 н 0000016838 00000 н 0000017820 00000 н 0000018937 00000 н 0000019157 00000 н 0000019392 00000 н 0000020315 00000 н 0000021290 00000 н 0000022004 00000 н 0000022860 00000 н 0000049864 00000 н 0000052698 00000 н 0000055928 00000 н 0000058578 00000 н 0000069113 00000 н 0000069376 00000 н 0000069807 00000 н 0000070321 00000 н 0000070398 00000 н 0000070430 00000 н 0000070507 00000 н 0000073464 00000 н 0000080343 00000 н 0000110075 00000 н 0000110144 00000 н 0000110263 00000 н 0000113220 00000 н 0000116177 00000 н 0000123056 00000 н 0000208389 00000 н 0000208833 00000 н 0000208910 00000 н 0000208942 00000 н 0000209019 00000 н 0000211976 00000 н 0000216569 00000 н 0000216903 00000 н 0000216972 00000 н 0000217091 00000 н 0000220048 00000 н 0000223005 00000 н 0000227598 00000 н 0000274853 00000 н 0000275294 00000 н 0000275371 00000 н 0000275403 00000 н 0000275480 00000 н 0000278425 00000 н 0000283924 00000 н 0000284258 00000 н 0000284327 00000 н 0000284446 00000 н 0000287391 00000 н 00002 00000 н 0000295835 00000 н 0000348591 00000 н 0000349032 00000 н 0000349367 00000 н 0000349930 00000 н 0000350229 00000 н 0000350552 00000 н 0000350676 00000 н 0000351921 00000 н 0000352219 00000 н 0000352339 00000 н 0000354010 00000 н 0000354297 00000 н 00003 00000 н 00003 00000 н 00003 00000 н 0000422630 00000 н 0000422671 00000 н 0000425302 00000 н 0000429135 00000 н 0000432968 00000 н 0000472189 00000 н 0001171385 00000 н 0000003507 00000 н 0000002485 00000 н трейлер ]/Предыдущая 1640286/XRefStm 3507>> startxref 0 %%EOF 2817 0 объект >поток hQluǿZ[ե۵1:;Ʀ YHq0p[X׭5Kdy

​Систематическое расхождение между оценкой учителем и оценкой на основе тестов: обзор литературы​

Авторы

Этот отчет был написан Минг Вэй Ли и Полом Ньютоном из Управления стратегических рисков и исследований Ofqual.

Резюме

Анализ равенства, проведенный Ofqual в прошлом году, пришел к выводу, что оценки центральных оценок (CAG) лета 2020 года систематически не ставят учащихся в невыгодное положение на основании их защищенных характеристик или социально-экономического статуса, предполагая, что суждения/прогнозы учителей, лежащие в основе CAG в 2020 году, не отличаются от в основном оценки на основе экзаменов в 2018 и 2019 годах из-за предвзятости. Учитывая концептуальное различие между прогнозированием учителем будущей успеваемости и оценкой учителем текущих достижений, в этом году был проведен дополнительный обзор литературы по систематическим расхождениям между результатами, полученными учителем, и оценками на основе тестов, чтобы повысить осведомленность о потенциальных рисках для надежности результатов оценки. которые полностью основаны на суждениях учителя.

Проанализированная литература предполагает, что относительное соответствие (измеряемое сходством в порядке ранжирования учащихся) между результатами, полученными учителем и оценками, основанными на тестах, находится на уровне, сравнимом с относительным согласием между прогнозом учителя и фактическими достижениями. В то время как имеется достаточно свидетельств склонности учителей к щедрости при прогнозировании оценок, представляется мало свидетельств эквивалентности (то есть завышенной оценки учителей по сравнению с результатами тестов) в оценке учителей в оценке национальной учебной программы в Англии, но исследования из-за рубежа обнаружили что в случае расхождений между оценками учителя и зачета гораздо чаще встречалась завышенная оценка учителями (относительно оценок за зачет), чем заниженная.

Что касается оценки учителей, то данные о предвзятости учителей по признаку пола неоднозначны, но часто наблюдается небольшая предвзятость в пользу девочек (или против мальчиков). Доказательства в отношении этнической принадлежности также неоднозначны: есть данные о предвзятости как против, так и в пользу каждой группы меньшинства (по отношению к группе большинства), а также результаты об отсутствии предвзятости. Свидетельства о неблагополучии и особых образовательных потребностях (ООП) менее противоречивы, причем распространенными являются предвзятость в отношении более обездоленных (или в пользу менее обездоленных) и предвзятость в отношении учеников с ООП (или в пользу тех, у кого их нет).

Уникальное обстоятельство, при котором оценки учителей запрашиваются на лето 2021 года, означает, что оценка учителей, которая должна быть проведена, не имеет точной аналогии в 22 рассмотренных исследованиях, и ни одно из рассмотренных исследований не является безоговорочно информативным относительно лета 2021 года. Проводя этот обзор, мы не предполагая, что только оценка учителя подвержена предвзятости или что свидетельство систематического расхождения является неопровержимым доказательством ошибки или предвзятости в суждениях учителя. Однако большая субъективность оценки учителей делает ее более уязвимой для предвзятости, чем оценка на основе тестов, и, таким образом, неоднократные отчеты о доказательствах систематического расхождения подчеркивают возможность предвзятости в суждениях об оценке учителей.Поэтому для учителей будет важно осознавать потенциальные риски для обоснованности своих суждений и предпринимать шаги для их смягчения, следуя рекомендациям Ofqual относительно объективности.

Введение

В апреле 2020 года в рамках оценки воздействия на равенство предложенного тогда метода летнего награждения, основанного на стандартизации оценок центра (CAG), Ofqual провел быстрый обзор исследовательской литературы, чтобы понять характер и степень любой предвзятости, которая могут возникнуть при использовании этих оценок (Lee & Walter, 2020).В обзор вошли исследования по:

1. (i) общая оценка учителей
2. (ii) прогнозируемые учителем оценки уровня A, используемые при поступлении в университет
3. (iii) оценки, прогнозируемые учителями, которые экзаменационные комиссии использовали в качестве источника данных для обоснования установления границ оценок

(ii) и (iii) имели большее значение в то время, потому что учителя действительно должны были заниматься прогнозированием оценок и прогнозированием — на лето 2020 года CAG были оценками, которые центры предсказывали или прогнозировали, что их ученики достигнут если бы они сдали экзамены.

Год спустя летние экзамены снова были отменены из-за пандемии, и в соответствии с политикой правительства учащимся будут выставляться оценки на основе суждений учителей. Летом 2021 года учителей не будут просить прогнозировать или прогнозировать оценки. Вместо этого ожидается, что они будут делать обобщающие суждения об успехах своих учеников в отношении преподаваемого предмета, опираясь на ряд оценочных данных по своему усмотрению. Учитывая разницу в задачах, требуемых от учителей, уместно вернуться к прошлогоднему обзору литературы и обновить часть об оценке учителей, которая приобретает большую актуальность в нынешнем контексте.

Проводя обзоры исследовательской литературы о возможной предвзятости в суждениях учителей, мы не утверждаем, что только оценка учителей подвержена предвзятости. Фактически, наш анализ равенства в прошлом году (Lee, Stringer & Zanini, 2020) пришел к выводу, что CAG лета 2020 года не поставили учащихся систематически в невыгодное положение на основе их защищенных характеристик или социально-экономического статуса (как и стандартизированные/расчетные оценки, ни итоговые оценки, которые были выше из CAG и рассчитанных оценок), предполагая, что суждения/прогнозы учителей, лежащие в основе CAG в 2020 году, не отличались от оценок, основанных главным образом на экзаменах в 2018 и 2019 годах, с точки зрения предвзятости. Результаты тестов, а также оценки учителей могут показать пробелы в достижениях по характеристикам учащихся. Сами по себе они не указывают на предвзятость в оценке, поскольку могут отражать реальные различия в достижениях. Наш анализ равенства в прошлом году обнаружил в оценках выпускных экзаменов в школе летом 2019 года (когда оценки по всем предметам полностью или в основном основывались на экзаменах) существенные пробелы в успеваемости по признаку пола, социально-экономического статуса и т. д., которые нельзя было объяснить пробелы в предыдущих достижениях.Поскольку при относительно более объективном проведении, выставлении и выставлении оценок на экзаменах предубеждениям трудно проявиться, эти разрывы в успеваемости с гораздо большей вероятностью отражают подлинные различия в успеваемости, возникающие в результате социального неравенства в образовательных возможностях, чем предубеждения. Сказав это, мы не предвзято относимся к предвзятости в оценке на основе тестов. И мы знаем об опасениях по поводу надежности результатов квалификаций (которые имеют только или в основном оценки на основе тестов) (Bramley & Dhawan, 2010; Rhead, Black & Pinot de Moira, 2016, 2018; Wheadon & Stockford, 2010).

Существует ряд широко цитируемых обзоров литературы по оценке учителей. Brookhart (2013) подвел итог исследованиям в американском контексте. Hoge and Coladarci (1989; см. также повторный анализ Kaufmann, 2020), Südkamp, ​​Kaiser and Möller (2011) и Urhahne and Wijnia (2021) провели метаанализ исследований точности суждений учителей об академических достижениях и рассказал о результатах сдерживающего воздействия (или его отсутствия) характеристик учащихся на точность суждений учителя.Они почти не включали британское исследование. Обзоры, в которых рассматривались соответствующие британские исследования, были предоставлены Харленом (2005) и Джонсоном (2013), которые, однако, не проводили различия между суждением учителя о текущих достижениях и оценкой учителем предполагаемой успеваемости. Из-за ограниченности существующих обзоров литературы мы проводим собственный обзор первичной литературы о систематических расхождениях между результатами оценок учителей и оценок на основе тестов. Доказательства систематического расхождения не являются прямым свидетельством ошибки или предвзятости в оценках учителей.Это связано с тем, что всегда возможно, например, что тест компаратора может быть смещен (как предложено выше) или что оба теста смещены ^{[сноска 1]} . Однако большая субъективность оценки учителя делает ее более уязвимой для предвзятости, чем оценка на основе тестов, и поэтому свидетельства систематического расхождения указывают на возможность предвзятости в суждениях об оценке учителей. Выдвигая на первый план любые такие доказательства, мы не предполагаем, что суждения учителей на лето 2021 года обязательно будут предвзятыми, но мы надеемся повысить осведомленность о потенциальных рисках для надежности этих суждений и необходимости снизить эти риски.

Для этого обзора мы нашли 22 релевантных исследования за последние 30 лет. Они удовлетворили всем нашим критериям включения:

1. (i) исследование содержит некоторый анализ результатов итоговой оценки педагогами успеваемости учащихся по предмету в определенное время
2. (ii) исследование содержит сравнение результатов оценки одного и того же учителя и тестов на основе результатов одних и тех же учащихся
3. (iii) сравнение в (ii) носит количественный характер, использует подходящие статистические методы и опирается на крупномасштабные натуралистические или полунатуралистические данные.

^{[сноска 2]}

Исследования можно разделить на 3 типа в зависимости от источника данных:

1. (i) исследование с использованием натуралистических данных установленной законом национальной учебной программы в Англии
2. (ii) исследования, аналогичные (i) из других юрисдикций
3. (iii) исследования с использованием полунатуралистических данных, собранных специально для крупномасштабных когортных исследований или исследовательских проектов в Великобритании или за рубежом

Данные оценки национальной учебной программы в Англии

Оценки по установленной законом национальной учебной программе (NCA) в Англии включают в себя комбинацию оценок, проводимых учителем, и оценок на основе тестов, которые проводятся в конце каждого ключевого этапа.Исследования, в которых изучалась оценка учителей с использованием данных NCA:

• Берджесс и Гривз (2013): KS2 (6 лет, 11 лет) в 2002-5

• Durant (2003): KS1 (2 года, 7 лет) в 1998-2002 годах; КС2 (6 лет, 11 лет) в 1996-2002 гг. ; КС3 (9 лет, 14 лет) в 1998-2002

• Гиббонс и Шевалье (2008): KS3 (9 лет, 14 лет) в 2002–2005 гг. Plewis (1997): KS1 (2 года, 7 лет) в 1991 году

• Ривз, Бойл и Кристи (2001): KS2 (6 лет, 11 лет) в 1996-8

• Римфельд, Маланчини, Ханниган, Дейл, Аллен, Харт и Пломин (2019): KS1/2/3 (2/6/9 года, 7/11/14 года) в 2001-3/2005-7/2008-10

• Томас, Смис, Мадаус и Рачек (1998): KS1 (2 года, 7 лет) в 1992 году

На момент сбора данных, на основе которых проводились эти исследования, оценки учителей и результаты тестов имели одинаковый статус.Тесты фиксировали успеваемость учеников, а оценки учителей учитывали доказательства успеваемости, полученные в ходе программы обучения. Предполагалось, что две оценки должны были предоставить дополнительную информацию об успеваемости учащихся по окончании ключевого этапа, хотя некоторые элементы учебной программы (например, говорение и аудирование на английском языке) по замыслу оценивались только учителями. Интерпретируя любое обнаружение (систематического) расхождения между результатами двух методов оценки, следует иметь в виду возможность того, что эти два метода оценки не измеряли одну и ту же конструкцию и что учащиеся могли быть действительно разными во время оценок ( например, они могли быть не в одинаковой степени мотивированы и увлечены двумя методами оценивания, или они могли улучшить свои достижения за время, прошедшее между двумя оцениваниями).

NCA как источник данных для исследования учителей и оценок на основе тестов имеет и другие недостатки, которые наиболее подробно обсуждались Reeves et al. (2001) и упоминается только в некоторых из упомянутых выше исследований. Структура системы NCA была такова, что учителя и тестовые оценки не были полностью независимыми. Учитель, ответственный за оценку учителя, может в некоторой степени ограничить то, что его ученик может достичь на тесте, определив, например, уровень, на который учащийся должен войти в KS3 по математике и естественным наукам, должен ли учащийся сдавать дополнительные тесты. для более высоких уровней в KS2, что учащийся показал слишком низкий уровень для сдачи теста.Более того, учитель имел доступ к результатам тестов своих учеников, когда окончательно оценивал учеников ^{[сноска 3]} . Результаты NCA по двум методам оценки могли бы иметь более высокий уровень согласия, чем это было бы возможно, если бы они работали более независимо, что следует иметь в виду при интерпретации любого вывода об отсутствии (систематического) расхождения.

В NCA оценка учителей и оценка на основе тестов были зарегистрированы по одной и той же шкале уровней успеваемости, поэтому можно было изучить абсолютное соответствие между результатами двух методов оценки, то есть, как часто ученик оценивался как успевающий. на том же уровне учителем, что и тестом (см. сводку соответствующих анализов в Таблице 1) ^{[сноска 4]} .Строки, помеченные TA=Test в таблице 1, показывают уровни абсолютного согласия у разных субъектов на разных ключевых этапах. Абсолютное согласие более 60% было обнаружено по всем предметам в KS2 и KS3, за исключением английского языка в KS3, в то время как во всех разделах программы английского языка в KS1 и KS3 уровень абсолютного согласия был ниже 60%. Когда уровни, полученные учителем и тестом, не совпадали, недооценка учителем относительно результатов теста была немного более распространенной, чем завышенная, во всех анализах естественных наук, но не было четкой тенденции к заниженной или завышенной оценке учителем в Английский язык и математика ^{[сноска 5]} .

Таблица 1: Резюме анализа абсолютной согласованности между результатами, полученными учителем, и оценками, основанными на тестах, в оценке национальной учебной программы

† На основании данных Durant (2003 г. , приложения 1-3 для KS1 и 7-9 для KS3).

†† На основании данных Burgess and Greaves (2013 г., таблица 1), Durant (2003 г., приложения 4-6) и Reeves et al. (2001 г., таблица VI).

Римфельд и др. (2019) и Томас и соавт. (1998) рассчитали простые корреляции между оценкой учителя и результатами тестов. Эти корреляции можно рассматривать как меры относительного соответствия между двумя оценками, то есть того, насколько хорошо ранжирование учеников учителями соответствовало ранжированию тех же учеников в тесте. Согласно Rimfeld et al., корреляции равны 0.74 балла по английскому языку и математике в KS1 и варьировались от 0,64 до 0,78 по всем предметам в KS2 и KS3, за исключением естественных наук KS3. Согласно Rimfeld et al., низкая корреляция 0,25 для науки KS3, вероятно, была связана с низкой надежностью теста.

Умеренный уровень абсолютной согласованности, показанный в Таблице 1, свидетельствует о том, что между результатами, полученными учителем, и оценками, основанными на тестах, в NCA было значительное расхождение. Характер расхождения варьировался в зависимости от уровня успеваемости, как отмечают Берджесс и Гривз (2013 г.) и Гиббонс и Шевалье (2008 г.): по всем предметам более успевающие ученики были более подвержены занижению оценок (относительно результатов теста) учителями, чем менее успевающие. , и учителя с более низкой успеваемостью чаще переоценивали, чем более успевающие.Обратите внимание, что из-за нижнего / верхнего предела шкалы оценок учителя для учеников с самой низкой / самой высокой успеваемостью могут быть только такими же или быть завышенными / заниженными по сравнению с результатами теста. Согласно анализу Гиббонса и Шевалье, изменение картины расхождения в зависимости от уровня достижений не было артефактом нижнего / верхнего предела шкалы оценок и относилось не только к самым высоким и самым низким ученикам.

Вопрос о любом другом систематическом характере расхождений в данных NCA изучался в 5 из 7 исследований, перечисленных выше.В 5 исследованиях не использовался один и тот же метод анализа для проверки систематического расхождения. Их общее обоснование заключалось в том, что меньшая субъективность теста делает его менее уязвимым для предвзятости, и поэтому результаты теста, вероятно, лучше отражают успеваемость учащихся, и если какой-либо разрыв в успеваемости по характеристике ученика обнаруживается в результатах, оцениваемых учителем после учета ( или обуславливая) разрыв в достижениях по одной и той же характеристике учащегося в результатах тестирования, это свидетельствует о систематическом расхождении, которое указывает на возможную предвзятость в суждениях об оценке учителя в отношении этой характеристики учащегося ^{[сноска 6]} .

В этом обзоре рассматриваются следующие характеристики учащихся: пол, этническая принадлежность, социально-экономический статус, статус с особыми образовательными потребностями (SEN) и статус английского как дополнительного языка (EAL). В таблицах 2–4 показаны условные пробелы в достижениях в результатах, оцениваемых учителями, которые были обнаружены или не обнаружены в различных анализах на основе проверки значимости соответствующих статистических данных (p<0,05) из источников, указанных в нижней строке таблиц. . Также в нижнем ряду указано количество наблюдений в анализе, из которых были получены цитируемые значимые результаты испытаний.Следует помнить, что статистическая значимость частично зависит от размера выборки: истинный эффект может не оказаться значимым из-за недостаточного размера выборки, в то время как эффект, который слишком мал, чтобы иметь практическое значение, может оказаться значимым при анализе очень большая выборка.

Все разрывы в успеваемости, показанные в таблицах 2-4, зависели от результатов тестов, и, за исключением результатов Plewis (1997), они дополнительно зависели от других характеристик учащихся, а в некоторых случаях и от школ.Понятие обусловленности можно проиллюстрировать на примере с использованием реальных данных. В проведенном Берджессом и Гривзом (2013) анализе данных KS2 по английскому языку можно увидеть «грубую» разницу в результатах, оцениваемых учителем, между индийскими и белыми учениками в том, что индийские ученики имели на 2,1 процентного пункта более высокую вероятность недооценки, чем белые ученики. учителями относительно их уровня теста. Учитывая упомянутый выше вывод о том, что учителя с большей вероятностью недооценивают учеников с высокими показателями успеваемости, чем учеников с низкими показателями, грубая разница между индийскими и белыми учениками может быть частично связана с более высокими средними достижениями индийских учеников.После обработки результатов тестов (которые, возможно, лучше отражают успеваемость) разница в вероятности занижения оценок учителем между индийскими и белыми учащимися немного уменьшилась до 1,7 процентного пункта, что указывает на статистически значимый разрыв в условных достижениях в результатах, оцениваемых учителем, в пользу белого цвета над индийскими зрачками. В дальнейшем анализе разница сократилась практически до нуля после учета других характеристик учащихся, включая статус SEN, статус EAL, право на бесплатное школьное питание, пол и статус «проверено не в том году».Дальнейший анализ показывает нам, что не было никакого разрыва в успеваемости между индийскими и белыми учениками в результатах, оцениваемых учителем, учитывая систематические различия между группами в других характеристиках учащихся, корреляцию между этими характеристиками и достижениями, а также корреляцию между успеваемостью и успеваемостью. вероятность недооценки учителя. Дальнейший анализ учитывал, кроме того, тот факт, что школы различались тенденцией недооценивать учеников по результатам их тестов.После создания условий для школ разница в вероятности занижения оценок учителя между индийскими и белыми учащимися стала -1,8 процентного пункта, что указывает на значительный внутришкольный разрыв в условных достижениях в результатах, оцениваемых учителями, теперь в пользу индийских учащихся по сравнению с белыми учащимися. ^{[сноска 7]} . В целом, необработанный разрыв в успеваемости по характеристике учащегося часто представляет собой комбинированное влияние этой характеристики и других факторов. Статистический метод кондиционирования помогает выявить как можно более чистый разрыв в достижениях по отношению к характеристике учащегося, за вычетом эффектов каких-либо коррелирующих характеристик.

В таблицах 2-4 условный разрыв в достижениях обозначен как A>B, что указывает на то, что для участников A и B, которые достигли одинакового уровня на тесте, учителя в среднем оценили членов A выше, чем членов B . Однако нельзя сделать вывод о том, был ли по результатам теста А переоценен, а В недооценен или оценен «правильно», или А был «правильно» оценен, а В недооценен, или А и В были недооценены. оба недооценены или оба переоценены, но в статистически значимо разной степени.

Таблица 2: Условные пробелы в успеваемости по характеристикам учащихся при оценке учителей в рамках национальной учебной программы по английскому языку

	Берджесс и Гривз (2013) [KS2]	Гиббонс и Шевалье (2008) [KS3]	Плевис (1997) [KS1]	Ривз и др. (2001) [КС2]	Томас и др. (1998) [КС1]
Пол	Женский > Мужской	Мужской > Женский	Женский > Мужской	В основном нет значительного разрыва, но иногда мужчины > женщины	Женский > Мужской
Этническая принадлежность	Белые > Все черные группы, пакистанцы, другие азиаты, смешанные белые и черные карибские, другие индийцы, китайцы, смешанные белые и азиатские > белые Нет значительного разрыва между белыми и бангладешцами, смешанные белые и черные африканцы, смешанные другие	Белый > Азиат Нет существенного разрыва между белыми и черными, смешанные, другие	Белый > Небелый (сочетание африканских и африканских карибских, индийских, пакистанских)
Социально-экономическое положение	NoFSM > FSM	Нет значительного разрыва	Высший социальный класс > Низший социальный класс [социальный класс на основе почтового индекса школы]		NoFSM > FSM
СЕН	NoSEN > SEN			В основном нет значительного разрыва, но иногда NoSEN > SEN	NoSEN > SEN
EAL	Примечание > EAL	Нет значительного разрыва		В основном нет значительного разрыва, но иногда NotEAL > EAL	Примечание > EAL
На основе проверки значимости соответствующих статистических данных в: (количество наблюдений в анализе в скобках)	Спецификация 4 онлайн-таблицы A3 (2255382)	Колонка 3 таблицы 4 рабочего документа (1439409)	Таблица 6 (<7400)	Таблица VII (между 1203 и 2298 годами)	Модель D Таблицы A3. 1 (16840)

Таблица 3: Условные пробелы в успеваемости по характеристикам учащихся при оценке учителей по национальной учебной программе по математике

	Берджесс и Гривз (2013) [KS2]	Гиббонс и Шевалье (2008) [KS3]	Плевис (1997) [KS1]	Ривз и др. (2001) [КС2]	Томас и др. (1998) [КС1]
Пол	[не представлено]	Женский > Мужской	Женский > Мужской	Женский > Мужской	Нет значительного разрыва
Этническая принадлежность	Белый > Черный карибский, черный африканский китайский, индийский, другой азиатский, смешанный белый и черный африканец, смешанный белый и азиатский, смешанный другой > белый Нет значительного разрыва между белым и черным другим, пакистанец, бангладешец, смешанный белый и черный карибский, другой	Азиат, черный > белый Нет существенного разрыва между белыми и смешанными, прочее	Белый > Небелый (сочетание африканских и африканских карибских, индийских, пакистанских)
Социально-экономическое положение	[не представлено]	Нет значительного разрыва	Высший социальный класс > низший социальный класс [социальный класс на основе почтового индекса школы]		NoFSM > FSM
СЕН	[не представлено]			NoSEN > SEN	NoSEN > SEN
EAL	[не представлено]	Нет значительного разрыва		Нет значительного разрыва	Нет значительного разрыва
На основе проверки значимости соответствующих статистических данных в: (количество наблюдений в анализе в скобках)	Спецификация 4 таблицы 4 (2255382)	Колонка 9 таблицы 4 рабочего документа (1439409)	Таблица 6 (<7400)	Таблица VII (между 1206 и 2313 гг. )	Модель D Таблицы A3.3 (16840)

Таблица 4: Условные пробелы в успеваемости по характеристикам учащихся при оценке учителей в рамках национальной учебной программы по естественным наукам

	Берджесс и Гривз (2013) [KS2]	Гиббонс и Шевалье (2008) [KS3]	Плевис (1997) [KS1]	Ривз и др. (2001) [КС2]	Томас и др. (1998) [КС1]
Пол	[не представлено]	Женский > Мужской	Женский > Мужской	В основном нет значительного разрыва, но иногда женщины > мужчины	Нет значительного разрыва
Этническая принадлежность	Белый > черный африканец, черный карибский, другой черный, смешанный белый и черный карибский, другой индийский, бангладешский, китайский, смешанный белый и азиатский, смешанный другой > белый Нет значительного разрыва между белым и пакистанцем, другим азиатским, смешанным белым и черным африканцем	Азиат, черный > белый Нет существенного разрыва между белыми и смешанными, прочее	Белый > Небелый (сочетание африканских и африканских карибских, индийских, пакистанских)
Социально-экономическое положение	[не представлено]	Нет значительного разрыва	Высший социальный класс > низший социальный класс [социальный класс на основе почтового индекса школы]		NoFSM > FSM
СЕН	[не представлено]			NoSEN > SEN	NoSEN > SEN
EAL	[не представлено]	Нет значительного разрыва		Нет значительного разрыва	Нет значительного разрыва
На основе проверки значимости соответствующих статистических данных в: (количество наблюдений в анализе в скобках)	Спецификация 4 таблицы 5 (2255382)	Колонка 6 таблицы 4 рабочего документа (1439409)	Таблица 6 (<7400)	Таблица VII (между 1220 и 2307 гг. )	Модель D Таблицы A3.1 (9371)

Какой вывод мы можем сделать из Таблиц 2-4? По полу расхождение в пользу девочек или против мальчиков было более частым открытием, но иногда наблюдалось расхождение в противоположном направлении по английскому языку. Что касается этнической принадлежности, то трудно провести систематическое сравнение исследований из-за различных этнических групп, используемых в исследованиях. Оказывается, для большинства этнических групп (по сравнению с белыми) расхождение в одном направлении было обычным явлением, но был по крайней мере один случай, когда оно либо не было обнаружено, либо было обнаружено расхождение в противоположном направлении.Что касается социально-экономического статуса, расхождение в пользу менее обездоленных или против более обездоленных обычно, но не всегда, обнаруживалось у всех испытуемых. Что касается SEN, расхождения в отношении учеников с SEN или в пользу тех, у кого нет SEN, всегда обнаруживались в математике и естественных науках, а иногда и в английском языке. В EAL расхождение с учениками EAL или в пользу учеников, не знающих EAL, иногда обнаруживалось по английскому языку, но не по математике или естественным наукам ^{[сноска 8]} .

В норвежской системе оценки учителей должны были придавать наибольшее значение успеваемости на заключительном школьном тесте, который был структурирован идентично центральному выпускному экзамену и проводился за несколько недель до него (который представлял собой оценку на основе теста в исследовании). , а также с учетом успеваемости в течение всего учебного года.В других системах оценка учителя основывалась на опыте учителя и взаимодействии с учеником и могла опираться на всю доступную информацию. Уязвимость оценки на основе тестов к предвзятости по сравнению с оценкой учителя также различалась в разных исследованиях. Государственные экзамены в израильской системе, вероятно, были наименее уязвимыми из-за внешней установки и внешней оценки. Напротив, в шведской системе национальные тесты выставлялись школами, и учителям разрешалось (хотя и не поощрялось) выставлять оценки за ответы своих учеников, а в датской системе выставление оценок на экзаменах частично производилось учителями учеников и неслепой в том смысле, что имена учеников и школ были видны (внешним) маркерам. Как и в английской системе NCA, результаты тестов были доступны учителям в то время, когда окончательно выносились оценки учителей в шведской и голландской системах, но не в других системах. Следует иметь в виду, что эти различия на системном уровне могут увеличивать или уменьшать вероятность обнаружения (систематического) расхождения между результатами, полученными учителем, и оценками, основанными на тестах, в отдельных системах.

Два исследования предоставили редкие анализы абсолютной согласованности. В случае с Нидерландами, когда учителя знали о результатах тестов при вынесении окончательного решения об оценке учителей, уровень абсолютного согласия составил 82% для мужчин и 80% для женщин по 8-балльной шкале (Feron et al.рабочий документ 2015 г., таблица C1). В норвежском случае, когда учителя выносили оценки, не зная результатов центрального выпускного экзамена, этот показатель составил 61% для мужчин и 59% для женщин по 6-балльной шкале (Falch & Naper, 2013: таблицы 2 и 3). Перекрестные таблицы Фальча и Нейпера также показали некоторую зависимость абсолютного согласия от уровня успеваемости: уровень абсолютного согласия составлял около 70% для отличников, получивших на экзаменах один из двух наивысших баллов, и около 55% для слабоуспевающих, набравших один балл. из двух самых низких уровней на экзаменах.Как в голландских, так и в норвежских данных, когда учитель и результаты тестов не совпадали, результаты учителей с гораздо большей вероятностью были завышены, чем занижены по сравнению с результатами тестов, но обратите внимание, что норвежский анализ показал, что тенденция к завышению оценок не относился к отличникам, но не к высшим ученикам: для отличников, получивших на экзаменах второй высший балл, уровень абсолютного согласия был высоким — около 71%, но в случае несогласия оценки учителей, скорее всего, были ниже -оценки, чем завышенные оценки относительно результатов экзамена.Это перекликается с выводами исследований NCA о том, что более успевающие ученики были более восприимчивы к занижению оценок учителями по сравнению с результатами тестов.

Во всех исследованиях использовались методы анализа, которые позволяли изучить условные разрывы в успеваемости по характеристикам учащихся. В таблице 5 показаны условные пробелы в достижениях в оценке учителей, которые были обнаружены или не обнаружены в различных исследованиях. Хотя прочной основы для проведения международных сравнений нет, можно отметить некоторые сходства и различия с результатами NCA Англии.В отношении пола расхождение в пользу девочек или против мальчиков встречалось даже чаще, чем в Англии. Что касается этнической принадлежности или (им)мигрантского статуса, результаты были неоднозначными в том смысле, что были обнаружены расхождения как против групп меньшинств, так и в их пользу, а также выводы об отсутствии систематического расхождения. Что касается социально-экономического статуса, были обнаружены расхождения в пользу более обездоленных или менее обездоленных, что редко наблюдалось при анализе данных по Англии.

Таблица 5: Условные пробелы в успеваемости по характеристикам учащихся при оценке учителей в других юрисдикциях

	Falch & Naper (2013) [Норвегия; 10-классники; математика, английский и норвежский вместе взятые]	Ферон и др. (2016) [Нидерланды; шестиклассники; комбинированная производительность в нескольких областях]	Лави (2008 г.) [Израиль; 10-12 классы; здесь только математика и английский]	Lindahl (2016) [Швеция; 9-классники; математика]	Marcenaro-Gutiérrez & Vignoles (2015) [Испания; здесь анализ только 15-летних; чтение и математика]
Пол	Женский > Мужской	Женский > Мужской	Женский > Мужской	Женский > Мужской	Нет значительного разрыва в чтении Женщины > Мужчины в математике
Статус мигранта/иммигранта или этническое происхождение	Иммигрант во втором поколении > коренной житель Нет существенного разрыва между иммигрантом в первом поколении и коренным жителем	Отсутствие значительного разрыва между коренными жителями и теми, кто родился или чья мать или отец родились за пределами Лимбурга или за границей	Нет существенного разрыва между израильским и неизраильским происхождением Недавний иммигрант > неиммигрант	Нет существенного разрыва между рожденными в северных странах и рожденными в других странах	Нет существенного разрыва между неиммигрантами и иммигрантами
Социально-экономическое положение	Более высокий СЭС > более низкий СЭС (с уровнем образования родителей и уровнем дохода матери в качестве индикаторов СЭС)	Более обездоленные > Менее обездоленные (с индикатором способности отца работать) Менее обездоленные > Более обездоленные (с индикаторами трудоспособности матери и статуса занятости) Нет значительного разрыва между более и менее неблагополучными (с учетом уровня образования родителей и характера работы) как индикаторы)	Низкий SES > Высший SES по английскому языку и отсутствие значительного разрыва между Низким SES и Высшим SES по математике (с учетом образования отца в качестве показателя SES) Нет значительного разрыва между Низким SES и Высшим SES (с учетом школьного образования матери в качестве показателя SES)		Низкий СЭС > Высший СЭС (с типом школы и более высоким культурным индексом в качестве индикаторов СЭС) Нет существенного разрыва между Высшим и Нижним СЭС (с уровнем образования родителей и средним культурным индексом в качестве индикаторов СЭС)
На основе проверки значимости соответствующих статистических данных в: (количество наблюдений в анализе в скобках)	Столбец «Все предметы» в разделе «Модели» в таблице 9 в таблице A2 (130464)	Колонки 1-3 в таблице C2 рабочего документа (1100)	Столбцы 3 и 7 таблицы 8 (предположительно до 109928 [математика], до 84850 [английский язык]; количество наблюдений вдвое превышало количество учащихся)	Колонка 3 таблицы 3 (268325)	Таблица 2 (между 1041 и 1114 [чтение], между 1011 и 1081 [письмо])

Данные крупномасштабных когортных исследований или исследовательских проектов в Великобритании или за рубежом

В рассмотренных до сих пор исследованиях были проанализированы данные реальных оценок, которые проводились в соответствующей системе образования. Есть и другие соответствующие исследования, в которых либо учитель, либо результаты оценивания на основе тестов, либо и то, и другое были получены менее натуралистично:

• Кэмпбелл (2015 г.): четвертый этап когортного исследования тысячелетия Великобритании (чтение и математика; в 2007 г., когда участникам исполнилось 7 лет)
• Корнуэлл, Мастард и Ван Пэрис (2013 г.): Продольное исследование детей младшего возраста – когорта детских садов в США (чтение, математика, естественные науки; учащиеся 1/3/5 классов в 2000/2002/2004 гг.)
• Хансен (2016 г.): второй этап Национального исследования развития детей в Великобритании (общие способности; когда участникам было 11 лет в 1968/99 гг.)
• Йоханссон, Мирберг и Розен (2012 г.): Шведский PIRLS (Прогресс в международном исследовании грамотности чтения) и его национальное расширение (чтение; учащиеся 3-го и 4-го классов в 2001 г.)
• Мартинес, Стечер и Борко (2009 г.): Продольное исследование детей младшего возраста – когорта детских садов в США (математика; 3-й/5-й классы в 2002/2004 гг. )
• Мейссель, Мейер, Яо и Руби-Дэвис (2017 г.): Проект Консорциума профессионального обучения в Новой Зеландии (чтение и письмо; дети в возрасте от 8 до 13 лет в 2012 и 2013 гг.)
• Перкинс, Кляйнер, Рой и Браун (2004 г.): Исследование стенограмм средней школы (HSTS), связанное с Национальной оценкой образовательного прогресса (NAEP) в США (математика и естественные науки; 12-классники, окончившие школу в 2000 г.)
• Ready and Wright (2011): Продольное исследование детей младшего возраста – когорта детских садов в США (грамотность; детсадовцы в 1999 г.)
• Шеклтон и Кэмпбелл (2014 г.): четвертый этап когортного исследования тысячелетия Великобритании (чтение и математика; в 2007 г., когда участникам было 7 лет)

За исключением новозеландского исследования и связанного с ним исследования HSTS/NAEP, оценки учителей, проанализированные в этих исследованиях, по всей видимости, не имели официального статуса и были подготовлены для целей соответствующего когортного исследования или исследовательского проекта. Во всех исследованиях нет причин сомневаться в качестве инструментов тестирования, но оценивание на основе тестов проводилось в исследовательских целях, и ставки для учеников были очень низкими. Хотя подлинность данных об оценке в этих исследованиях может вызывать сомнения, утверждается, что оценки учителей, сделанные вне системы образования и оценки, лучше отражают то, что учителя думают о своих учениках (см. Campbell, 2015).

Анализ Хансеном (2016) данных конца 60-х годов показал, что учителя имеют большую вероятность переоценки и меньшую вероятность недооценки привлекательных учеников после статистического контроля любой связи между привлекательностью и академическими способностями.Шеклтон и Кэмпбелл (2014) обнаружили мало свидетельств того, что окружность талии ученика влияет на оценку учителями чтения и математики после учета какой-либо связи между формой тела и академическими способностями. Эти 2 исследования напоминают нам о том, что есть сообщения о предвзятости учителей (или об их отсутствии) в отношении таких характеристик, как физические данные учащихся, их личность и поведение (недавнее резюме см. в Urhahne & Wijnia, 2021). не имеют очевидной прямой связи с успеваемостью, и можно было бы удивиться, если бы в результатах оценивания учителей были какие-либо доказуемые пробелы в условных достижениях.

Корнуэлл и др. (2013) сосредоточены на гендере. В результатах оценки учителей они сообщили, что проанализировали разрыв в успеваемости, зависящий от результатов тестов в пользу девочек или против мальчиков, и что разрыв более или менее исчез после учета оценок поведения учеников в классе, данных их бывшими учителями один или два. лет назад. Подразумевается, что в основе явного предубеждения учителей по отношению к полу лежит предубеждение в пользу хорошего поведения или против плохого поведения.В пяти исследованиях из приведенного выше списка изучались множественные переменные и применялись методы анализа, аналогичные исследованиям, рассмотренным в двух предыдущих разделах. В таблице 6 показаны условные пробелы в достижениях в оценке учителей, которые были обнаружены или не обнаружены в различных исследованиях. Несмотря на отмеченные выше различия в характере используемых данных, результаты очень похожи на результаты, обобщенные в предыдущих двух разделах. По полу обычно обнаруживались расхождения в пользу девочек или против мальчиков.Что касается этнической принадлежности, результаты снова были неоднозначными в том смысле, что были обнаружены расхождения как против групп меньшинств, так и в их пользу, а также результаты отсутствия систематических расхождений. Что касается социально-экономического статуса, как и в исследованиях NCA в Англии, расхождение в пользу менее обездоленных или против более обездоленных было обычным открытием. Что касается SEN, расхождение в отношении учеников с SEN или в пользу учеников без SEN было обычным явлением. По EAL расхождение с учениками EAL или в пользу учеников, не знающих EAL, не было обычным явлением, за исключением предмета английского языка.

Перкинс и др. (2004) рассчитали корреляцию между средними баллами, записанными в стенограммах учеников средней школы (которые можно принять за результаты оценки учителей), и их баллами по оценке NAEP, которые составили 0,49 по естественным наукам и 0,53 по математике. Они также представили корреляции для многих подгрупп студентов. Неравные корреляции можно рассматривать как свидетельство систематического расхождения между результатами двух методов оценки (например, в естественных науках 0,36 для чернокожих и латиноамериканских студентов, 0.48 для белых студентов, 0,58 для студентов из азиатских/тихоокеанских островов), но мы не можем сказать из отчета, были ли различия в корреляции статистически значимыми.

Кроме того, можно отметить, что в исследованиях, сгруппированных в этом разделе, было больше исследований влияния переменных на уровне учителя, класса и школы, а не столько на разрывы в успеваемости по отношению к характеристикам учащихся в оценки, а на (относительном) согласии между результатами, полученными учителем, и оценками, основанными на тестах.Например, исследование в Новой Зеландии обнаружило доказательства того, что оценка учителей была ниже у учеников в классе с более высокой успеваемостью и в школе с более высокой успеваемостью, чем у учеников с одинаковыми результатами тестов в классе с более низкой успеваемостью и в школе с более низкой успеваемостью. . Исследование грамотности в США показало, что после обработки, среди прочего, стандартизированными результатами тестов, оценка учителя принесла пользу ученикам в классе с более высоким уровнем успеваемости, в классе с учениками с более высоким социально-экономическим статусом, в классе с менее опытным учителем и в классе с менее опытным учителем. школа с учениками с более низким социально-экономическим статусом.

Таблица 6. Условные пробелы в успеваемости по характеристикам учащихся при оценке учителей в крупномасштабных когортных исследованиях или исследовательских проектах

	Campbell (2015) [Когортное исследование тысячелетия Великобритании; в возрасте 7 лет; Английский]	Campbell (2015) [Когортное исследование тысячелетия Великобритании; в возрасте 7 лет; математика]	Йоханссон и др. (2012) [Шведский PIRLS; 3-й и 4-й классы; чтение]	Мартинес и др. (2009) [US ECLS-K; 3-х и 5-х классов; математика]	Мейссель и др.(2017) [Новозеландский исследовательский проект; от 8 до 13 лет; чтение и письмо]	Ready & Wright (2011) [US ECLS-K; детсадовцы; грамотность]
Пол	Женский > Мужской	Мужской > Женский	Женский > Мужской	Женский > Мужской	Женский > Мужской	Женский > Мужской
Этническая принадлежность	Белые > индийцы, пакистанцы, чернокожие карибцы для женщин Нет значительного разрыва между белыми и индийцами, пакистанцами, чернокожими карибцами для мужчин Нет значительного разрыва между белыми и бангладешцами, чернокожими африканцами для мужчин и женщин	Белый > черный карибский для женщин Бангладеш > белый для мужчин Нет значительного разрыва между белыми и черными Карибский бассейн для мужчин Нет значительного разрыва между белыми и бангладешцами для женщин Нет значительного разрыва между белыми и индийцами, пакистанцами, чернокожими африканцами для мужчин и женщин		Либо Нет значительного разрыва между не меньшинством и меньшинством, либо меньшинство > не меньшинство	Европейский > Маори, пасифика Европейский > Другое в чтении Нет существенного разрыва между европейским и другим в письменном виде	Белые > латиноамериканцы Нет значительного разрыва между белыми и черными, азиатами, коренными американцами, представителями разных рас
Социально-экономическое положение	Более высокий доход > более низкий доход	Более высокий доход > более низкий доход	Высший SES > Нижний SES	Либо нет значительного разрыва между более высоким и более низким SES, либо более низкий SES > более высокий SES		Высший SES > Нижний SES
СЕН	NoSEN > SEN	NoSEN > SEN		NoSEN > SEN	NoSEN > SEN
EAL	NotEAL > EAL для мужчин Нет значительного разрыва для женщин	Нет значительного разрыва			Примечание > EAL	Нет значительного разрыва между NotEAL и EAL NotEAL > азиатский EAL
На основе проверки значимости соответствующих статистических данных в: (количество наблюдений в анализе в скобках)	Таблица 8 (4997)	Таблица 9 (4985)	Рисунок 8 и сопроводительный текст в докторской диссертации (11315)	Интерпретация разрывов в условных достижениях, выведенная из авторской интерпретации значений d в таблице 6 (10700 [3-й класс], 8600 [5-й класс])	Таблица 4 (4771 [чтение], 11765 [запись])	Пружина, модель 2 из таблицы 3 (9493)

Обсуждение

После отмены экзаменов оценки уровня GCSE, AS и A за лето 2021 года будут основываться на суждениях учителей. Чтобы повысить осведомленность о потенциальных рисках для надежности этих суждений, мы провели обзор научных данных о систематических расхождениях между результатами, полученными учителем, и оценками, основанными на тестах. Такие данные не доказывают ошибки или предвзятости в суждениях учителей, но указывают на возможность предвзятости в суждениях учителей, учитывая их явно большую субъективность и, следовательно, большую уязвимость к предвзятости по сравнению с результатами тестов.

Мы сгруппировали исследования, предоставляющие соответствующие научные данные, в 3 типа на основе широкой классификации их источников данных.Источники данных имеют особенности, которые могут повлиять на обобщаемость соответствующих результатов, как для нашего понимания оценки учителей в целом, так и для информирования нас о том, чего ожидать от оценок лета 2021 года. Эти характеристики включают степень, в которой учитель и тест Оценки, основанные на оценках, измеряли (или были разработаны для измерения) одного и того же построения, насколько независимо работали два метода оценки в соответствующей системе/исследовании, насколько высоки были ставки оценок для учащихся, могли ли успехи учащихся действительно измениться в промежуточное время между оценками, что повлекла за собой оценка учителя и ее статус, а также качество и потенциальная погрешность оценки на основе сравнительного теста. Еще одна характеристика, которую мы должны добавить, — это уровень образования, к которому относились данные. За исключением данных израильских и американских исследований HSTS/NAEP (а также, вероятно, норвежских и испанских исследований), все данные получены из более низкого, а во многих случаях гораздо более низкого уровня образования, чем те, с которыми в настоящее время мы больше всего обеспокоены. Мы также должны помнить о возможной предвзятости публикаций в исследованиях в области образования (см., например, Torgerson, 2006): чаще ли мы сталкиваемся с сообщениями о систематических расхождениях, чем об отсутствии расхождений, потому что результаты систематических расхождений с большей вероятностью будут опубликованы?

Уникальное обстоятельство, при котором суждения учителей проводятся летом 2021 года, означает, что оценка учителей, которая должна быть проведена, не имеет точной аналогии в изученной нами литературе, и ни одно из рассмотренных исследований не является безоговорочно информативным в отношении лета 2021 года. Мы не можем с уверенностью заключить, будут ли и каким образом оценки учителей за лето 2021 года предвзятыми по сравнению с предполагаемыми оценками на экзаменах. Тем не менее, некоторые неоднократные данные в литературе о систематических расхождениях между результатами, полученными учителем, и оценками, основанными на тестах, предполагают возможные систематические ошибки, на которые стоит обратить внимание ^{[сноска 9]} .

Что касается пола, то предвзятость в пользу девочек или против мальчиков в результатах оценки учителей встречалась чаще, чем отсутствие предвзятости или предвзятости в пользу мальчиков или против девочек.Что касается этнической принадлежности, были обнаружены предвзятости как против, так и в пользу каждой группы меньшинства (по отношению к группе большинства), а также результаты отсутствия предвзятости. Что касается социально-экономического статуса, то предвзятость в пользу менее обездоленных или против более обездоленных была более распространенным выводом, чем отсутствие предвзятости в исследованиях, проведенных в Великобритании. Предвзятость в отношении учеников с ООП или в пользу учеников без ООП была обнаружена почти в каждом анализе, включавшем переменную статуса ООП. Предубеждение против учеников EAL или в пользу учеников, не знающих EAL, не было обычным явлением, за исключением предмета английского языка.

Как можно объяснить эти предубеждения? Несколько исследований NCA начались с предположения, что предвзятость в оценке учителей отражает разные ожидания учителей от учеников. Широко известно или считается, что ожидания учителей оказывают на учащихся эффект «Пигмалиона», или самосбывающегося пророчества: высокие ожидания учителей от учеников приводят к лучшим достижениям учащихся, а низкие ожидания ведут к худшим достижениям (см. Jussim & Harber, 2005 г. для метаанализа исследований этого явления).Эффект Пигмалиона, если он присутствует, приведет к разным достижениям учащихся с разным уровнем ожиданий от них. Поскольку успеваемость должна в равной степени влиять на успеваемость при оценивании учителем и при оценивании на основе тестов, а предубеждения в оценивании учителями, которыми мы в настоящее время занимаемся, подтверждаются пробелами в достижениях, зависящими от результатов тестов, они кажутся не связанными с достоверностью эффекта Пигмалиона.

Переименование предубеждений в дифференциальные ожидания не очень далеко нас уведет.Тогда можно задаться вопросом, откуда берутся разные ожидания. Одна попытка объяснить предубеждения или разные ожидания основывается на идее, что категоризация является фундаментальной когнитивной способностью. Чтобы упорядочить или упростить наш опыт и знания о мире, мы разделяем объекты на категории на основе их общих черт или сходств. Социальная категоризация — это процесс, посредством которого мы разделяем людей на социальные группы по признаку пола, этнической принадлежности, социального класса и т. д. и думаем о них как о членах социальной группы, а не как об отдельных лицах.У учителей естественный процесс социальной категоризации в сочетании, прежде всего, с опытом работы в собственной школе и, возможно, со знаниями, полученными в системе образования и в обществе в целом, приводит к развитию стереотипов, то есть обобщенных ожиданий и представлений о характеристиках учителя. определенные группы учащихся. Стереотип группы помогает сэкономить время и силы при вынесении суждений об индивидуумах, принадлежащих к этой группе, но может привести к ошибочным суждениям по крайней мере о некоторых членах группы из-за его обобщенного характера и возможной неточности.Стереотипы могут быть механизмом, лежащим в основе предвзятого отношения учителей к группам с низкими достижениями или в пользу групп с высокими достижениями.

Понятие стереотипизации хуже согласуется с менее распространенными, но не совсем редкими выводами о предвзятости учителей в отношении групп с высокими достижениями или в пользу групп с низкими достижениями. Было высказано предположение, что такие предубеждения отражают контрстереотипирование учителей или компенсаторную оценку.

В дополнение к представлениям об ожиданиях учителей, стереотипах и контрстереотипах существуют и другие подходы, которые не столько объясняют, сколько объясняют устранение конкретных предубеждений.Например, мы упоминали выше, что Корнуэлл и др. (2013) продемонстрировали, что в их данных об оценке учителей то, что казалось предвзятостью учителей по отношению к полу, может быть сведено к предвзятости в пользу хорошего поведения или против плохого поведения. Отметим, однако, что Берджесс и Гривз (2013) утверждали, что этнические различия в поведении в классе не могут объяснить предвзятость по отношению к этнической принадлежности в их данных об оценке учителей. Другая точка зрения, часто обсуждаемая в связи с предвзятостью в отношении статуса SEN, рассматривает крайнюю форму «обучения до теста»: учителя могут больше обучать некоторых учеников до теста.Следствием обучения по тесту является возможная чрезмерная успеваемость учащихся в тесте по сравнению с их фактическим уровнем успеваемости, что, в свою очередь, делает точную оценку преподавателем фактического уровня успеваемости похожей на заниженную оценку. Другими словами, то, что кажется предубеждением против группы в оценке учителей, может быть объяснено различиями в обучении, специфичном для теста.

Заключение

В заключение мы обсудим сходства и различия между нынешним обзором оценки учителей и нашим прошлогодним обзором прогнозов учителей.Следует иметь в виду, что мы, возможно, не сравниваем 2 обзора на равных основаниях, так как прошлогодний обзор охватывал в основном исследования, посвященные суждениям/прогнозам учителей на уровне GCSE и A, в то время как для настоящего обзора нам удалось найти исследования, посвященные суждениям/предсказаниям учителей. оценка в основном на более низких уровнях образования.

2 обзора предполагают, что относительное соответствие (измеряемое по сходству в порядке ранжирования учащихся) между результатами, полученными учителем и оценками, основанными на тестах, находится на уровне, сравнимом с относительным соответствием между прогнозом учителя и фактическими достижениями.По-видимому, существует более высокий уровень абсолютной согласованности между результатами учителя и оценкой на основе тестов в NCA, чем между предсказаниями учителя и фактическими достижениями учащихся на уровне GCSE и A level, но следует отметить, что оценки учителем и оценки на основе тестов в NCA не работала независимо. В прошлогоднем обзоре мы увидели достаточно свидетельств склонности учителей к завышенным прогнозам в предсказании/прогнозе оценок. Мы нашли мало свидетельств эквивалентности (то есть завышенной оценки учителем по сравнению с результатами теста) в исследованиях NCA, но в 2 зарубежных исследованиях, которые предоставили редкие анализы абсолютного согласия, мы увидели, что в случае несоответствия между оценками учителя и тестами , завышение оценок учителями (по сравнению с оценками за тест) было гораздо более вероятным, чем занижение, как в голландской системе, где учителя знали о результатах тестов учащихся при вынесении окончательного решения, так и в норвежской системе, где они этого не знали.

Что касается пола, то результаты прошлогоднего обзора прогнозов учителей были неоднозначными, а в настоящем обзоре оценок учителей более частым является небольшое преимущество женщин или отсутствие мужчин (по сравнению с результатами тестов).

Что касается этнической принадлежности, то в прошлогоднем обзоре мы видели, что в нескольких комбинированных предметных анализах прогнозы по отношению к фактическим достижениям были выше для чернокожих и азиатских учащихся, чем для белых учащихся. Эквивалент в оценке учителей, то есть более высокие оценки учителей по сравнению с результатами тестов, иногда отмечался для чернокожих учащихся и обычно для азиатских учащихся, но были и противоположные результаты, и никакой разницы.Трудно провести систематическое сравнение результатов двух обзоров по этнической принадлежности, потому что в анализе прогнозов учителей не использовалась более точная классификация этнической принадлежности, используемая в некоторых исследованиях по оценке учителей, а в литературе по оценке учителей отсутствует комбинированный предметный анализ.

Что касается социально-экономического положения, то в прошлогоднем обзоре мы увидели, что прогнозы по отношению к фактическим достижениям были выше для более обездоленных, чем для менее обездоленных. Обратное, то есть более низкие оценки учителей по сравнению с результатами тестов, обычно обнаруживались в литературе по оценке учителей, если мы рассматриваем только исследования, проведенные в Великобритании.

О статусе SEN и EAL прогнозы учителей ничего не сказали. В настоящем обзоре оценки учителей мы видели общий вывод о более низких оценках учителей по сравнению с результатами тестов для учащихся с SEN по сравнению с учениками без SEN, но нет доказательств предвзятости учителей в отношении статуса EAL по любому предмету, кроме английского. .

Ссылки

Брэмли, Т., и Дхаван, В. (2010). Оценки надежности квалификаций. Ковентри: Офквал.

Брухарт, С.М. (2013). Использование суждения учителя для суммативного оценивания в США. Оценка в образовании: принципы, политика и практика, 20(1), 69-90.

Берджесс, С., и Гривз, Э. (2013). Результаты тестов, субъективная оценка и стереотипизация этнических меньшинств. Журнал экономики труда, 31 (3), 535-576.

Кэмпбелл, Т. (2015). Стереотип в семь? Предвзятость в суждении учителя о способностях и достижениях учеников. Журнал социальной политики, 44(3), 517-543.

Коннолли, П., Тейлор Б., Фрэнсис Б. , Арчер Л., Ходжен Дж., Мазенод А. и Терещенк А. (2019). Неправильное распределение учащихся по академическим наборам по математике: исследование средних школ Англии. Британский журнал исследований в области образования, 45 (4), 873–897.

Корнуэлл, К., Мастард, Д.Б., и Ван Пэрис, Дж. (2013). Некогнитивные навыки и гендерные различия в результатах тестов и оценках учителей: данные начальной школы. Журнал управления персоналом, 48(1), 236-264.

Департамент по делам детей, школ и семьи.(2009). Дети с особыми образовательными потребностями 2009: анализ. Ноттингем: публикации DCSF.

Департамент образования (2019). Обзор Тимпсона об исключении из школы: техническое примечание. Лондон: Министерство образования.

Дюран, Д. (2013). Сравнительный анализ тестов Key Stage и оценок учителей. Документ представлен на ежегодной конференции Британской ассоциации исследований в области образования (сентябрь 2003 г.) в Университете Хериот-Ватт, Эдинбург.

Фальч Т. и Напер Л.Р. (2013). Схемы оценки образования и гендерные различия в успеваемости учащихся. Обзор экономики образования, 36, 12-25.

Ферон, Э., Шилс, Т., тер Вил, Б. (2016). Справляется ли учитель с тестом? Ценность оценки учителя в прогнозировании способностей ученика. Де Экономист, 164, 391–418. Также рабочий документ от января 2015 г., по состоянию на 24 марта 2021 г.

Гиббонс, С., и Шевалье, А. (2008). Оценка и участие в образовании в возрасте 16+. Исследования в области образования, 23 (2), 113–123.Также рабочий документ от декабря 2007 г., по состоянию на 14 марта 2021 г.

Хансен, К. (2016). Взаимосвязь между восприятием учителем привлекательности ученика и его академическими способностями. Британский журнал исследований в области образования, 42 (3), 376–398.

Харлен, В. (2005). Доверие к суждениям учителей: исследовательские данные о надежности и достоверности оценок учителей, используемых для целей суммирования. Исследования в области образования, 20 (3), 245–270.

Хоге, Р. Д., и Коладарчи, Т.(1989). Основанные учителем суждения академической успеваемости: обзор литературы. Обзор исследований в области образования, 59 (3), 297–313.

Йоханссон, С., Мирберг, Э., и Розен, М. (2012). Учителя и тесты: оценка успеваемости учащихся в чтении в начальных школах. Образовательные исследования и оценка, 18 (8), 693–711. Также докторская диссертация Йоханссон 2013 г., по состоянию на 26 марта 2021 г.

Джонсон, С. (2013). О надежности высокой оценки учителей. Научные статьи в области образования, 28 (1), 91-105.

Джуссим, Л., и Харбер, К.Д. (2005). Ожидания учителей и самоисполняющиеся пророчества: известное и неизвестное, разрешенные и неразрешенные противоречия. Обзор личности и социальной психологии, 9 (2), 131–155.

Кауфманн, Э. (2020). Насколько точно учителя оценивают учеников? Повторный анализ метаанализа Хоге и Коладарчи (1989). Современная педагогическая психология, 63, 101902.

Лави, В. (2008). Снижают ли гендерные стереотипы показатели человеческого капитала девочек или мальчиков? Доказательства природного эксперимента.Журнал общественной экономики, 92, 2083–2105.

Ли, М.В., Стрингер, Н., и Занини, Н. (2020). Анализ равенства учащихся на уровне GCSE и A level: лето 2020 г. Ковентри: Ofqual.

Ли, М.В., и Уолтер, М. (2020). Оценка воздействия на равенство: обзор литературы. Ковентри: Офквал.

Линдал, Э. (2016). Предвзяты ли оценки учителей? Свидетельства из Швеции. Экономика образования, 24(2), 224-238.

Малуфф, Дж. М., и Торстейнссон, Э. Б. (2016).Предвзятость в оценке: метаанализ результатов экспериментальных исследований. Австралийский журнал образования, 60 (3), 245–256.

Марсенаро-Гутьеррес, О., и Виньоль, А. (2014). Сравнение оценок учителей и тестов для испанских учащихся начальной и средней школы. Образовательные исследования, 57 (1), 1–21.

Мартинес, Дж. Ф., Стечер, Б., и Борко, Х. (2009). Практика оценивания в классе, суждения учителей и успеваемость учащихся по математике: данные ECLS. Образовательная оценка, 14 (2), 78–102.

Перкинс, Р., Кляйнер, Б., Рой, С., и Браун, Дж. (2004). Исследование стенограммы средней школы: десятилетие изменений в учебных программах и достижениях, 1990-2000 гг. Вашингтон, округ Колумбия: Национальный центр статистики образования.

Пино де Мойра, А. (2020). Влияние курсовой работы на успеваемость в зависимости от характеристик учащихся: исследование, основанное на результатах GCSE и A level в период с 2004 по 2017 год. Coventry: Ofqual.

Плевис, И. (1997). Выводы об ожиданиях учителей от национальной оценки на первом ключевом этапе.Британский журнал педагогической психологии, 67 (2), 235-247.

Рангвид, Б.С. (2015). Систематические различия между схемами оценки и выбором образования. Обзор экономики образования, 48, 41–55.

Готов, Д.Д., и Райт, Д.Л. (2011). Точность и неточность в восприятии учителями когнитивных способностей маленьких детей: роль детского прошлого и контекста в классе. Американский журнал исследований в области образования, 48 (2), 335–360.

Ривз, Д.Дж., Бойл, В.Ф. и Кристи Т. (2001). Взаимосвязь между оценками учителей и успеваемостью учеников в стандартных тестовых заданиях на ключевом этапе 2, 1996-98 гг. Британский журнал исследований в области образования, 27 (2), 141–160.

Рхед, С., Блэк, Б., и Пино де Мойра, А. (2016). Маркировка показателей согласованности. Ковентри: Офквал.

Рхед, С., Блэк, Б., и Пино де Мойра, А. (2018). Показатели согласованности маркировки: обновление. Ковентри: Офквал.

Римфельд К., Маланчини М., Ханниган Л.Дж., Дейл, П.С., Аллен, Р., Харт, С.А., и Пломин, Р. (2019). Оценки учителей во время обязательного образования так же надежны, стабильны и наследуемы, как и результаты стандартизированных тестов. Журнал детской психологии и психиатрии, 60 (12), 1278–1288.

Шеклтон, Н., и Кэмпбелл, Т. (2014). Влияет ли форма тела на суждения учителей о способностях учеников? Международный журнал ожирения, 38(4), 520–524.

Стрэнд, С. (2012). Разрыв в успеваемости белых британцев и чернокожих карибцев: тесты, уровни и ожидания учителей. Британский журнал исследований в области образования, 38 (1), 75–101.

Стрэнд, С., и Хессель, А. (2018). Английский как дополнительный язык, владение английским языком и успеваемость учащихся: анализ данных местных властей. Кембридж: Фонд Белла.

Зюдкамп, А., Кайзер, Дж., и Мёллер, Дж. (2012). Точность суждений учителей об академических достижениях учащихся: метаанализ. Журнал педагогической психологии, 104 (3), 743–762.

Томас, С., Смис, Р., Мадаус Г.Ф., Рачек А.Е. (1998). Сравнение оценок учителей и результатов стандартных заданий в Англии: взаимосвязь между характеристиками ученика и успеваемостью. Оценка в образовании: принципы, политика и практика, 5(2), 213–246.

Торгерсон, CJ (2006). Публикационная предвзятость: ахиллесова пята систематических обзоров? Британский журнал образовательных исследований, 54 (1), 89-102.

Урхане, Д., и Вийния, Л. (2021). Проверка правильности суждений учителя. Обзор образовательных исследований, 32, 100374.