[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"blog-article-uzghodzhenist-otsiniuvannia-rubryky":3},{"uuid":4,"title":5,"subtitle":6,"content":7,"preview":415,"date_published":421,"date_pinned":421,"img":422,"alias":423,"is_published":424,"is_pinned":425,"type":13,"category":426,"category_name":427,"category_alias":428,"background_color":429,"preview_icon":13,"category_value":430,"external_link":13},"46a8bb2d-297e-4fff-b546-7eadda5f4af7","Что такое межэкспертная согласованность оценки и как ее проверить","Как выяснить, одинаково ли преподаватели применяют рубрику. Рассматриваем независимую оценку, расхождения, выбор показателя, калибровку и повторный пилот.",{"type":8,"content":9},"doc",[10,18,23,28,36,41,46,51,57,62,67,72,78,83,88,93,99,104,109,114,120,125,130,135,141,146,160,173,179,184,189,194,200,205,210,215,221,226,231,236,242,247,252,257,263,268,273,278,284,289,294,299,305,310,315,320,326,331,336,341,346,351,356,362],{"type":11,"attrs":12,"content":14},"paragraph",{"align":13},null,[15],{"text":16,"type":17},"Один преподаватель видит в проекте уверенное выполнение задания, другой возвращает его на доработку. Студент получает две оценки за ту же работу и пытается понять, кому верить. Причина может быть не в невнимательности проверяющих. Рубрика оставляет слишком много пространства для разного толкования: достаточно аргументировано, качественно оформлено, есть понимание темы.","text",{"type":11,"attrs":19,"content":20},{"align":13},[21],{"text":22,"type":17},"Описание критериев само по себе не гарантирует последовательной оценки. Нужно проверить, как им пользуются разные люди на реальных работах. Такая проверка полезна до запуска потока, во время привлечения новых кураторов и после существенного обновления задачи. Она помогает увидеть, где расходятся суждения, а также решить, что изменять: формулировки, примеры, подготовку экспертов или саму обучающую задачу.",{"type":11,"attrs":24,"content":25},{"align":13},[26],{"text":27,"type":17},"Следующий порядок предназначен для внутреннего пилота онлайн-школы. Для сертификации с высокими последствиями требуется специально спроектированный анализ надежности и привлечение специалиста по измерениям. Небольшой набор работ дает полезные сигналы, но не доказывает универсальную надежность рубрики для любых студентов, преподавателей и программ.",{"type":29,"attrs":30,"content":33},"heading",{"align":13,"level":31,"id":32},2,"heading_2_1",[34],{"text":35,"type":17},"Сначала определите решение, которое зависит от оценки",{"type":11,"attrs":37,"content":38},{"align":13},[39],{"text":40,"type":17},"Оценка может выполнять различные функции. В тренировочном упражнении она помогает выбрать следующий шаг, в итоговом проекте определяет завершение курса, а в профессиональной сертификации может влиять на допуск к работе. Допустимый риск расхождения в этих ситуациях разный. Не устанавливайте одни и те же требования только потому, что интерфейс везде показывает привычный балл.",{"type":11,"attrs":42,"content":43},{"align":13},[44],{"text":45,"type":17},"Запишите единицу оценки: отдельный критерий, общий балл или категорию «зачтено\u002Fнужна доработка». От этого зависит анализ. Два эксперта могут почти одинаково ранжировать работы, но систематически ставить разные баллы. Для отбора лучших это одна проблема, а для прохождения жесткого порога – другая. Цель проверки должна предшествовать выбору статистического показателя.",{"type":11,"attrs":47,"content":48},{"align":13},[49],{"text":50,"type":17},"Согласуйте также практический предел расхождения. Например, условная школа может отдельно рассматривать все случаи, когда решение о зачёте отличается даже при небольшой разнице сумм. Это внутреннее правило для определенного процесса, а не общий стандарт. Оно должно соответствовать последствиям ошибки и возможности проверки работы.",{"type":29,"attrs":52,"content":54},{"align":13,"level":31,"id":53},"heading_2_2",[55],{"text":56,"type":17},"Разделите надежность и правильность",{"type":11,"attrs":58,"content":59},{"align":13},[60],{"text":61,"type":17},"Полное согласие двух преподавателей еще не означает, что они оценивают нужную компетентность. Оба могут вознаграждать красивые слайды вместо обоснованного решения. Надежность касается последовательности оценки при определенных условиях; обоснованность интерпретации результата требует отдельных доказательств. Поэтому рубрику следует сначала сопоставить с обучающими целями, а уже потом проверять ее применение.",{"type":11,"attrs":63,"content":64},{"align":13},[65],{"text":66,"type":17},"Полезен вопрос к каждому критерию: какую наблюдаемую часть работы он описывает? Если ответ требует догадки о характере, усердии или будущем успехе студента, критерий следует уточнить. Оценщик должен ссылаться на фрагмент работы или действие, которое действительно наблюдал. Это делает дальнейший разговор предметным, даже если профессиональные суждения не совпадают.",{"type":11,"attrs":68,"content":69},{"align":13},[70],{"text":71,"type":17},"В то же время не пытайтесь убрать всю сложность из профессиональной задачи. Аналитический отчет или педагогический проект не всегда можно свести к списку формальных меток. Задача рубрики – сделать основания суждения видимыми. Она должна помогать объяснять решение, а не создавать иллюзию механической точности там, где требуется обоснованная экспертная оценка.",{"type":29,"attrs":73,"content":75},{"align":13,"level":31,"id":74},"heading_2_3",[76],{"text":77,"type":17},"Выберите работы, которые действительно испытают критерии",{"type":11,"attrs":79,"content":80},{"align":13},[81],{"text":82,"type":17},"Не ограничивайте пилот лучшими примерами. Добавьте сильные, слабые, незавершенные и пограничные работы, а также различные способы выполнения, которые допускает задание. Особенно полезны случаи с неравномерным профилем: убедительный анализ с плохой структурой или хорошо оформленный продукт с ошибочным выводом. Именно они показывают, различают ли эксперты критерии.",{"type":11,"attrs":84,"content":85},{"align":13},[86],{"text":87,"type":17},"Участники проверки должны знать происхождение выборки. Если вы намеренно собрали много пограничных работ, результаты не следует подавать в качестве оценки обычного распределения всего потока. Если использовались только работы выпускников, вывод не распространяется автоматически на новичков. Зафиксируйте способ отбора, уровень студентов, версию задания и объем доступных доказательств.",{"type":11,"attrs":89,"content":90},{"align":13},[91],{"text":92,"type":17},"Уберите имена и предыдущие оценки, если они не требуются для решения. Сведения об усердии студента или мнение автора курса могут непреднамеренно влиять на оценщика. Условия должны быть одинаковыми: тот же файл, одна версия рубрики, одинаковый доступ к приложениям. Иначе часть разногласий возникнет из-за разных материалов, а не разного применения критериев.",{"type":29,"attrs":94,"content":96},{"align":13,"level":31,"id":95},"heading_2_4",[97],{"text":98,"type":17},"Проведите первый раунд независимо",{"type":11,"attrs":100,"content":101},{"align":13},[102],{"text":103,"type":17},"Каждый эксперт оценивает работы без обсуждения с коллегами и записывает не только баллы, но и краткие основания. Предложите указывать конкретное доказательство: страницу, фрагмент расчета, шаг демонстрации. Метка «не уверен» тоже полезна: она показывает места, где описание уровней не дает достаточной опоры. Не заставляйте изображать уверенность ради аккуратной таблицы.",{"type":11,"attrs":105,"content":106},{"align":13},[107],{"text":108,"type":17},"Зафиксируйте исходные результаты до совместной встречи. Если оценки изменяются при дискуссии, сохраните обе версии. Согласованный после переговоров ответ описывает результат модерации, но не независимую межэкспертную согласованность. Смешивание этих двух наборов создает привлекательную статистику, не соответствующую ежедневному процессу, когда куратор работает самостоятельно.",{"type":11,"attrs":110,"content":111},{"align":13},[112],{"text":113,"type":17},"Для организации такого пилота LMS-платформа WeStudy может быть частью учебной среды, а отдельный журнал – местом фиксации оценок и объяснений. Конкретный способ сбора данных выбирайте после проверки доступных настроек. Надежность определяется процедурой и качеством доказательств, поэтому наличие цифрового инструмента не заменяет независимость первого раунда.",{"type":29,"attrs":115,"content":117},{"align":13,"level":31,"id":116},"heading_2_5",[118],{"text":119,"type":17},"Начните с понятной карты разногласий",{"type":11,"attrs":121,"content":122},{"align":13},[123],{"text":124,"type":17},"Постройте таблицу «работа – критерий – эксперт». Посмотрите, где оценки совпадают, где отличаются на соседний уровень, где ведут к противоположному решению. Общий средний балл может скрыть разнонаправленные ошибки. Если один преподаватель строже к структуре, а другой — к аргументации, итоговые суммы иногда выглядят похожими без настоящего согласия.",{"type":11,"attrs":126,"content":127},{"align":13},[128],{"text":129,"type":17},"Отдельно рассмотрите систематическую строгость. Ставит ли кто-то почти всегда более низкие оценки? Используется ли один критерий как общее впечатление от всей работы? Выбирают ли отдельный уровень шкалы крайне редко? Эти наблюдения не устанавливают виновного. Они помогают сформулировать объяснение, которое можно проверить в следующем раунде.",{"type":11,"attrs":131,"content":132},{"align":13},[133],{"text":134,"type":17},"Простой процент точных совпадений легко объясним команде, но его недостаточно для всех задач. Совпадение «зачтено» в группе, где почти все работы очевидно сильны, мало рассказывает о пограничных решениях. Показывайте вместе с числом количество работ, распределение категорий и типы расхождений. Читатель должен видеть, на чем именно построен вывод.",{"type":29,"attrs":136,"content":138},{"align":13,"level":31,"id":137},"heading_2_6",[139],{"text":140,"type":17},"Подберите показатель под шкалу и дизайн исследования",{"type":11,"attrs":142,"content":143},{"align":13},[144],{"text":145,"type":17},"Для категориальных решений иногда применяют коэффициенты семейства каппа; для упорядоченных категорий может быть уместна взвешенная версия с обоснованными весами. Выбор зависит от количества оценщиков, структуры данных и вопроса исследования. Не используйте обычную корреляцию как универсальное доказательство согласия: общий рост двух наборов баллов не исключает устойчивого смещения между ними.",{"type":11,"attrs":147,"content":148},{"align":13},[149,151,158],{"text":150,"type":17},"Для числовых оценок используют, в частности, внутриклассовую корреляцию ICC. В ",{"text":152,"type":17,"marks":153},"методической статье Koo и Li",[154],{"type":155,"attrs":156},"link",{"href":157,"title":13},"https:\u002F\u002Fpubmed.ncbi.nlm.nih.gov\u002F27330520\u002F",{"text":159,"type":17}," объяснено, почему следует указывать модель, тип измерения и определение согласия. Оценка одним экспертом и среднее нескольких оценок — разные ситуации. Абсолютное согласие также отличается от последовательности, допускающей определенные систематические отличия.",{"type":11,"attrs":161,"content":162},{"align":13},[163,165,171],{"text":164,"type":17},"В этом материале статистические названия являются ориентирами, а не готовым рецептом расчета. Для выбора формы ICC, работы с пропусками и оценки неопределенности привлеките соответствующего аналитика. ",{"text":166,"type":17,"marks":167},"Обновлённые методические рекомендации",[168],{"type":155,"attrs":169},{"href":170,"title":13},"https:\u002F\u002Fpubmed.ncbi.nlm.nih.gov\u002F36048052\u002F",{"text":172,"type":17}," отдельно рассматривают неполные дизайны. Не выбирайте коэффициент после просмотра результатов только потому, что он выглядит лучше всего.",{"type":29,"attrs":174,"content":176},{"align":13,"level":31,"id":175},"heading_2_7",[177],{"text":178,"type":17},"Не превращайте одно число в сертификат качества",{"type":11,"attrs":180,"content":181},{"align":13},[182],{"text":183,"type":17},"Показатель имеет смысл вместе с доверительным интервалом, описанием выборки и условиями оценки. На малом пилоте неопределенность может быть большой. Удобные пороги из методических публикаций не следует механически переносить на каждую образовательную задачу. Решение о приемлемости требует учета цены ошибки, масштаба применения и способа поддержки студентов.",{"type":11,"attrs":185,"content":186},{"align":13},[187],{"text":188,"type":17},"Полезно дополнить статистику конкретной информацией: какие критерии дают больше разногласий, сколько случаев меняют итоговое решение и что команда планирует исправить. Для руководителя школы это часто практичнее красивого коэффициента без объяснения. Число должно помогать принимать решения, а не закрывать дискуссию о слабых местах оценки.",{"type":11,"attrs":190,"content":191},{"align":13},[192],{"text":193,"type":17},"Если рубрика используется в различных предметах, проверяйте перенос отдельно. Высокое согласие на коротких аналитических записках не доказывает такой же работы критериев на видеопрезентациях. Изменение формата, аудитории или состава экспертов может потребовать новой проверки. Сохраняйте пределы вывода рядом с результатом, чтобы их не потеряли во время управленческого пересказа.",{"type":29,"attrs":195,"content":197},{"align":13,"level":31,"id":196},"heading_2_8",[198],{"text":199,"type":17},"Превратите дискуссию в уточнение дескрипторов",{"type":11,"attrs":201,"content":202},{"align":13},[203],{"text":204,"type":17},"Во время калибровки попросите экспертов сначала показать доказательства, а затем назвать оценку. Это уменьшает риск спора о личном авторитете. Если один видит «полное обоснование», а другой только перечень утверждений, сравните требования к доказательству. Возможно, рубрика вообще не объясняет, что считать достаточной связью между данными и выводом.",{"type":11,"attrs":206,"content":207},{"align":13},[208],{"text":209,"type":17},"Уточненный дескриптор должен описывать заметную разницу между соседними уровнями. Вместо «достаточный анализ» можно требовать сопоставления двух возможных объяснений и указания на ограничение избранного. Не добавляйте требования, которые студент не видел в задании. Если критерий изменяет ожидаемый продукт, обновите инструкцию и примеры, а для текущего потока определите правильный переход.",{"type":11,"attrs":211,"content":212},{"align":13},[213],{"text":214,"type":17},"Создайте краткий набор эталонных работ с комментариями. Для пограничных примеров полезно объяснить не только принятый уровень, но и причину отказа от соседнего. Эталон не должен превращаться в единственный разрешенный способ ответа. Показывайте разные корректные решения, иначе проверяющие начнут оценивать сходство с шаблоном вместо качества исполнения.",{"type":29,"attrs":216,"content":218},{"align":13,"level":31,"id":217},"heading_2_9",[219],{"text":220,"type":17},"Проверьте результат на новых примерах",{"type":11,"attrs":222,"content":223},{"align":13},[224],{"text":225,"type":17},"После изменения рубрики проведите следующий независимый раунд на других работах. Повторная оценка тех же примеров сразу после детального обсуждения может показать память о договоренности. Новый набор лучше испытывает, научились ли эксперты применять правило к незнакомой ситуации. Начальные и обновленные результаты сравнивайте с учетом разности выборок.",{"type":11,"attrs":227,"content":228},{"align":13},[229],{"text":230,"type":17},"Не обещайте статистическое улучшение без достаточных оснований. Внутренний пилот может дать более скромный, но полезный вывод: исчезла конкретная двусмысленность, эксперты одинаково объясняют пограничный уровень, меньше решений нуждаются в модерации. Если данных недостаточно для надежного обобщения, так и запишите. Практическая польза проверки не зависит от громкости заявления.",{"type":11,"attrs":232,"content":233},{"align":13},[234],{"text":235,"type":17},"Зафиксируйте версию рубрики, дату ввода и список изменений. Оценки, полученные по разным правилам, не следует без объяснения объединять в один показатель успеваемости. Студент должен понимать, какая версия касается его работы. Преподавателям требуется краткий журнал изменений, чтобы новый дескриптор не потерялся среди сообщений в рабочем чате.",{"type":29,"attrs":237,"content":239},{"align":13,"level":31,"id":238},"heading_2_10",[240],{"text":241,"type":17},"Поддерживайте согласованность в обычном потоке",{"type":11,"attrs":243,"content":244},{"align":13},[245],{"text":246,"type":17},"Даже после удачного пилота оставьте выборочную двойную оценку. Подбирайте работы так, чтобы видеть разные уровни и новые типы ответов. Частоту определяйте по риску и ресурсам, не выдавая произвольное число за универсальную норму. Повышенное количество апелляций или появление нового оценщика является поводом для дополнительного просмотра, а не доказательством неисправности всего курса.",{"type":11,"attrs":248,"content":249},{"align":13},[250],{"text":251,"type":17},"Предусмотрите путь рассмотрения разногласий: кто модерирует, какие материалы просматривает и как объясняет окончательное решение. Модератору требуются работа, действующая рубрика и основания начальных оценок. Уговор «берем среднее» не всегда решает проблему, особенно когда один эксперт видит критическую ошибку, которую нельзя компенсировать хорошим оформлением других частей.",{"type":11,"attrs":253,"content":254},{"align":13},[255],{"text":256,"type":17},"Если LMS-платформа WeStudy используется в учебном процессе, свяжите доступные материалы курса с действующими инструкциями оценивания, а правила модерации поддерживайте в согласованном рабочем пространстве. Проверьте этот маршрут глазами нового куратора. Он должен найти нужную версию без устной подсказки автора, иначе последовательность будет оставаться в зависимости от присутствия нескольких опытных людей.",{"type":29,"attrs":258,"content":260},{"align":13,"level":31,"id":259},"heading_2_11",[261],{"text":262,"type":17},"Разберите три разные причины несогласия",{"type":11,"attrs":264,"content":265},{"align":13},[266],{"text":267,"type":17},"Первая причина – неоднозначный текст. Оба эксперта видят одинаковые факты, но вкладывают разное содержание в слово «самостоятельно». Один допускает использование справочника, другой считает его признаком недостаточного владения материалом. В этом случае требуется конкретизация условий выполнения. Новая фраза должна появиться не только в рабочем документе преподавателей, но и в задаче, которую видит студент перед началом работы.",{"type":11,"attrs":269,"content":270},{"align":13},[271],{"text":272,"type":17},"Вторая причина — различное распознавание доказательств. Критерий ясен, однако один оценщик не заметил нужный фрагмент или не распознал допустимый альтернативный метод. Здесь полезны примеры, предметное обучение и более удобный формат работы. Переписывание дескриптора может ничего не изменить. Предложите экспертам показать, где они искали подтверждение и почему отвергли другие части ответа, прежде чем объявлять рубрику неудачной.",{"type":11,"attrs":274,"content":275},{"align":13},[276],{"text":277,"type":17},"Третья причина – противоречивое правило принятия решения. Например, критерии оценены похоже, но непонятно, блокирует ли критическая ошибка зачёт независимо от суммы баллов. Требуется отдельное правило итогового решения с пояснением его учебного смысла. Без этого команда будет продолжать спорить уже после правильного заполнения всех ячеек. Для каждого типа расхождений назначьте соответствующее действие, чтобы калибровка не сводилась к общему призыву оценивать внимательнее.",{"type":29,"attrs":279,"content":281},{"align":13,"level":31,"id":280},"heading_2_12",[282],{"text":283,"type":17},"Учтите пропуски и непригодные работы",{"type":11,"attrs":285,"content":286},{"align":13},[287],{"text":288,"type":17},"Пустая ячейка может означать, что работу не оценивали, файл не открылся или критерий не применим к этому формату. Это разные состояния. Не заменяйте их автоматически нулем: такой шаг изменит содержание данных и может создать искусственное несогласие. До начала пилота согласуйте обозначение пропусков, причину отсутствия оценки и порядок повторного доступа к материалам. Сохраняйте эти пояснения рядом с таблицей результатов.",{"type":11,"attrs":290,"content":291},{"align":13},[292],{"text":293,"type":17},"Если эксперты оценивают разные подмножества работ, это уже другой дизайн по сравнению с ситуацией, когда все проверяют все. Не передавайте таблицу аналитику без описания процедуры. Сообщите, как распределяли работы, были ли общие примеры и привлекали ли модератора к независимому раунду. Иначе правильная формула может отвечать совсем другому вопросу, чем тот, который пытается решить школа в своей повседневной практике.",{"type":11,"attrs":295,"content":296},{"align":13},[297],{"text":298,"type":17},"Работа, непригодная для оценивания, также требует прозрачного решения. Если отсутствует обязательная часть, определите, возвращаете ли ее студенту или оцениваете доступные критерии. Правило должно быть известно заранее и одинаково применяться всеми кураторами. Такая договоренность уменьшает административный шум в пилоте и одновременно защищает студентов от ситуации, когда разные преподаватели придумывают собственные последствия для одинаковой проблемы с представлением.",{"type":29,"attrs":300,"content":302},{"align":13,"level":31,"id":301},"heading_2_13",[303],{"text":304,"type":17},"Проверьте справедливость комментария",{"type":11,"attrs":306,"content":307},{"align":13},[308],{"text":309,"type":17},"Одинаковый балл не гарантирует одинаково полезной обратной связи. Сравните, объясняет ли комментарий найденную проблему, связывает ее с критерием и называет доступный следующий шаг. Фраза \"слабая аргументация\" может формально соответствовать рубрике, но оставлять студента без способа улучшения. Попросите оценщиков добавить пример нужного уточнения, не выполняя всю работу за участника и не создавая новых требований после сдачи задания.",{"type":11,"attrs":311,"content":312},{"align":13},[313],{"text":314,"type":17},"Отдельно просмотрите тон и предположение. Оценка должна относиться к представленному результату, а не к способностям или мотивации человека. Если преподаватель пишет, что студент «не старался», вернитесь к доказательствам: какая часть отсутствует или ошибочна? Это не косметическая редактура. Видимые основания помогают другому эксперту проверить решение, а студенту понять, что нужно изменить перед повторным представлением работы.",{"type":11,"attrs":316,"content":317},{"align":13},[318],{"text":319,"type":17},"Для апелляции сохраните первоначальный комментарий, работу и окончательное объяснение модератора. Не исправляйте историю так, будто разногласия никогда не было. Анализ таких случаев помогает усовершенствовать подготовку экспертов и выявлять слабые места инструкции. Однако не используйте единичную апелляцию для публичного ранжирования преподавателей: ее содержание нуждается в контексте, а цель процедуры состоит в защите обоснованного решения и понятного учебного маршрута.",{"type":29,"attrs":321,"content":323},{"align":13,"level":31,"id":322},"heading_2_14",[324],{"text":325,"type":17},"Как выглядит краткий отчет",{"type":11,"attrs":327,"content":328},{"align":13},[329],{"text":330,"type":17},"Представим условный курс подготовки аналитических записок. Команда определяет, что главный риск – разное решение о достаточности доказательств в заключении. В отчете описывается подбор работ, независимый порядок оценки и выявленная проблема: один дескриптор не отличает наличие данных от их использования в аргументации. Это обучающий пример, а не результат исследования конкретной школы.",{"type":11,"attrs":332,"content":333},{"align":13},[334],{"text":335,"type":17},"Далее команда записывает изменение формулировки, добавляет два контрастных примера и планирует новый раунд. До завершения перепроверки пограничные работы проходят модерацию. Такой отчет не провозглашает рубрику «надежной навсегда». Он показывает, какое решение проверяли, что выяснили, как защитили студентов от непоследовательности и когда вернутся к вопросу с новыми данными.",{"type":11,"attrs":337,"content":338},{"align":13},[339],{"text":340,"type":17},"Надежная оценка произрастает из видимых критериев, независимых суждений и честной работы с разногласиями. Начните с задачи, последствия которой действительно важны для студентов. Проверьте ее на различных работах, объясните границы полученного результата и оставьте способ замечать изменения. Так рубрика становится общим инструментом профессионального суждения, а оценка – решением, основания которого можно понять и проверить.",{"type":11,"attrs":342,"content":343},{"align":13},[344],{"text":345,"type":17},"Перед новым потоком проверьте, не изменилась ли сама задача. Дополнительный файл, другая продолжительность подготовки или разрешение пользоваться новым инструментом могут изменить доказательства, которые получает оценщик. Старые эталоны тогда нуждаются в пересмотре. Оставьте краткую форму сообщения о нетипичном ответе, чтобы куратор мог задать вопрос без неформального поиска автора курса и без самовольного введения нового правила для отдельного студента.",{"type":11,"attrs":347,"content":348},{"align":13},[349],{"text":350,"type":17},"Полезно также проверить понятность рубрики для самой аудитории. Предложите студентам сравнить два условных фрагмента работы и объяснить разницу между уровнями. Такое упражнение не заменяет проверку экспертной согласованности, но проявляет языковые барьеры и скрытые ожидания. Если преподаватели договорились между собой, а студенты до сих пор не понимают требований, оценка остается непрозрачной и провоцирует споры, которых можно избежать благодаря заблаговременному уточнению инструкции.",{"type":11,"attrs":352,"content":353},{"align":13},[354],{"text":355,"type":17},"Запланируйте отдельное введение нового эксперта: знакомство с целями, независимую работу с примерами и обсуждение оснований. Не требуйте просто уяснить принятые баллы. Человек обязан научиться находить подтверждения и разъяснять выбор уровня на незнакомой работе. Эта способность поддерживает последовательность, когда типичные примеры заканчиваются и студент предлагает необычное, но допустимое профессиональное решение.",{"type":29,"attrs":357,"content":359},{"align":13,"level":31,"id":358},"heading_2_15",[360],{"text":361,"type":17},"Источники",{"type":363,"attrs":364,"content":366},"ordered_list",{"order":365},1,[367,380,391,403],{"type":368,"content":369},"list_item",[370],{"type":11,"attrs":371,"content":372},{"align":13},[373,378],{"text":374,"type":17,"marks":375},"Koo, Li: выбор и представление ICC",[376],{"type":155,"attrs":377},{"href":157,"title":13},{"text":379,"type":17},".",{"type":368,"content":381},[382],{"type":11,"attrs":383,"content":384},{"align":13},[385,390],{"text":386,"type":17,"marks":387},"Обновлённые рекомендации по ICC и неполным дизайнам",[388],{"type":155,"attrs":389},{"href":170,"title":13},{"text":379,"type":17},{"type":368,"content":392},[393],{"type":11,"attrs":394,"content":395},{"align":13},[396,402],{"text":397,"type":17,"marks":398},"Carnegie Mellon University: принципы преподавания и согласования оценки с целями",[399],{"type":155,"attrs":400},{"href":401,"title":13},"https:\u002F\u002Fwww.cmu.edu\u002Fteaching\u002Fprinciples\u002Fteaching.html",{"text":379,"type":17},{"type":368,"content":404},[405],{"type":11,"attrs":406,"content":407},{"align":13},[408,414],{"text":409,"type":17,"marks":410},"CDC: стандарты качества обучения",[411],{"type":155,"attrs":412},{"href":413,"title":13},"https:\u002F\u002Fwww.cdc.gov\u002Ftraining-development\u002Fphp\u002Fqts\u002Findex.html",{"text":379,"type":17},{"type":8,"content":416},[417],{"type":11,"content":418},[419],{"text":420,"type":17},"Как проверить, одинаково ли разные преподаватели применяют рубрику: независимое оценивание, анализ разногласий, калибровку и повторный пилот.",1787314025,"https:\u002F\u002Fcloud.cs3.westudy.ua\u002Ffile?path=westudy_online%2Fpublic%2Fwestudy%2Fc0e18a43-89c6-4230-8b33-6401351bf049.webp","uzghodzhenist-otsiniuvannia-rubryky",true,false,"d395756b-b07f-4cae-836e-4f3827f7b2f8","Якість та стандарти","quality-standards","light","news.articles"]