Материал создан в рамках проекта «Не верь мифам» при поддержке Международного фонда «Возрождение».
Все мы хотим, чтобы нас лечил высококвалифицированный, неравнодушный врач, который действительно хочет, чтобы мы выздоровели и никогда больше к нему не обращались. Но где искать такого специалиста, откуда он берется? Ответ на этот вопрос лишь один: прежде всего, хороший врач в будущем – это хороший студент медицинского вуза сегодня.
Да, очень многое зависит от мотивации этого студента, его способностей и способности учиться и анализировать материал. Но каким должен быть инструментарий, с помощью которого можно оценивать успешность студента-медика и его будущее как врача? Речь идет о системе экзаменов и тестирований. Именно они дают возможность определить, получится ли завтра из нынешнего студента хороший врач.
Каковы же эти экзамены в Украине, и главное, как они влияют на будущую квалификацию врачей, узнали аналитики VoxUkraine.
ТРИ «КРОКА» ДО ВРАЧА
Система оценивания знаний в медицинских университетах является крайне важным фактором в медицинском образовании – и в Украине, и за границей. С 1998 года все украинские студенты-медики сдают экзамены «Крок»:
- на третьем курсе сдают «Крок 1» (фундаментальные дисциплины);
- на последнем курсе – «Крок 2» (клинические дисциплины);
- во время интернатуры – «Крок 3».
Экзамены были разработаны благодаря тесному международному сотрудничеству и основывались на передовых мировых практиках. Это был первый в Украине успешный опыт построения системы независимого оценивания, который в том числе использовался для запуска ЗНО в начале 2000-х.
Правда, несмотря на использования передовых международных практик, среди студентов, преподавателей и врачей часто звучат критические замечания в отношении «Кроков».
Чаще всего жалуются на качество тестовых заданий. В ответ на эту критику Центр тестирования каждый раз указывал, что вопросы готовят преподаватели университетов, поэтому все вопросы следует и адресовать разработчикам. Преподаватели, в свою очередь, небезосновательно сетуют на отсутствие оплаты за непростую работу по разработке тестовых заданий. Безусловно, не все проблемы с качеством связаны с уровнем мотивации преподавателей. Есть вопросы и к содержанию программ, на основе которых формируются вопросы, и к несогласованностям в толковании одних и тех же ответов в разных тестовых заданиях. В любом случае ясно, что действующая модель организации процесса подготовки тестовых заданий не может гарантировать качественного результата.
Кроме замечаний к качеству вопросов, в общении со студентами и преподавателями постоянно звучат сомнения в уровне прозрачности и объективности оценивания «Кроков». Звучат разные суммы, за которые будто бы можно «решить вопрос»; называются разные имена людей, к которым можно обратиться; пересказывают истории тех, кому будто бы «удалось». В то же время за 20 лет существования «Кроков» ни одни подозрения или обвинения не были доказаны.
АНАЛИЗ РЕЗУЛЬТАТОВ «КРОКОВ»
Летом 2018 года Министерство здравоохранения Украины попросило Центр тестирования предоставить полную информацию о результатах сдачи «Кроков». Учитывая запланированные изменения в оценивании студентов-медиков, МОЗ хотело иметь более развернутый анализ учебных результатов студентов. Полученные деперсонифицированные данные были предоставлены для обработки авторкам этой статьи.
Всего получена информация о более 197 тыс. экзаменах за период с 2009 по 2018 год (при этом есть годы или экзамены, данные о которых не были предоставлены вовсе).
Одним из ключевых вопросов, на которые обращают внимание при исследованиях тестов, является естественность распределения баллов. «Нормальное (или естественное) распределение» (normal distribution) является одним из ключевых понятий в статистике. Еще в 19 веке математики заметили, что при большом количестве наблюдений графическое изображение плотности вероятности определенной величины образует форму колокола. Такое распределение получило название «нормального распределения» или «распределения Гаусса» – по имени математика, который впервые сформулировал это ключевое для статистики понятие.
Что это означает в тестологии? Есть некое «нормальное распределение» результатов: небольшое количество человек получает наименьшее количество баллов, несколько большее количество баллов получает больше человек, и при увеличении количества баллов увеличивается количество человек, которые такой балл получат. На определенном уровне этот показатель начинает снижаться, и в конце концов самые высокие баллы получает так же очень малая доля человек.
При анализе распределения результатов «Кроков» мы наблюдаем некоторые особенности. Самое низкое количество баллов, которое соответствует проценту правильных ответов, получает небольшое количество студентов. С увеличением количества баллов растет количество людей, получивших этот балл. Однако далее на одном показателе количество лиц, набравших этот балл, стремительно сокращается.
На графиках сдачи «Крок 1» (рис. 2) мы наблюдаем участок «провала» на отметке 50% в 2009-2014 годах. Зато количество лиц, получивших 50,5% в 2009-2014 годах непропорционально высокое – выше количества лиц, получивших 51%. В 2015 году (рис. 1) наблюдается такая же ситуация, но на другом отрезке кривой: 60% – резкое сокращение количества лиц; зато 60,5% набрало очень большое количество студентов.
(серым цветом обозначены результаты ниже порога «сдал/не сдал», фиолетовым – выше порога)
По сути, мы наблюдаем непропорционально большее количество студентов, получивших определенный балл. При этом «аномальный» рост четко совпадает с порогом «сдал/не сдал» для каждого года. Так, в 2015 году порог «сдал/не сдал» был поднят с 50,5% до 60,5% – и прыжок сдвинулся именно к этому уровню. Ситуация подобна и для «Крок 2» и «Крок 3».
То, что мы наблюдаем на графиках, называется разрывом функции распределения (discontinuity of distribution). Ученые уже исследовали такие явления. В частности, такие исследования проводились для оценки стоимости соблюдения регуляторных процедур. Они показывают, что необъяснимо большая доля компаний находится непосредственно перед пороговым значением, после которого начинается применение регуляции. Также ученые анализировали такое распределение, чтобы исследовать, как люди оптимизируют налоги. Многие имеют доходы лишь немногим ниже порога, после которого начинается следующий налоговая ставка.
Что мы наблюдаем?
Какие тенденции наблюдаются в проанализированных данных?
- В данных за большинство лет мы наблюдаем стремительный рост количества лиц, набравших балл, который совпадает с порогом «сдал/не сдал».
- Высота «прыжка» разная для разных лет. Мы видим, что в определенные годы высота «прыжка» фактически компенсирует резкое снижение на предыдущем показателе, то есть является свидетельством того, что баллы человек, набравших на 0,5 балла меньше установленного порога, «подтягивались» к порогу. Вместе с тем, в отдельные годы только «подтягиванием» резкий скачок объяснить невозможно. В отдельные годы этот скачок в 2,5 раза больший среднего между соседними ненулевыми значениями, в другие годы – в 8 раз, иногда – почти не отличается от него. Если бы досчет осуществлялся автоматически и подход был бы одинаков, в разные годы отклонение было бы более-менее одинаковое.
- Графики разных лет отличаются, что свидетельствует об изменении подходов к оцениванию. Так, в некоторые годы полностью отсутствуют студенты, набравшие на 0,5% меньше проходного балла. Теоретически это может свидетельствовать об автоматическом «досчете». В то же время, в другие годы есть студенты, получившие на 0,5% меньше порога «сдал/не сдал», однако их количество существенно ниже, чем можно было бы ожидать, учитывая форму кривой распределения. «Крок-1» в 2016 году вообще не содержит подобного «скачка» в распределении. Это свидетельствует о применении различных подходов к определению конечной оценки (таблица 1).
Таблица 1. Доля и количество правильных ответов в экзаменах «Крок-1» за разные годы
Таблица 2. Доля и количество правильных ответов в экзаменах «Крок-2» и «Крок-3» за разные годы
- Кривая результатов «Крок-2» заметно смещена в сторону более высоких результатов, то есть выпускной экзамен «Крок-2» заметно легче, чем «Крок-1». Сравнивая кривые результатов «Крок-1», «Крок-2» і «Крок-3» (рис. 3), можем увидеть это различие визуально: на «Крок-2» значительно меньше студентов получают результаты в рамках от 50 до 75 по сравнению с «Крок-1». В то же время очень высокие результаты получает большее количество студентов.
Такое распределение свидетельствует о том, что текст сравнительно легкий, и большинство студентов легко преодолевает порог «сдал/не сдал». В целом за «Крок-2» очень малая доля студентов получает меньше баллов, чем нужно для преодоления порога «сдал/не сдал».
