Оценивая Украину: Международный Рейтинг Качества Образования PISA

В начале 2015 года Президент Украины  одобрил “Стратегию-2020”. Эта стратегия содержит 25 Ключевых показателей эффективности (англ. KPI). Их можно использовать для оценки прогресса Украины в выполнении программы стратегии.  

В этой серии публикаций мы оцениваем вероятность того, что Украина достигнет запланированных значений некоторых из этих KPI до 2020 года. В первую очередь мы оценили KPI по «завоеванию 35 медалей на Летних Олимпийских играх 2020 года в Японии». В этой публикации мы оцениваем вероятность достижения цели «попасть в 50 лучших стран в международном рейтинге качества образования PISA».

Общая информация

«Стратегия-2020» предполагает, что Украина займет место среди 50 лучших стран в рейтинге «Международной программы по оценке образовательных достижений учащихся» (англ. The Programme for International Student Assessment, сокращенно PISA). Результат страны в PISA основывается на результатах 15-летних учеников при тестировании их навыков в математике, естественных науках и чтении.

Украина еще не принимала участия в исследовании PISA, и первые результаты тестирования украинских учеников могут быть получены только в 2018 году. Точное количество стран, которые получат результаты исследования PISA в 2018 году неизвестно, но, согласно интернет странице PISA, в волне исследований 2015 года участвует более 70 стран, в то время как в волне 2012 года участвовало 65 стран.

Прогресс

Хотя рейтинг PISA пока не охватывает Украину, существует несколько индикаторов, которые могут дать нам представление о качестве украинского образования.

Во-первых, это один из индикаторов в опросе руководителей компаний в рамках “Отчета о глобальной конкурентоспособности” — оценка качества образования в начальной (не средней) школе от бизнес-лидеров страны [1]. В разные годы данные были доступны для от 131 до 148 стран, а Украина занимала места от 37 до 52.

Во-вторых, это оценки качества образования в области математики и естественных наук (рисунок 2) от бизнес-лидеров страны. По результатам ответов на этот вопрос, Украина получала места от 28 до 45. Ни по одному из показателей не наблюдалось устойчивого ухудшения позиции Украины, а значит цель попасть в число 50 лучших страны в рейтинге PISA не так уж амбициозна, особенно учитывая, что рейтинг охватывает только 65-70 стран, тогда как “Отчет о глобальной конкурентоспособности” оценивает более 130 стран.

В-третьих, хотя Украина пока не включена в рейтинг PISA, она стала участником другого международного исследования — «Тенденции в изучении математики и естественно-научных предметов в разных странах» (англ. Trends in International Mathematics and Science Study, сокращенно TIMSS) в 2011 году. Если PISA оценивает результаты 15-летних школьников, тестируя их по математике и естественным наукам, то TIMSS проводит тестирование по этим же предметам среди восьмиклассников (13-14-летних школьников). В 2011 году  в TIMSS Украина заняла 19 место среди 45 стран по математике и 18 место по естественным наукам.

Естественно, результаты стран в рейтинге PISA тесно соотносятся с результатами в TIMMS. Ниже мы представляем результаты регрессионного анализа связи результатов PISA с результатами TIMMS для 28 стран, которые участвовали как в исследованиях PISA в 2012 году, так и в TIMMS в 2011 году.   Учитывая участие Украины в TIMMS в 2011 году, полученное регрессионное уравнение позволяет нам оценить результат и место в рейтинге, которые Украина получила бы, если бы участвовала в исследовании PISA в 2012 году.

	Математика	Естественные науки
Константа	55,96	-22,04
	(28,82)	(39,13)
Коэффициент результатов TiMMS	0,84	1,00
	(0,06)	(0,08)
Скоректированный R2	0,89	0,86
#	28	28
Предположительный результат Украины	460,0	478,6
Предположительная позиция Украина в рейтинге PISA в 2012 году	42	39

Таблица 1 показывает, что результат PISA по математике равнялся бы 55,96 + 0,84*Результат TiMMS. Результат Украины в математике в TiMMS был равен 479, а значит предположительный результат Украины в рейтинге PISA по математике составил бы 460 (55,96+0,84*479). В 2012 году этого  хватило бы, чтобы занять 42 место (среди 65 стран) в рейтинге. Аналогично, в естественных науках ожидаемый результат Украины составляет 478,6, достаточно, чтобы занять 39 место (среди 65 стран) [2]. Это еще раз подтверждает, что цель занять место среди 50 лучших стран в рейтинге PISA вполне достижима.

Сможет ли Украины достичь этой цели?

Вышеприведенный анализ показывает, что стремление занять место среди 50 лучших стран в рейтинге PISA в целом осуществимо. Следовательно, если ориентироваться на рейтинг PISA, Украине лучше нацелиться на место в топ-40 (или даже топ-35), а не топ-50, лучших стран.

Оптимальный ли это спосбо оценки качества образования?

“Стратегия-2020” обосновывает использование позиции в рейтинге PISA в качестве одного из KPI таким образом:

«Украина будет участвовать в международном исследование качества образования PISA и займет место среди 50 стран мира с лучшим качеством образования. Это будет значить, что выпускники школ будут владеть всеми необходимыми умениями для того, чтобы успешно конкурировать в международной среде, и смогут продолжить образование в ВУЗах».

Как отмечено в некоторых из предыдущих публикаций VoxUkraine (здесь и здесь), украинская система образования не вполне сооветствует потребностям экономики. Несмотря на долгую учебу, украинские работники демонстрируют невысокую производительность труда. Относительно неплохой показатель Украины в рейтинге качества математического и естественно-научного образования “Отчета о глобальной конкурентоспособности” не находит подтверждения в показателе соответствия образовательной системы Украины требованиям конкурентоспособной экономики.  Это прямо опровергает предположение “Стратегии 2020” о связи рейтинга с конкурентоспособностью на рынке труда. Рисунок 3 показывает, что показатель соответствия образовательной системы Украины потребностям конкурентоспособной экономики, гораздо хуже ее результатов по другим показателям качества образования и стремительно ухудшался со временем, от приблизительно 50-го до приблизительно 70-го места.

Таким образом, более целесообразным для Украины был бы выбор  в качестве KPI цели занять место среди 50 лучших стран в рейтинге соответствия системы образования требованиям конкурентоспособной экономики [3].

Слабая сторона этого показателя — то, что он основывается на точке зрения достаточно небольшой группы людей (около 100 украинских бизнес-лидеров [4]), в то время как показатель в рейтинге PISA отображает результаты тестирования достаточно большой выборкы украинских студентов. Субъективными рейтингами (рейтингами восприятия) легче манипулировать, и, особенно учитывая небольшую выборку, они могут неточно отображать реальную ситуацию в стране. С другой стороны, преимуществом рейтингов на основе восприятия является то, что они могут быстро отразить реформы, даже если реально эти реформы повлияют на результаты тестов лишь спустя некоторое время.

Подводя итоги, если использовать позицию в рейтинге PISA как KPI, “Стратегия-2020” могла бы быть более амбициозной и определить в качестве цели позицию среди 40 лучших стран рейтинга, а не среди 50, как сейчас. Стремление занять место среди 50 лучших стран было бы разумной целью в рейтинге соответствия системы образования требованиям конкурентоспособной экономики  Принимая во внимание недостатки обоих показателей, стремление достичь сразу двух этих показателей могло бы стать лучшим KPI.

Примечания