Оцінюючи Україну: Міжнародний Рейтинг Якості Освіти PISA

На початку 2015 року Президент України схвалив «Стратегію-2020». Ця стратегія включає 25 ключових показників ефективності (англ. KPI). Їх можна використати для оцінки прогресу України у виконанні програми стратегії.

У цій серії публікацій ми оцінюємо ймовірність того, що Україна досягне запланованих значень деяких із цих KPI до 2020 року. Спочатку ми оцінили KPI у «завоюванні 35 медалей на Літніх Олімпійських іграх 2020 року в Японії». У цій публікації ми оцінюємо ймовірність досягнення мети «бути серед 50 найкращих країн у міжнародному рейтингу якості освіти PISA».

Загальна інформація

«Стратегія-2020» передбачає, що Україна посяде місце серед 50 найкращих країн у рейтингу «Міжнародної програми оцінки освітніх досягнень учнів» (англ. The Programme for International Student Assessment, скорочено – PISA). Результат країни в рейтингу PISA ґрунтується на результатах 15-річних учнів при тестуванні їхніх навичок у математиці, природничих науках і читанні.

Україна ще ніколи не брала участь у дослідженні PISA, і перші результати тестування українських учнів можуть бути доступними лише у 2018 році. Точна кількість країн, що отримають результати PISA у 2018-му, невідома але, згідно з інтернет сторінкою PISA, у хвилі дослідження 2015 року бере участь понад 70 країн, а в хвилі 2012 року було 65 країн.

Прогрес

Хоча рейтинг PISA поки що не охоплює Україну, є декілька індикаторів, які можуть дати нам уявлення про якість української освіти.

По-перше, це один з індикаторів в Опитуванні керівників компаній в рамках Звіту про глобальну конкурентоспроможність – оцінка якості освіти в початковій (не середній) школі від бізнес-лідерів країни [1]. У різні роки дані були доступні для від 131 до 148 країн, а Україна займала місця від 37 до 52.

По-друге, це оцінки якості освіти в галузі математики та природничих наук (рисунок 2) від бізнес-лідерів країни. За відповідями на це питання Україна в різні роки отримувала місця від 28 до 45. За жодним із показників немає стійкого погіршення позиції України, що наштовхує на думку про те, що ціль перебувати серед найкращих 50 країн у рейтингу PISA не є надто амбітною, особливо враховуючи, що рейтинг включає лише від 65 до 70 країн, тоді як Звіт про глобальну конкурентоспроможність оцінює понад 130 країн.

По-третє, хоча Україна не охоплюється рейтингом PISA, вона стала учасницею іншого міжнародного дослідження – «Тенденції у вивченні математики та природничо-наукових предметів у різних країнах» (англ. Trends in International Mathematics and Science Study, скорочено – TIMSS) у 2011 році. Якщо PISA оцінює результати 15-річних школярів, тестуючи їхні знання з математики та природничих наук, то TIMSS проводить тестування восьмикласників (13-14-річних школярів) за цими предметами. У 2011 році Україна посіла 19 місце серед 45 країн у рейтингу TIMSS за математичними знаннями та 18 місце за природничими науками.

Не дивно, що результати країн у рейтингу PISA схожі на результати країн у TIMSS. Нижче ми представляємо результати регресійного аналізу зв’язку результатів PISA з результатами TIMSS для 28 країн, що взяли участь як у дослідженнях PISA 2012 року, так і у TIMSS 2011-го. Враховуючи участь України у TIMSS у 2011 році, отримане рівняння регресії дозволяє нам оцінити результат та місце в рейтингу, які Україна отримала б, якби взяла участь у дослідженні PISA 2012 року.

Таблиця 1 показує, що в тестуванні з математики результат PISA дорівнював би приблизно 55,96 + 0,84*Результат TIMSS. Оскільки результат України в математиці за TIMSS дорівнював 479, очікуваний результат України за рейтингом PISA в математиці дорівнює 460 (55,96+0,84*479). У 2012 році результату 460 вистачило б, щоб посісти 42 місце (серед 65 країн) у рейтингу PISA. Подібним чином, у природничих науках очікуваний результат України становить 478,6. Цього б вистачило, щоб посісти 39 місце (серед 65 країн) [2]. Це ще раз підтверджує, що мета посісти місце серед 50 найкращих країн у рейтингу PISA є легко досяжною.

Чи може Україна досягнути цієї мети?

Вищенаведена дискусія показує, що прагнення посісти місце серед 50 найкращих країн у рейтингу PISA є цілком здійсненним. Отже, якщо орієнтуватися на рейтинг PISA, Україні краще націлитися на місце в топ-40 (або навіть топ-35), а не топ-50, найкращих країн.

Чи оптимальний це спосіб оцінки якості освіти?

«Стратегія-2020» обґрунтовує використання позиції в рейтингу PISA як одного з KPI таким чином:

«Україна візьме участь в міжнародному дослідження якості освіти PISA та посяде місце серед 50 найкращих країн у світі. Це означатиме, що випускники шкіл володітимуть усіма необхідними вміннями для того, щоб успішно конкурувати в міжнародному середовищі та продовжити освіту у ВУЗах».

Як зауважено в деяких із попередніх публікацій VoxUkraine (тут і тут), українська система освіти недостатньо відповідає потребам її економіки. Незважаючи на довге навчання, українські працівники демонструють невисоку продуктивність праці. Відносно непоганий показник України в рейтингу якості математичної та природничої освіти Звіту про глобальну конкурентоспроможність не знаходить підтвердження в показнику відповідності освітньої системи України вимогам конкурентоспроможної економіки. Рисунок 3 засвідчує, що показник відповідності освітньої системи України потребам конкурентоспроможної економіки є гіршим, ніж її результати за іншими показниками якості освіти, і стрімко погіршувався з часом, від приблизно 50 місця до приблизно 70 місця.

Отже, доцільнішим для України було б вибрати як KPI мету зайняти місце серед 50 кращих країн у рейтингу відповідності системи освіти вимогам конкурентоспроможної економіки [3].

Слабка сторона цього показника – те, що він ґрунтується на оцінці досить невеликої групи людей (близько 100 українських бізнес-лідерів [4]), тоді як показник у рейтингу PISA відображає результати тестування значної вибірки українських студентів. Мінусом суб’єктивних рейтингів (рейтингів сприйняття) є те, що ними легше маніпулювати. Також, враховуючи невелику вибірку, вони можуть неточно змальовувати реальну ситуацію в країні. З другого боку, їхньою перевагою є те, що вони можуть негайно відображати здійснення реформ, навіть якщо реально ці реформи вплинуть на результати тестів лише через деякий час.

Підбиваючи підсумки, якщо використовувати позицію в рейтингу PISA як KPI, «Стратегія-2020» могла би бути амбітнішою та визначити за мету перебування серед найкращих 40 країн рейтингу, а не серед 50, як зараз. Прагнення посісти місце серед 50 найкращих країн було б розумною метою для показника відповідності системи освіти потребам конкурентоспроможної економіки. Зважаючи на вади обох показників, намагання вийти відразу на обидва показники могло би бути найкращим KPI.

Примітки