Обережно, індекс! Чому міжнародні рейтинги неякісно оцінюють український ринок праці

Порівняння країн на основі міжнародних комплексних індикаторів стали надзвичайно популярними. Однак, якщо вони неякісно розраховані або неправильно інтерпретовані, вони можуть призводити до помилкових рекомендацій. Дана публікація досліджує методологічні недоліки трьох загальновизнаних комплексних індексів ринку праці і рейтингів, розрахованих на їх основі. Стаття показує, що обґрунтовувати реформи поліпшенням позицій України в рейтингах слід дуже обережно, а краще цього взагалі уникати.

У чому привабливість рейтингів?

Зараз дуже модно посилатися на різноманітні індекси і міжнародні рейтинги, порівнюючи успіхи України з іншими країнами. Як йдуть справи в Україні відповідно до показників Doing Business від Світового банку? Або відповідно до Індексу глобальної конкурентоспроможності від Всесвітнього економічного форуму? Або згідно з Індексом економічної свободи від Heritage Foundation?

Рейтинги є такими привабливими, тому що надають швидкий та легкий рецепт реформ та обіцянку успіху. У світі необмеженої інформації та обмеженої терплячості, щоб обробити її, різноманітні показники стають популярним інструментом спрощення складної реальності та її опису за допомогою декількох, а іноді і лише одного числа. Їх легше інтерпретувати та порівнювати між країнами та в часі, ніж аналізувати безліч окремих показників. Представники бізнесу створюють рейтинги країн для оцінки їх інвестиційної привабливості. Науковцям та дослідникам потрібні дані у стислому форматі з різних країн та за довгі періоди часу. Уряди прагнуть створити взірець найкращих практик та виправдати необхідність реформ.

Нещодавно група відомих українських аналітиків та політиків обговорювали рейтинги України згідно з різноманітними індексами на семінарі, організованому VoxUkraine та Українським кризовим медіа центром. Представник Міністерства економічного розвитку та торгівлі Україні пояснив, що міністерство працює над покращенням рейтингу України за показниками Doing Business та навіть створило «відділ дерегулювання», який підготував план відповідних реформ для Кабінету міністрів та парламенту. Нещодавні публікації на VoxUkraine також обговорювали необхідність та негайність деяких реформ. Наприклад, використовуючи індекс Heritage Foundation, Наталія Остапенко зауважила:

Використовуючи Індекс глобальної конкурентоспроможності, Наталія Шаповал та Олена Нізалова також наголосили на тому, що:

Тоді як метою цієї статті не є критика запропонованих реформ, деякі з яких є цілком виправданими, її метою є показати, що, якщо вони неякісно розраховані або неправильно інтерпретовані, агреговані показники можуть надсилати оманливі сигнали та призводити до надто простих – або й просто помилкових – висновків.

Чи різні показники, що вимірюють однакове явище, приходять до схожих висновків?

Щоб оцінити наскільки добре рейтинги справляються із своїм завданням, у нашій нещодавній статті мій співавтор Сандрін Кейзес (Sandrine Cazes) та я вирішили піддати прискіпливому вивченню три важливі агрегатні показники ринку праці та базованих на них рейтингів – комплексний показник Ефективності ринку праці від Світового економічного форуму (World Economic Forum (WEF) Labor Market Efficiency (LME)), індекс Нормативно-законодавчої бази ринку праці (Labor Market Regulations) від Fraser Institute, та компоненти регулювання сфери праці (labour regulations components) від IMD.

Ці показники використовуються для складення рейтингу країн за ефективністю та свободою трудового законодавства. Ми обрали ці показники, тому що вони широко використовуються в дослідженнях та дискусіях про державну політику і тому що вони вимірюють порівняно схожі явища – трудове законодавство. Ці показники також є складовими ширших індексів, створених цими дослідницькими центрами – Індексу глобальної конкурентоспроможності від Світового економічного форуму (WEF), Індексу економічної свободи світу від Fraser Institute, та Індексу світової конкурентоспроможності (World Competitiveness Index) від IMD, кожен з яких використовується для визначення рейтингу країн за ступенем конкурентоздатності та економічної свободи. Індекс The Heritage Foundation у царині законодавства про працю, який ми формально не досліджували, досить схожий на індекси Fraser та WEF. Деякі колишні складові показника Doing Business від Світового банку використовуються в якості елементів всіх трьох розглянутих нами індексів..

Спершу ми розглянули ступінь кореляції між комплексними індексами законодавчої бази ринків праці від Fraser, IMD, WEF та різними їхніми складовими і встановили, що вони можуть коливатися від аж 0,01 до, в найкращому випадку, 0,7. Потім ми перевірили, чи займає кожна країна, з однаковою вибірки країн, те ж саме або схоже місце в кожному рейтингу. Ми виявили, що IMD і WEF поставили на одне і те ж місце лише одну країну. Дев’ять із топ-20 країн згідно з IMD взагалі відсутні у переліку топ-20 країн від Fraser; п’ять відсутні у списку топ-20 від WEF. Що стосується України, вона посідає 33 місце у рейтингу IMD, 58 у рейтингу Fraser та 84 у рейтингу WEF. І нарешті, ми розглянули кореляцію між цими показниками та явищем, на які вони повинні впливати, тобто на якість ринків праці. Ми встановили, що, в залежності від обраного показника, можливий будь-який напрямок кореляції між цими індикаторами та загальним безробіттям і довгостроковимбезробіттям (Рисунки 1-2).

Цілком очевидно, що кожен комплексний індикатор, що нібито вимірює одне і те ж саме або схоже явище, по-різному оцінює законодавство в сфері праці. Це означає, що рекомендації щодо дій у цій галузі залежать від вибору показника, на основі якого ці рекомендації будуть надані, і можуть використовуватися для маніпулювання.

Що не так з показниками та рейтингами?

Існує декілька причин, чому три порівняні нами комплексні показники надали такі різні оцінки трудового законодавства.

Почнемо з того, що ці показники включають різні базові складові, незважаючи на прагнення вимірювати, здавалось би, одне і те ж середовище – трудове законодавство. Дані щодо деяких складових збираються самими аналітичними центрами, а деякі дані по іншим складовим надходять із зовнішніх джерел, і іноді вони відображають різні часові рамки. У той же час, між базовими компонентами трьох агрегованих показників є багато спільного. Всі вони використовують, частково або повністю, субіндикатори Employing Workers від Світового банку, які колись були частиною показника Doing Business від Світового банку. Проблема полягає в тому, що IMD, WEF і Fraser використовують ті компоненти Employing Workers від Світового банку, які їм подобаються, не пояснюючи свій вибір та ще й змінюючи його кожного року. Відсутність теоретичного фундаменту і якісного аналітичного підходу до вибору окремих складових ставить під сумнів повноту відображеної цими індикаторами реальності.

Всі три комплексних індикатора включають показники, розраховані на основі опитувань. Такі питання можуть бути цінними лише тоді, коли їх запитання правильно сформовані – а це не завжди так. Наприклад, питання IMD щодо трудових відносин звучить: “Трудове законодавство (практика найму та звільнення, мінімальні зарплати тощо)… 1 = недостатньо гнучкі, 6 = достатньо гнучкі”. Питання одночасно покриває забагато різних аспектів: деякі країни можуть мати гнучкі підходи до звільнення та найму працівників, але негнучкі вимоги до мінімальної заробітної плати (у тому, що стосується її величини, визначення або ступеню формалізованості). Тому неясно, думку про які області трудового законодавства насправді відображає відповідь.

Крім того, опитування здійснюють проводять серед підприємців, але не серед робітників, юристів у сфері праці, дослідників проблеми або представників громадянського суспільства. Таким чином, відповіді можуть надавати непропорційну вагу поглядам саме однієї суспільної групи. Більше того, існують сумніви щодо того, чи опитані підприємства та працівники є репрезентативними. Наприклад, опитування IMD проводяться переважно серед міжнародних компаній та серед випускників IMD. Однак, фірми із міжнародною присутністю, як правило, мають відмінні від решти економіки практики в сфері праці; вони працюють переважно у формальному секторі; їхні керівники – особливо громадяни інших країн – можуть мати специфічні погляди щодо функціонування ринків праці. Таким чином, існують певні сумніви щодо повноцінності та репрезентативності рейтингів, що створені на основі таких опитувань.

Цікаво, що значні відмінності існують не лише між складовими комплексних індикаторів, але і всередині показників, в тому, що стосується кількості компонентів, їх типу, і їх зміни в часі. Наприклад, з 2001 року кількість та тип компонентів субіндекса ринку праці від Fraser змінювалися чотири рази, а також змінювалися визначення та джерела даних для цих компонентів. Починаючи з 2004 року, число компонентів індексу інститутів ринку праці від WEF змінювалося шість разів. Кожного року WEF відслідковує зміни позиції країн в рейтингу, показуючи їхній або «прогрес», або «регрес» на шляху до конкурентоздатності, при цьому не враховуючі зміни у кількості компонентів. Щоб зрозуміти, чому це може породжувати проблеми, розглянемо приклад Франції, яка між 2011 та 2012 роками покращила значення свого LME індексу (Таблиця 1, стовпчик 1). Однак погіршилися значення семи із десяти компонентів, що складають цей індекс. Зміна восьмого компоненту (стовпчик 9) надто незначна, щоб спричинити суттєві зміни загального показника. Між 2011 і 2012, з індексу виключили дев’ятий компонент, що мало б привести до погіршення, а не до поліпшення, загального значення. Десята складова – вихідна допомога при звільненні (стовпчик 10) є єдиним компонентом, що суттєво покращує значення показника, переважуючи та компенсуючи вплив семи компонентів, що погіршили показник. Проте, як ми показуємо у статті, ця зміна відбулася лише внаслідок зміни визначення компоненту, тоді як в той період у Франції не відбулося жодної значної зміни чи реформи виплат, пов’язаних зі звільненням.

Примітка:

• Для компоненту «негнучкість працевлаштування» WEF використовує лише «тверді» дані. Для підрахунку агрегатного індексу, ці дані конвертуються (але не оприлюднюються WED) за допомогою мін.-макс. формули. Згідно із нашими підрахунками, результат конвертації мін.-макс. у 2011 році становив 5,5. Вищі значення цього компоненту знижують значення загального показника.

Джерело: звіти WEF, 2011, 2012.

Ця та інші регулярні зміни ставлять під сумнів можливість використання комплексних індикаторів і їх складових для порівнянь у часі. Іншими словами, порівняння рейтингів в різні періоди часу – а також того, як рейтинг України або іншої країни змінюється від одного року до іншого – не має сенсу. Неможливо зрозуміти, чи змінилася позиція країни в рейтингу в результаті реальних змін в сфері праці або просто в результаті змін компонентів самого рейтингу.

Останнім проблематичним питанням є схеми агрегування, іншими словами, те, як базові складові зводять разом для утворення агрегованого показника. WEF та Fraser просто усереднюють дані, тоді як IMD використовує зважену середню, надаючи різну вагу фактам порівняно із даними опитувань. Обидва підходи проблематичні з трьох причин.

По-перше, WEF, IMD, і Fraser усередняють відповіді на питання щодо гнучкості законодавства з юридичною інформацією, наприклад про правила і розміри вихідної допомоги, також додаючи в середню статистичні дані, такі як співвідношення кількості працевлаштованих жінок і чоловіків. Просте усереднення цих різних за своїм походженням і якістю даних не дозволяє врахувати можливі взаємозв’язки між цими типами інформації, а також той факт, що одні змінні відображають причини, а інші – наслідки

По-друге, в структурі деяких комплексних показників існує значна повторюваність базових компонентів, що вимірюють одне і те ж явище. Наприклад, у агрегованому індикаторі ринку праці від Fraser аж три із шести базових компонентів оцінюють різними методами правила найму та звільнення. В той же час, деякі важливі складові трудового законодавства, такі як, наприклад, існування страхування від безробіття, не відстежуються взагалі. Повторюваність питань означає, що просте усереднення спотворює узагальнений показник в сторону цих надмірно представлених понять.

По-третє, комплексний показник від Fraser розрахований як просте середнє значення компонентів, незалежно від наявності даних. Тому, наприклад, якщо для однієї країни відсутні дані по одній складовій, але не по решті п’яти компонентів, Fraser розрахує середнє значення п’яти складових для цієї країни. Для всіх інших країн розрахує середнє значення шести складників. Навіть більшою проблемою є те, що дані щодо одного субкомпонента просто-напросто відсутні для всіх країн до 2002 року. Тобто агрегований показник за 2002 рік та пізніше складається із шести компонентів, тоді як показник за 2001 та попередні роки ґрунтується на п’яти компонентах. Очевидно, що наявність даних істотно впливає на кінцеві результати рейтингів і змін в рейтингах.

Враховуючи недоліки схем узагальнення, необхідно бути дуже обережним із рейтингами, створеними на основі агрегованих показників. Краще уникати порівняння зміни місць в рейтингу в часі. Але навіть в межах одного року краще працювати із окремими субкомпонентами, скільки би їх не було, ніж із узагальненими показниками.

Від рейтингів ринку праці до загальних рейтингів загальних країн

Здійснена нами вправа стосувалась лише комплексних показників законодавства у сфері ринків праці. Ці показники, однак, допомагають формувати індекси свободи та конкурентоспроможності, а отже, виявлені проблеми стосуються також глобальних узагальнених показників. Більше того, ймовірно, що інші субіндикатори глобальних агрегованих індексів мають схожі недоліки, особливо в тому, що стосується схеми узагальнення. З огляду на це, необхідно бути дуже обережними із глобальними узагальненими індексами та досконало розуміти, які дані та методологію вони використовують. Іншими словами, ці дані потрібно використовувати з повним усвідомленням їх проблематичних сторін, з часткою скепсису, і ніяк не для обґрунтування реформ.

Посилання

[1] Aleksynska, М. і Казес, С., 2016 р Складові показники регулювання ринку праці в порівняльній перспективі. ІЗА Журнал Економіка праці, Vol. 5 (3). DOI: 10,1186 / s40172-016-0043-у.