Осторожно, индексы! Почему международные рейтинги плохо описывают украинский рынок труда

Рейтинги и сравнения стран на основе международных комплексных индикаторов стали чрезвычайно популярными. Однако, если они некачественно рассчитаны или неправильно интерпретированы, они могут приводить к ошибочным рекомендациям. В статье исследованы методологические недостатки трех популярных комплексных индикаторов рынка труда и рейтингов, рассчитанных на их основе. Статья показывает, что обосновывать реформы улучшением позиций Украины в рейтингах следует очень осторожно, а еще лучше этого вовсе избегать.

В чем привлекательность рейтингов?

Сейчас очень модно ссылаться на разнообразные индексы и международные рейтинги, сравнивая успехи Украины с другими странами. Как обстоят дела в Украине согласно показателям Doing Business от Всемирного банка? Или согласно Индексу глобальной конкурентоспособности от Всемирного экономического форума? Или Индексу экономической свободы от Heritage Foundation?

Рейтинги так привлекательны, потому что они дают быструю и простую формулу реформ, своеобразный залог успеха. В мире неограниченной информации и ограниченного терпения ее обрабатывать, разнообразные показатели становятся популярным инструментом упрощения сложной реальности и ее описания с помощью нескольких чисел, порой даже одного. Их легче интерпретировать и сравнивать между странами и во времени, чем анализировать огромное количество отдельных показателей. Представители бизнеса создают рейтинги стран для оценки их инвестиционной привлекательности. Ученым и исследователям нужны данные в сжатом формате из разных стран и за длинные периоды времени. Правительства стремятся создать образец наилучших практик и оправдать необходимость реформ.

Недавно группа известных украинских аналитиков и политиков серьезно обсуждали рейтинги Украины согласно разнообразным индексам на семинаре, организованном VoxUkraine и Украинским кризисным медиа центром. Представитель Министерства экономического развития и торговли Украины объяснил, что министерство работает над улучшением рейтинга Украины согласно показателям Doing Business и даже создало «отдел дерегулирования», который уже подготовил план соответствующих реформ для Кабинета министров и парламента на основе этих показателей. Недавние публикации VoxUkraine также обсуждали необходимость и неотложность некоторых реформ. Например, используя индекс Heritage Foundation, Наталия Остапенко отметила:

Используя Индекс глобальной конкурентоспособности, Наталия Шаповал и Елена Низалова также отметили, что:

В то время как целью этой статьи не является критика предложенных реформ, некоторые из которых полностью оправданы, статья стремится показать, что, если агрегированные показатели некачественно рассчитаны или неправильно интерпретированы, они могут посылать ошибочные сигналы и приводить к слишком простым — или даже неверным — выводам.

Отражают ли разные индикаторы, измеряющие одинаковое явление, реальность одинаково?

Чтобы оценить, насколько хорошо рейтинги справляются со своим заданием, в нашей недавней статье с моим соавтором Сандрин Каз (Sandrine Cazes), мы решили подвергнуть скрупулезному анализу три ведущих агрегатных показателя институтов рынка труда и основанных на них рейтингов — комплексный показатель Эффективности рынка труда от Всемирного экономического форума (the World Economic Forum (WEF) Labor Market Efficiency), индекс Нормативно-законодательной базы рынка труда (Labor Market Regulations) от Fraser Institute, и компоненты регулирования сферы труда (labour regulations components) от IMD.

Эти показатели используются для составления рейтингов стран по эффективности и свободе трудового законодательства. Мы избрали эти показатели, потому что они широко используются в исследованиях и дискуссиях о государственной политике, и потому что они измеряют сравнительно похожие явления — трудовое законодательство. Эти показатели также являются составляющими более широких индексов, созданных этими исследовательскими центрами, — Индекса глобальной конкурентоспособности от Всемирного экономического форума (WEF), Индекса экономической свободы мира от Fraser Institute, и Индекса всемирной конкурентоспособности (World Competitiveness Index) от IMD, каждый из которых используется для определения рейтинга стран согласно степени конкурентоспособности и экономической свободы. Индекс The Heritage Foundation в области законодательства о труде, который мы формально не исследовали, достаточно похож на индексы Fraser и WEF. Некоторые бывшие составляющие Doing Business от Всемирного банка используются в качестве элементов всех трех рассмотренных нами индексов.

Сначала мы рассмотрели степень корреляции между комплексными индексами законодательной базы рынков труда от Fraser, IMD, WEF и разными их составляющими. Мы обнаружили, что они могут колебаться от 0,01 до, в лучшем случае, 0,7. Потом мы проверили, занимает ли каждая страна, из одинаковой выборки стран, то же самое или похожее место в каждом рейтинге. Мы обнаружили, что IMD и WEF поставили на одно и то же место лишь одну страну. Девять из топ-20 стран согласно рейтингу IMD вообще отсутствуют в перечне топ-20 стран от Fraser; пять отсутствуют в списке топ-20 от WEF. Что касается Украины, она занимает 33 место в рейтинге IMD, 58 — в рейтинге Fraser и 84 — в рейтинге WEF. И наконец, мы рассмотрели корреляцию между этими показателями и явлением, на которые они должны влиять, например, на «благополучие» рынков труда. Мы обнаружили, что, в зависимости от избранного показателя, возможно любое направление корреляции между этими индикаторами и общей безработицей и долгосрочной безработицей (Рисунки 1-2).

Вполне очевидно, что каждый комплексный показатель, который якобы измеряет одно и то же или похожее явление, по-разному оценивает законодательство в сфере труда. Это означает, что рекомендации относительно действий в этой области зависят — и могут использоваться для манипулирования — от выбора показателя, на основе которого эти рекомендации будут предоставлены.

Что не так с индексами и рейтингами?

Существует несколько причин, по которым три сравненных нами агрегатных индекса предоставили такие разные оценки трудового законодательства.

Начнем с того, что эти показатели включают разные базовые составляющие, несмотря на то, что они имеют целью измерять, казалось бы, одну и ту же среду — трудовое законодательство. Данные для некоторых составляющих собираются самими аналитическими центрами, а некоторые данные по другим составляющим заимствованы из внешних источников, и иногда они отражают разные временные рамки. В то же время, между базовыми компонентами трех агрегированных показателей есть много общего. Все они используют, частично или полностью, компоненты Employing Workers от Всемирного банка, которые когда-то были частью Doing Business от Всемирного банка. Проблема заключается в том, что IMD, WEF и Fraser используют те компоненты Employing Workers от Всемирного банка, которые им нравятся, не объясняя своего выбора, и при этом также меняя его из года в год. Отсутствие теоретического фундамента и качественного аналитического подхода к выбору отдельных составляющих ставит под сомнение полноту отражаемой этими индикаторами реальности.

Все три комплексных индикатора включают показатели, рассчитанные на основе опросов. Такие опросы могут быть ценными лишь тогда, когда их вопросы правильно сформированы — а это не всегда так. Например, вопрос IMD об отношениях в области труда звучит так: «Трудовое законодательство (практика найма и увольнения, минимальные зарплаты и тому подобное)… 1 = недостаточно гибкие, 6 = достаточно гибкие». Вопрос покрывает много противоречивых аспектов: некоторые страны могут иметь гибкие подходы к увольнению и найму работников, но негибкие требования к минимальной заработной плате (например в том, что касается размера, порядка ee определения или степени формальности). Поэтому неясно, мнение о каких областях трудового законодательства отображает на самом деле ответ.

Кроме того, опросы осуществляются исключительно среди предпринимателей, но не среди работников, законодателей в сфере труда, исследователей, или представителей гражданского общества. Таким образом, ответы могут однобоко отображать взгляды одной определенной группы общества. Более того, существуют сомнения относительно того, являются ли опрошенные предприятия и их опрошенные руководители репрезентативными. Например, опросы IMD проводятся преимущественно среди международных компаний и среди выпускников IMD. Однако, такие компании, как правило, имеют особые практики в сфере труда; они работают преимущественно в формальном секторе; их руководители — особенно иностранные граждане — могут иметь отличные представления о функционировании рынков труда. Таким образом, существуют определенные сомнения относительно полноценности и репрезентативности рейтингов, созданных на основе таких опросов.

Примечательно и то, что значительные различия существуют не только между составляющими комплексных индикаторов, но и внутри каждого комплексного индикатора, в том, что касается количества компонентов, их типа, и их изменения во времени. Так, например, начиная с 2001 года, число компонентов индекса институтов рынка труда от Fraser менялось четыре раза, а также изменялись определения и источники данных для этих компонентов. Начиная с 2004 года, число компонентов индекса институтов рынка труда от WEF изменялось шесть раз. Каждый год WEF отслеживает изменения позиций стран в мировом рейтинге, показывая их «прогресс» или «регресс» на пути к конкурентоспособности, но при этом не учитывает изменения в числе компонентов. Чтобы понять проблематичность этого подхода, можно взять пример Франции, которая между 2011 и 2012 годами «улучшила» значение своего LME WEF индекса (Таблица 1, столбик 1). В это же время ухудшились значения семи из десяти компонентов, которые составляют этот индекс. Изменение восьмого компонента (столбик 9) слишком незначительно, чтобы повлечь за собой существенные изменения общего показателя. Между 2011 и 2012, из индекса исключили девятый компонент, что должно было бы привести к ухудшению, а не к улучшению, общего значения. Десятая составляющая — выходное пособие при увольнении (столбик 11) является единственным компонентом, который существенно улучшает значение показателя, наcтолько существенно, что он перевешивает и компенсирует влияние остальных семи компонентов, которые ухудшили показатель. Однако, как мы показываем в нашей статье, это изменение значения компонента произошло исключительно за счет изменения вопроса, лежащего в его основе, тогда как во Франции не произошло никаких реальных изменений или реформ выходных пособий по безработице. Кстати сказать, именно этот компонент был заимствован из базы данных Doing Business Всемирного Банка.

Примечание:

• Для компонента «негибкость трудоустройства» WEF использует лишь «твердые» данные. Для подсчета агрегатного индекса эти данные конвертируются (но не оглашаются WED) с помощью мин.-макс. формулы. Согласно нашим подсчетам, результат конвертации мин.-макс. в 2011 году равнялся 5,5. Чем выше значение этого компонента, тем выше значение индекса.

Источник: отчеты WEF, 2011, 2012.

Это и другие регулярные изменения ставят под сомнение возможность использования комплексных индикаторов и их составляющих для сравнений во времени. Другими словами, сравнение рейтингов в разные периоды времени — а также того, как рейтинг Украины или другой страны меняется от одного года к другому — не имеет смысла. Невозможно понять, изменилась ли позиция страны в рейтинге в результате реальных изменений в сфере труда или просто в результате изменений компонентов самого рейтинга.

Последним проблематичным вопросом являются схемы агрегирования, другими словами, как базовые составляющие соеденены между собой для образования агрегированного показателя. WEF и Fraser просто усредняют данные, тогда как IMD использует взвешенную среднюю, предоставляя разный вес фактам по сравнению с данными опросов. Оба подхода проблематичны по трем причинам.

Во-первых, WEF, IMD, и Fraser усредняют ответы на опросы относительно гибкости законодательства с юридической информацией, например о правилах и размерах выходного пособия, также добавляя в среднюю статистические данные, такие как соотношение количества трудоустроенных женщин и мужчин. Простое усреднение этих разных по своему происхождению и качеству данных не позволяет учесть возможные взаимосвязи между этими типами информации, а также тот факт, что одни переменные отражают причины, а другие — следствия.

Во-вторых, некоторые комплексные показатели построены на основе повторяющихся базовых компонентов, измеряющих одно и то же явление. Например, в комплексном показателе от Fraser, правила найма и увольнения оцениваются разными способами тремя из шести компонентов. В то же время, некоторые важные составляющие трудового законодательства, такие как, например, страхование на случай безработицы, не измеряются вообще. Такая повторяемость вопросов означает, что простое усреднение искажает обобщенный показатель в сторону этих излишне представленных понятий.

В-третьих, комплексный показатель от Fraser рассчитан как простое среднее значение компонентов, независимо от наличия данных. Например, если для одной страны отсутствуют данные по одной составляющей, но не по остальным пяти компонентам, Fraser рассчитывает среднее значение пяти составляющих для этой страны. Для всех других стран он подсчитывает среднее значение шести составляющих с полной информацией. Еще более проблематичным является то, что данные по одному компоненту просто-напросто отсутствуют для всех стран до 2002 года. То есть агрегированный показатель за 2002 год и позже состоит из шести компонентов, тогда как показатели за 2001 и предыдущие года основываются на пяти компонентах. Очевидно, что наличие данных существенно влияет на конечные результаты рейтингов и изменений в рейтингах.

Учитывая недостатки схем агрегирования, необходимо быть очень осторожным с рейтингами, созданными на основе агрегированных показателей. По возможности, следует избегать сравнения динамики позиций в рейтинге из года в год. Но даже в пределах одного года, лучше работать с отдельными компонентами индексов, сколько бы их не было, чем с обобщенными показателями.

От рейтингов рынка труда к общим рейтингам стран

Проведенный нами анализ касается лишь комплексных показателей институтов рынков труда. Эти показатели, однако, в свою очередь являются составляющими глобальных индексов свободы и конкурентоспособности, а следовательно, отмеченные нами проблемы касаются также и глобальных индексов. Более того, не исключено, что и прочие компоненты глобальных агрегированных индексов имеют похожие недостатки, особенно в том, что касается схемы агрегирования. Учитывая это, необходимо быть очень осторожным с глобальными агрегатными индексами, и досконально понимать, на каких данных и методологиях они основаны. Другими словами, эти данные нужно использовать с полным осознанием их проблематичных сторон, с долей скепсиса, и никак не для обоснования реформ.