Соціологія не зводиться до рейтингів, але тут ми говоримо в основному про них. Написати цю статтю нас спонукала повна невизначеність серед знайомих інтелектуалів в питанні довіри цифрам опитувань.
Критерії якості соціології, що дрейфують в інформаційному просторі, не відображають найцікавішу сторону роботи з даними – розслідування обману. Наше завдання полягає не в тому, щоб спростувати всі існуючі довільні критерії якості. А в тому, щоб наочно викласти відомості про практичні проблеми і, у такий спосіб, розповісти про інструменти самостійної оцінки результатів опитувань.
Наше завдання полягає не в тому, щоб спростувати всі існуючі довільні критерії якості. А в тому, щоб наочно викласти відомості про практичні проблеми і, у такий спосіб, розповісти про інструменти самостійної оцінки результатів опитувань.
У статті наведені наші авторські узагальнення різновидів навмисного і прихованого спотворення соціологічної інформації. Отримані нами висновки ґрунтуються на приватній практиці, що триває вже більше 10 років. Висновки зумисно наведені в загальному вигляді без прив’язки до конкретних ситуацій та персоналій.
Складно оцінити точно, скільки загалом є в нашій країні реально діючих соціологічних фірм. За нашими уявленнями кількість «цільних» фірм, що працюють цілий рік приблизно дорівнює 30.
Оборот індустрії за даними ESOMAR в 2013 склав 61 мільйон доларів США (Global Market Research 2014 року, стор. 100). При цьому галузь вивчення громадської думки і кон’юнктури ринку орієнтована на внутрішній попит – 98% клієнтів резиденти України (контракти з підрядними організаціями, виключаючи субпідряди). 85% обороту галузі становили так звані кількісні методи. Найчастіше, репрезентативні масові опитування (43% обороту – це особисте опитування за місцем проживання та 26% телефонне опитування). Глобальний оборот індустрії в тому ж 2013 році дорівнює приблизно 40 мільярдам доларів. Природно ці гроші платяться не за кількість проведених інтерв’ю та витрачених зусиль, а за знання про ринок/суспільство/поведінку, отримані за допомогою витрачених зусиль.
Складно оцінити точно, скільки загалом є в нашій країні реально діючих соціологічних фірм. За нашими уявленнями кількість «цільних» фірм, що працюють цілий рік приблизно дорівнює 30.
Наша основна робота – це соціологічний консалтинг. За родом діяльності ми повинні перевіряти результати досліджень, що організовані десятками різних підрядників. Для того, щоб зробити висновки, потрібно отримати якісний первинний матеріал. Фактично, від якості первинного матеріалу залежить все.
Пусті критерії якості
Найчастіше якість досліджень в ЗМІ нам пропонують оцінювати за трьома критеріями:
- наявність публікацій про політику в міжвиборчий сезон;
- членство компанії-підрядника в асоціаціях;
- популярність бренду.
Наявність публікацій рейтингів в міжвиборчий період. Якщо основні замовлення на політичні опитування виникають напередодні виборів, то звідки беруться публікації в міжвиборчий період? Якщо прийняти без доказів чесність того, хто публікує результати опитування, то є два джерела – 1) рідкісний клієнт, якому для чогось знадобилося провести і опублікувати (!) рейтинг і 2) дослідження, проведене власним коштом соціолога. Таким чином, це – показник фінансових можливостей і наявності великих замовників, а не якості роботи. Але фальсифікатор може його легко обійти, і нижче ми розповімо, як саме (див. фальсифікація «на коліні»).
Членство в асоціації. Передбачається, що членство в професійних асоціаціях тягне за собою суворий контроль і санкції за порушення з боку асоціації. Цікаве питання: як саме асоціації перевіряють соціологічних підрядників? За всю практику ми жодного разу не зіткнулися зі свідченнями про такі перевірки або їх критеріями. Але це не означає, що їх немає. Тому почувши цей аргумент, завжди виникає питання: «чи не можна поглянути на результати цих перевірок?», «Яку частину з ваших досліджень асоціація просила на аудит в минулому році?», «Особливо цікаві результати перевірок досліджень, результати яких були публічно представлені в пресі».
Якщо перед вами результати «закритого» дослідження (замовник не хоче ним ділитися з третіми сторонами), то його нікому, крім вузького кола осіб, не показують і певно не будуть передавати третім сторонам. В цьому випадку говорити про контроль з боку асоціацій немає сенсу. Про те, що дає членство в кожній конкретній асоціації, можна дізнатися, ознайомившись з її статутом та ін. Документами. Але в більшості випадків, це всього лише декларація намірів про прихильність професійним стандартам роботи.
Цікаве питання: як саме асоціації перевіряють соціологічних підрядників? За всю практику ми жодного разу не зіткнулися зі свідченнями про такі перевірки або їх критеріями.
Популярність бренду свідчить про його давню присутність в ЗМІ і, можливо, про гарний фінансовий стан фірми. Чи може відомий бренд провести погане дослідження? Може. Так само, як і невідомий бренд може провести якісне дослідження.
Ці критерії є прекрасним методом визначення фірм, які першими отримали і утримали істотну частку ринку. І все це – критерії не якості, а розміру фірми. Або якщо зайти з іншого боку, метод відсікання нових фірм і компаній з більш скромними фінансовими можливостями.
Для перевірки якості конкретного дослідження, яке надійшло «з полів», ці критерії не мають ніякої користі.
Невизначеність дуже шкодить галузі, тому ми хочемо запропонувати опис ситуацій, які потрібно шукати в даних опитування для виявлення фальсифікації. Без сумніву, цими способами фальсифікації тема не вичерпується, але значна частина нашого досвіду боротьби з підробками та маніпуляціями може бути зведена до цього списку. Для того, щоб здійснити інтелектуальний пошук фальсифікацій, потрібно знати які моделі поведінки фальсифікатора шукаєш.
Невизначеність дуже шкодить галузі, тому ми хочемо запропонувати опис ситуацій, які потрібно шукати в даних опитування для виявлення фальсифікації.
Ми пропонуємо короткий опис ситуацій, щоб розслідувачі знали, що шукати за допомогою швидкого аналітичного контролю, а не традиційним поєднанням фізичного перебору або логічного контролю (останні способи «досвідчені професіонали» давно навчилися обходити, знаючи як і що будуть шукати замовники, у яких дуже обмежений час здачі проекту).
Фальсифікація відповідей
Фальсифікація «на коліні». Взяти рейтинг з чужих опитувань і підкрутити цифри в потрібному напрямку на користь «своїх» або проти «ворогів». Обчислити рейтинг розрахувавши середнє арифметичне з оприлюднених опитувань найближчих до дати планованої публікації. І додати в межах 5% (тобто п.п.) своєму «кандидату\партії» або відняти у «ворога». Основна мета – вплив на громадську думку. Якщо опитувань немає по потрібній темі, намалювати по “відчуттю” правдоподібності (наприклад, розпитавши офіс).
Первинні документи зазвичай відсутні, формулювання параметрів дослідження в стилі «тудою-сюдою, зроблено з душею і від щирого серця».
Спонтанна перевірка на таку фальсифікацію – будь-які свідчення нечутливості до різких змін, тому що складені таким чином рейтинги показують стабільне минуле. Тим, хто з запалом заперечував різке зростання рейтингу деяких політиків, що підтвердилось, варто задуматися про якість роботи своїх польовиків.
«Картина маслом 1 »- намалювати дані за шаблоном. Якщо дані фальсифікує організація, що володіє архівом реальних інтерв’ю, то первинні матеріали домальовуються за калькою наявних “анкет” на паперові і/або електронні носії. В цей таранний спосіб можна як з конструктора скласти будь-який результат з шаблонів реальних інтерв’ю.
Ще раз, для цієї фальсифікації потрібно багаторазово розтиражувати свої власні або чужі анкети (або вихідні відповідей реальних людей) з минулих опитувань. Або спочатку провести реальне міні опитування на об’єкті, що цікавить замовника , а потім розтиражувати результати в такий спосіб, ніби була виконана велика вибірка. В результаті береться 120 анкет і з них робиться 1000, 2000, 3000. Технічне завдання кінцевого результату може бути сконструйовано за схемою, зазначеною в попередньому абзаці.
Якщо дані фальсифікує організація, що володіє архівом реальних інтерв’ю, то первинні матеріали домальовуються за калькою наявних “анкет” на паперові і/або електронні носії.
Якщо фальсифікатор хоче спрацювати «чисто», проводиться мінімально репрезентативне міні-опитування, а його результати подаються як великомасштабне дослідження. Основна мета – скоротити собівартість і час виконання робіт для комерційного замовника і, за рахунок цього, виграти у конкурентів за ціною і заробити, показавши ціну нижче собівартості. Первинні документи, швидше за все, будуть в 50% випадків такої підробки (найімовірніше, не буде маршрутних листів). Пояснення проведеної роботи буде відносно професійним в 70-80% випадків. Пояснення дуже схожих відповідей різних людей від авторів фальсифікації: «а чому такого не може бути? думки ж типові».
«Картина маслом 2» – поставити основні питання (зазвичай рейтинги політиків і демографічні дані), за якими буде проведено контроль, а решту домалювати так само, як в попередньому абзаці, або просто а-ля «сходинки» «1-2-3,2-3-1, 3-2-1». Пояснення від авторів фальсифікації: «контроль був здійснений і підтвердив факт проведення опитування».
Царська фальсифікація – «супер ВІП». Провести реальне дослідження, з вибіркою, що перевищує заявлену, і витягти частину відповідей з «неправильною» точкою зору, записавши перевищення як запас «на ремонт». Маючи в розпорядженні 10% вибірки для ремонту, можна обнуляти рейтинги провідних політиків в будь-який зручний час політичного сезону. Якщо для ремонту закласти 100% або 200%, матеріалу вистачить для фантастичного помпезного полотна. Те саме можна зробити, замінивши «неправильні» інтерв’ю на інтерв’ю з порожніми відповідями «не знаю\не визначився», але це сильно знизить статус фальсифікації.
«Наперстки» – підміна нумерації відповідей. Для частини інтерв’ю змінюються цифри кодування нумерації альтернатив відповідей, тобто «випадково збиваються». А потім всі відповіді зшиваються в єдину таблицю, але цифри залишаються тими самими. Таким чином, хтось починає отримувати чужі «голоси».
Заходи камуфляжу: виїхати на місце проведення та фальсифікувати (домальовувати), перебуваючи в полях. Чи не нумерувати анкети, а після введення перемішати. Видалити з бази даних всю технічну інформацію (номери ланцюжків, коди інтерв’юерів і бригад тощо). Втратити вибірку і маршрутні листи\щоденники інтерв’юерів. Схилити замовника до проведення вуличного опитування, яке абсолютно дарма вважається нереальним для контролю і верифікації. Вносити випадковий «шум» в шаблони для запобігання дзеркальному копіюванню.
Заходи камуфляжу: виїхати на місце проведення та фальсифікувати (домальовувати), перебуваючи в полях. Чи не нумерувати анкети, а після введення перемішати.
Тонке маніпулювання із відбором вибірки і набором варіантів відповіді.
Ці методи дозволяють відносно чесно отримати вигідний результат, залишаючись в рамках пристойності.
- «Широке трактування». Терміни «східна» та «західна» частина країни або міста можуть розумітися по-різному. До них можна за бажанням включати і виключати території, які псують або покращують картину.
- «Креативний випадковий відбір елементів». В рамках категорії (страти) елементів, кожен елемент має рівну ймовірність потрапити до вибірки. Відповідно, ніщо не заважає ближнім селам трохи частіше потрапляти в вибірку. А якщо ми знаємо, що рейтинг деякої партії схильний зміщуватися в бік далеких сіл, в такий спосіб, її цифра буде дещо недооцінена (або, навпаки, в залежності від завдання). Той самий трюк можна робити з будь-якими об’єктами, про які що-небудь відомо заздалегідь. Часто це застосовується для отримання «правильного» результату екзит-полу, не вдаючись до прямої підробки відповідей.
- «Метод політологічного тику». Проводиться експеримент зі списками альтернатив. Респонденту даються багато варіантів списків політиків\партій, рейтинги частини з яких сильно перетинаються. Цю дію можна виправдовувати тестуванням ймовірності того, що хтось зніметься з перегонів або, навпаки, хтось несподіваний долучиться до змагання. І обрати для публікації вигідний для себе варіант.
- «Метод піарівському тику». Запропонувати довгий список меседжів, що суперечать один одному, і попросити оцінити респондентів міру їх згоди з цими меседжами. Попередньо потрібно затвердити таку анкету, яка б змушувала респондента зависати, кажучи по інерції так чи ні. Потім вибрати вигідну відповідь і опублікувати її як громадську думку. Повторити це дослідження через півроку. І ще через півроку – вийде вже легітимна тенденція «народ в єдиному пориві хоче …».
Комбінуючи наведені методи, можна як з конструктора скласти будь-який результат з шаблонів реальних інтерв’ю, але не залишити слідів неможливо. Будь-яке дослідження може бути сфальсифіковано. Але будь-яке дослідження можна перевірити на фальсифікації з дотриманням конфіденційності респондента і без передачі його особистих даних третім сторонам.
Фальсифікатори користуються уразливістю наших методів контролю, які в значній мірі зводяться до вибіркових повторних контактів (відбираються інтерв’ю і за ними здійснюється коротке «контрольне опитування» по ключових показниках). Використовуючи сучасні можливості роботи з даними і накопичені багатомільйонні масиви інтерв’ю, є всі можливості зробити контроль точним і неочевидним для фальсифікатора. Але потрібно знати, що шукати. І на наш погляд потрібні чесні якісні описи методів підробки.
