Big Data: зброя математичного ураження
Дайджест бестселера Кеті О’Ніл «Weapons Of Math Destruction».
Про небезпеки широкого використання математичних алгоритмів, які можуть несподіваним чином впливати на життя звичайних людей, посилювати нерівність і несправедливість.
У сучасному світі компанії та державні установи активно використовують Big Data — великі дані, тобто математичні алгоритми для опрацювання та аналізу великих обсягів інформації за допомогою статистичних методів.
Великі дані відкривають величезні можливості, як для бізнесу, так і для розвитку суспільних інститутів загалом. Типово їх вважають зручним і корисним інструментом для розв’язання найрізноманітніших проблем, зокрема й соціальних. Але чи так усе добре із цими алгоритмами? Чи немає в них побічних ефектів? Кеті О’Ніл вважає, що є, і не один. Попри те що багато в чому вони справді корисні, усе ж вони не можуть індивідуально підійти до кожного, і люди, які слугують засобом обліку, стають безликими статистичними одиницями. За всієї удаваної абстрактності алгоритмів вони не є неупередженими та об’єктивними.
Колись О’Ніл захоплювалася можливостями математики. Одна комп’ютерна програма здатна опрацювати дві тисячі резюме чи кредитних заявок за секунду й розсортувати їх залежно від перспективності кандидатів. Це економить час, до того ж дає змогу підійти до кожного об’єктивно та неупереджено. Немає упередженої людини, яка вручну копирсається в купі паперів, є лише машина, що обробляє цифри. Такою була загальна думка.
І справді, більшість алгоритмів було придумано з благими намірами. Але автор вважає, що вони увібрали в себе всі забобони й упередженість сучасного суспільства. Крім того, ці математичні моделі були непрозорими, принцип їхньої роботи був незрозумілий нікому, крім авторів програм, яких О’Ніл називає сучасними жерцями. І дивним чином страждали від цих нібито неупереджених алгоритмів бідні та безправні, а збагачувалися сильні. Тому автор й назвала деякі з явно шкідливих алгоритмів зброєю математичного знищення.
Математика, на думку О’Ніл, не тільки виявилася залученою у світові проблеми, а і спровокувала багато з них, зокрема кризу з нерухомістю, крах фінансових інститутів і зростання безробіття. Це далеко не абстрактна наука і спрямована вона не тільки на світові фінансові ринки, а й на звичайних людей. Алгоритми враховують наші бажання, передбачають нашу надійність і розраховують наш потенціал — як споживачів, учнів, працівників і навіть злочинців.
У 2007 році новий мер Вашингтона Адріан Фенті вирішив попрацювати з найслабшими та найвідсталішими школами міста, у яких тільки половина учнів продовжувала навчання після 9-го класу. Для реформування шкіл він найняв фахівця з реформування освіти, на ім’я Мішель Рі.
Рі дійшла висновку, що школи відстають через слабких учителів. У 2009 році почався відсів учителів із низькими показниками ефективності. Це загальноприйнята практика: позбуватися найгірших, а найкращих рухати на найпроблемніші ділянки. Здавалося б, усе логічно, і такий підхід забезпечує краще навчання. Але яким був критерій відсіву вчителів? Рі розробила алгоритм оцінювання вчителів, на підставі якого наприкінці 2010/11 навчального року звільнила зі шкіл понад 200 вчителів. До їх числа входила й Сара Висоцкі, вчителька, про яку чудово відгукувалися і батьки, й учні. Алгоритм оцінювання розраховувався на підставі системи балів, і ці бали для підрахунку її ефективності в навчанні математики та мов виявилися низькими. Це переважило всі позитивні відгуки, зокрема й від колег та адміністрації школи. Здавалося б, у наявності неупереджена й об’єктивна оцінка — адже колеги Сари й самі могли бути поганими вчителями, які прикривають її з корпоративної солідарності. Але Сара Висоцкі з такою оцінкою не погодилася.
Як з’ясувалося, під час оцінювання роботи вчителя оцінювали далеко не всі змінні та враховували не всі дані. Головним критерієм виступали хороші оцінки учнів. Цим користувалися багато вчителів, які знали про майбутнє скорочення і навмисно завищували оцінки. Крім того, у цьому алгоритмі бракувало зворотного зв’язку — нікому було сказати статистикам, що їхня модель не працює, щоб вони могли підкоригувати алгоритм.
На Amazon, приміром, якщо як книжки з догляду за газонами пропонуватимуть книжки для дівчаток-підлітків, помилка в алгоритмі буде швидко виправлена завдяки обуреним користувачам. Але без зворотного зв’язку статистична модель буде множити і множити свої помилки, замість того щоб на них вчитися. Тим часом вважає О’Ніл, багато моделей, включно з моделлю відсіву «слабких» учителів, використовуються, щоб виправдати необхідні комусь результати. Такий тип алгоритму дуже поширений. Ніхто не став перейматися питанням, чи правий алгоритм, який виявив «поганих учителів». Зверху дали наказ зробити щось для поліпшення освіти. Алгоритмом скористалися, щоб видати потрібний результат, а не з метою знайти істину.
Сама алгоритмічна модель — це чорний ящик, корпоративна таємниця, до якої немає доступу непосвяченим. Тримається все в таємниці нібито тому, що якщо люди дізнаються роботу алгоритму, вони спробують його обдурити. Але якщо вони просто добре працюватимуть і дотримуватимуться правил, алгоритм оцінить їхні зусилля. Випадок із Сарою Висоцкі свідчить про те, що це далеко не так. На щастя, її доля після звільнення склалася вдало: уже за кілька днів завдяки своїй репутації чудового вчителя вона влаштувалася на роботу в престижну школу, де профпридатність вчителів не перевірялася невідомими алгоритмами без зворотного зв’язку.
Алгоритми використовують і під час прийняття на роботу. Наприклад, роботодавці дивляться на кредитні бали для оцінювання своїх потенційних співробітників, вважаючи, що людина, яка вчасно оплачує рахунки, відповідальніше ставиться до роботи. Але кожен випадок індивідуальний, вважає О’Ніл, і прекрасний відповідальний фахівець може іноді опинитися в скрутних обставинах. Однак у нього менше шансів знайти роботу — через алгоритм, у якому погане виконання роботи корелюється з низьким кредитним балом. Безробітний біднішає ще більше, його бали падають дедалі нижче разом із шансами на працевлаштування. Виходить порочне коло, низхідна спіраль. І таких токсичних додатків в алгоритмах багато, стверджує автор. Їхня спільна риса — ще більше збагачувати багатих і розоряти бідних. Вони непрозорі, незаперечні та не мають зворотного зв’язку. Сортуючи мільйони людей за певними принципами, можливо, помилковими, вони видають свої висновки за реальність.
Кеті О’Ніл не шанувальниця великих даних та алгоритмів. Її книга — про їхній шкідливий вплив. Щодо того, чому з великими даними потрібно поводитися дуже обережно, автор має кілька ідей.
Зміст дайджесту
1Алгоритмічна модель сприяє виникненню токсичного циклу й допомагає підтримувати його2Математика не абстрактна, вона може бути підступною та руйнівною3Рейтинги вищих навчальних закладів, які спираються на статистичні моделі, часто не мають нічого спільного з реальністю4Великі дані, що виявляють слабкі місця споживачів, можна використовувати їм на шкоду з метою наживи5Алгоритми, які використовує поліція, не знижують злочинність, а виправдовують дії поліції6Алгоритми в основному спрямовані на збільшення ефективності, вони оперують даними, які можна виміряти й порахувати7Питання про прийняття на роботу часто вирішують алгоритми, що ґрунтуються на незрозумілих і непрозорих критеріях8Неправильно інтерпретовані великі дані можуть зламати чиєсь життя9Використання алгоритмів у нерегульованих секторах економіки робить їх ще більш небезпечними10Алгоритми Facebook можуть тонко й непомітно впливати на людські емоції, чим легко можуть скористатися в передвиборчий період11Завершальні коментаріАлгоритмічна модель сприяє виникненню токсичного циклу й допомагає підтримувати його
Основний компонент кожної моделі, формальної чи неформальної, — це визначення успіху. У кожному випадку треба зважати на те, хто проєктував модель і чого з її допомогою намагаються досягти. Якщо уряд Північної Кореї будує алгоритм харчування сім’ї Кеті О’Ніл, його мета — тримати цю сім’ю трохи вище порога голоду, даючи найдешевші продукти. Якщо сама вона побудує алгоритм з урахуванням власних принципів здорового харчування і смаків дітей, то модель буде набагато складнішою. Згодом модель буде застарівати — ростуть діти, змінюються продукти та ціни на них, тож алгоритм потребує постійного оновлення.
У деякі алгоритмічні моделі вбудовані упередження їхніх замовників, зокрема і приховані або явні расистські. Расизм виходить із хибного переконання в тому, що певні раси людей погано поводяться і, найімовірніше, завжди так поводитимуться.
У 1997 році в штаті Техас афроамериканця Бака Дуейна засудили за вбивство двох людей. Журі присяжних мало засудити його або до смертної кари, або до довічного ув’язнення з можливістю умовно-дострокового звільнення. Прокурор наполягав на смертній карі на тій підставі, що якщо підсудний звільниться, він може вбити знову. Прокурор запитав запрошеного експерта-психолога, чи збільшує той факт, що підсудний — афроамериканець, можливість вчинення майбутніх злочинів. Психолог відповів ствердно, і Дуейна засудили до смерті.
Згодом відповідальні юристи намагалися виключити расовий чинник під час ухвалення вироку, оскільки він завжди працював на користь обвинувачення. Однак і досі, на думку О’Ніл, саме він залишається вирішальним під час ухвалення вироку.
Сподіваючись, що алгоритмічна модель сприятиме більш об’єктивному підходу, суди у 24 американських штатах замовили так звану модель рецидиву злочинів. Багато в чому вона хороша: вона допомагає суддям оцінювати небезпеку, що виходить від кожного підсудного, виключає вплив настрою і тиск на суддю. Але чи повністю вона об’єктивна, чи кадрові перекоси просто маскуються високими технологіями? Адже принцип її роботи доступний тільки обраним.
Для збору необхідних даних використовують анкети. Вони містять запитання про наявність і кількість судимостей, місце проживання, матеріальне становище, вживання алкоголю і наркотиків, обставини народження та виховання (склад сім’ї, наявність судимості в родичів). Отже, виходить, що той, хто виріс у бідних кварталах і безталанних сім’ях, являє собою головну загрозу суспільству. Питання про матеріальне становище взагалі є явно зайвим. Як і інші питання, що не стосуються суті справи, на кшталт судимості родича, — адже людей судять за те, що вони зробили, а не за те, хто вони. Тим часом людина, яка набрала високі бали можливості рецидиву, безробітна й виросла в бандитському кварталі, буде знову і знову потрапляти до в’язниці, у суспільство злочинців, у тому числі завдяки алгоритму. Їй усе важче буде знайти роботу, що знову штовхне її на злочин. Й ось він, доказ правильної роботи алгоритму, що вираховує рецидив — але і провокує його.
Математика не абстрактна, вона може бути підступною та руйнівною
О’Ніл розповідає про свою роботу в хедж-фонді, де вона була аналітиком до й під час фінансової кризи 2008 року. На початку роботи їй здавалося, що хедж-фонди, як і банки, морально нейтральні, і в них немає інших завдань, окрім як заробляти гроші. Але потім вона зрозуміла, що цифри в моделі хедж-фонду — це пенсійні фонди людей та їхні іпотеки, що гроші, які вона заробляє разом зі своїми роботодавцями, — не знайдений скарб і не золоті самородки, що всі вони виймаються з кишені населення та перетікають у банки та хедж-фонди.
Іпотечні цінні папери завжди вважалися нудним фінансовим інструментом, кількість яких могла б знизити можливі ризики. Власник будинку міг би оголосити себе банкрутом, і тоді банк не зміг би повернути позичені іпотечні гроші в повному обсязі. Якщо ж іпотека погашалася достроково, то анулювалися і відсотки за позикою. У 1980-ті роки інвестиційні банкіри скупили велику кількість іпотечних кредитів і перетворили їх на цінні папери, що приносять дивіденди раз на квартал, — адже більшість людей регулярно платили свої внески за іпотеку. Інвестори почувалися впевнено, оскільки рейтингові агентства Standard & Poor’s і Moody’s та Fitch вважали таке інвестування розумним. Однак ніхто не знав, на підставі чого вони зробили такий висновок, що за алгоритм це підрахував. Насправді аналітики отримували винагороду від компаній, яким присвоювали високі рейтинги.
Повний текст цього та інших дайджестів книжок з тем #психології, #бізнесу, #здоров'я, #науки, #філософії, #саморозвитку доступні підписникам клубу “Rozum.Love” Повний текст цього та інших дайджестів книжок з тем #психології, #бізнесу, #здоров'я, #науки, #філософії, #саморозвитку доступні підписникам клубу “Rozum.Love”
Повний текст цього та інших дайджестів книжок з тем #психології, #бізнесу, #здоров'я, #науки, #філософії, #саморозвитку доступні підписникам клубу “Rozum.Love”
Переглянути коментарі (0) Підписатися на Telegram-канал