Нерозуміння людьми та компаніями складності систем призводить до трагедій і відкриває широкий простір для зловживань і шахрайства

Усім подобається комфорт, зручність, красиві речі, здатність швидко пересуватися світом, використовувати найсучасніші технології. Але розвиток технологій тягне за собою й ускладнення систем, що оточують нас, — вони стають заплутанішими й менш зрозумілими. В ускладнення систем є кілька важливих негативних наслідків.

Перший — найменші помилки призводять до найнепередбачуваніших і наймасштабніших наслідків. Ми дедалі більше покладаємося на алгоритми й автоматизацію і нам стає важче помітити помилки системи. А в складних системах, де багато процесів протікають невидимо для людини, навіть незначний збій може призвести до абсолютно непередбачуваних і масштабних наслідків. Типовий приклад — аварія на АЕС Three Mile Island у США в штаті Пенсільванія 1979 року, яка стала найсерйознішою катастрофою в атомній галузі за всю історію Америки — через збій системи стався витік радіації, а мешканці почали масово залишати населені пункти навколо АЕС. Чому сталася аварія? Усе почалося з незначної помилки під час ремонту системи водопостачання станції, через що відключилися помпи, які закачують нагріту в реакторі воду в парогенератор. Порушилася система охолодження, через це реактори почали перегріватися. Потім стався ще один збій — не закрився компенсаторний клапан, який мав спрацювати у відповідь на сигнал тривоги, через що вода, яка могла охолодити генератори, витікала. Співробітники станції бачили сигнал на приладовій панелі та думали, що клапан закритий, як і мало бути. Тому вони не змогли швидко зреагувати на проблему. Причиною катастрофи стало не щось екстраординарне й навіть не стихійне лихо, а ланцюг незначних помилок — хтось недогледів, щось не спрацювало, співробітники не відразу зрозуміли причини збою. Але результат виявився катастрофічним для жителів довколишніх міст і співробітників станції. Коли відбувається катастрофа в складній системі, часто в ній немає нічиєї персональної провини. До катастрофи призводить поєднання випадкових чинників і невеликих помилок.

Часто ми звинувачуємо людську недбалість, але хіба не всі люди схильні до помилок, хіба не всі ми помиляємося час від часу й робимо щось неуважно? Якщо система покладається тільки на безпомилковість дій людини, то на неї безумовно чекають проблеми. Ба більше, до них може призвести навіть не помилка, а просто фатальний збіг обставин. Так, трагедією обернувся рейс ValuJet 592 з Маямі, що впав у національному парку Еверглейд у штаті Флорида з понад 100 пасажирами на борту. За фатальним збігом обставин на борт потрапили кисневі генератори. Вони безпечні в перевезенні, якщо в них не залишається кисню, але на борт потрапили протерміновані генератори, у яких ще залишався кисень і на яких не було захисних ковпачків, що і стало причиною загоряння. Механіки, які готували до завантаження генератори, не знали, що такі генератори не можна перевозити, але вони й не повинні були в цьому розбиратися. До катастрофи призвела заплутаність складної системи, де виявилося занадто багато елементів, що взаємодіють.

Необов’язково катастрофа має бути катастрофою у звичному сенсі цього слова. Це може бути провал бізнес-починання або рекламної кампанії, спричинений такими складними та непередбачуваними системами як соціальні мережі.

Ще один наслідок ускладнення систем — великий простір для протиправних і зловмисних дій — хакерства, фінансових махінацій, які стають можливими через непрозорість систем, фальсифікацій. Що, якщо хакерство вийде за межі банкоматів, систем безпеки установ і фінансових операцій та пошириться на інтернет речі, автомобілі, медичну техніку? Хтось може зламати ваш серцевий стимулятор або автомобіль, і страшно уявити, якими будуть можливі наслідки. Що складніша система, то ймовірніший збій у системі її безпеки, то більший простір з’являється в людей зі злими намірами, які здатні експлуатувати складність, крихкість і недосконалість наших систем.

І третій наслідок ускладнення систем — навіть без зусиль зловмисних осіб вони можуть спровокувати несправедливість. Приклад — впровадження нової електронної системи Horizon британською поштовою службою. Через збої в цій системі багатьох невинних людей звинуватили в шахрайстві.

Найбільшу небезпеку становлять складні та жорстко пов’язані системи

Аварії починаються з невеликих помилок, але сам устрій систем уможливлює катастрофічні наслідки. Аварії стають наслідком організаційних проблем — кілька випадкових і на вигляд нічого не значущих збоїв призводять до катастрофічних наслідків.

Що робить системи вразливими? Автори наводять теорію відомого дослідника катастроф Чика Перроу, який виокремив два чинники, що впливають на вразливість систем.

Перший. Наскільки система лінійна чи нелінійна. У лінійній системі, схожій на конвеєр, процес виробництва здійснюється поетапно. Якщо на якомусь етапі щось трапляється, то помилку виявляють і виробництво зупиняють. У нелінійній системі взаємодія набагато складніша, типовий приклад — АЕС, де різні частини системи взаємозалежні, вони взаємодіють у складний і заплутаний спосіб і впливають одна на одну. Якщо в якійсь частині такої системи станеться збій, то це призведе до найнесподіваніших наслідків для всієї системи. Крім того, ця взаємодія може бути невидимою, і знайти збій виявляється не так-то просто. Якщо лінійні системи більш-менш прості в управлінні, то нелінійні дуже складні — оскільки багато чинників приховані від очей спостерігача. Складність системи не пов’язана з її архітектурою або сумою грошей, яку було спрямовано на її створення. Вона залежить від того, як взаємодіють її частини — лінійно чи нелінійно. Якщо невелика помилка може призвести до катастрофи, значить, система складна й нелінійна.

Другий чинник — наскільки система жорстко пов’язана. Чи передбачено в ній запас часу або інших ресурсів для усунення помилки, чи дає змогу  вона взагалі помилятися. Якщо в системі немає такого прозору, то навіть найдрібніша помилка може всю її вивести з ладу. Для цієї системи потрібна абсолютна точність. Помилка, порушення порядку дій — усе веде до катастрофи.