Великі мовні моделі ШІ вчаться на даних у вільному доступі й тому мають усі їхні переваги, недоліки та упередження

Бум ШІ почався у 2010-х роках, коли методи машинного навчання почали використовуватися для аналізу і прогнозування даних. Багато таких додатків використовували технологію контрольованого навчання. Для неї використовувалися так звані помічені дані, тобто дані з коментарями, правильними відповідями або висновками для кожного конкретного завдання. Наприклад, якщо потрібно навчити систему ШІ розпізнавати обличчя, треба запропонувати їй зображення облич з іменами або особистими даними людей. У найвигіднішому становищі були великі організації, які мали у своєму розпорядженні величезні масиви даних. Незабаром машинне навчання було інтегровано в системи розпізнавання голосу або додатки для перекладу. ШІ прогнозує попит, оптимізує планування складів і доставку товарів, відстежує попит у режимі реального часу, щоб забезпечити швидкий доступ до товарів. ШІ використовується в роботах Amazon Kiva, що доставляють товари з полиць до складських робітників, прискорюючи процес пакування та відправлення. Але такі типи систем ШІ мали свої обмеження: вони не справлялися із завданнями невідомого їм типу, не розуміли контекст, були обмежені в здатності розуміти та генерувати текст.

Сьогодні нові типи штучного інтелекту, які називають великими мовними моделями (Large Language Models — LLM), не тільки виконують прогнозування, а й аналізують фрагменти тексту. Щоб навчити їх розуміти та генерувати тексти, їм дають величезну кількість текстів із різних джерел. Це називається попереднім навчанням. У цьому випадку ШІ вже не потребує помічених даних. Він аналізує приклади та вчиться розпізнавати шаблони, структури й контекст людською мовою.

За допомогою великої кількості параметрів (ваг), що налаштовуються, можна створити модель, що імітує письмове спілкування людей. Ваги повідомляють ШІ, наскільки ймовірно, що різні слова або частини слів з’являтимуться разом або в певному порядку. У вихідному ChatGPT було 175 млрд ваг, які кодували зв’язок між словами та частинами слів. Ці ваги засвоювалися самим ШІ під час навчання.

Модель LLM Моллік порівнює з учнем шеф-кухаря, який хоче сам стати шефом. Він починає із читання і вивчення рецептів з усього світу. Кожен рецепт — це фрагмент тексту, де інгредієнти позначені словами та фразами. Учень має зрозуміти, як поєднувати різні інгредієнти для створення смачної страви — іншими словами, як поєднати слова для отримання зв’язного тексту. Спочатку учень отримує безладну комору, у якій 175 млн ваг. Їхні значення випадкові та не містять жодної інформації про зв’язок слів. Щоб здобути більше знань і краще підібрати набір спецій, учень діє методом проб і помилок, експериментуючи з рецептами. Поступово він розуміє, що яблука добре поєднуються з корицею і погано — з кмином. Він створює страви за рецептами, використовуючи наявну комору, порівнює страву з рецептом і виявляє помилки чи невідповідності. Він переглядає вміст комори, уточнює зв’язки між смаками, намагається зрозуміти, як краще їх використовувати: разом чи в якійсь послідовності. У результаті цієї кропіткої роботи комора стає дедалі впорядкованішою та організованішою. Між словами та фразами є стійкий зв’язок, учень перетворився на шеф-кухаря, який може домогтися ідеального балансу смаків. Іншими словами, ШІ створює текст, схожий на людський, цікавий та інформативний.

Для виконання величезної кількості обчислень, необхідних для вивчення мільярдів слів, потрібні дуже потужні комп’ютери. Тому створення ШІ коштує дорого. Навчання більш просунутих LLM коштує понад 100 млн доларів. Компанії, які займаються ШІ, тримають у секреті тексти (вони називаються навчальними корпусами), на основі яких навчаються моделі. Однак типовий приклад навчальних даних переважно складається з тексту, взятого з інтернету, книг у загальному доступі, статей та інших безоплатних джерел контенту. Усе, що є у вільному доступі, може слугувати базою даних для навчання ШІ, зокрема корпоративне листування або база даних електронної пошти, злита в мережу. У навчальні дані включено й любовні романи авторів-аматорів, викладені в мережу. Пошук якісного контенту — одне з важливих завдань із навчання ШІ, оскільки безплатних джерел не вистачає.

Проте більшість навчальних даних ШІ містять інформацію, захищену копірайтом, наприклад, до неї належать книги, які використовуються без дозволу. Невідомо, чи будуть у цього юридичні наслідки, оскільки дані використовуються для визначення ваг, а не копіювання прямо в системи ШІ. Однак деякі експерти вважають, що в такій політиці є порушення авторського права. Коли-небудь, імовірно, усе це буде впорядковано як юридично, так і етично. Але поки що, на ранньому етапі навчання ШІ, є певна невизначеність.

Наразі компанії, що займаються навчанням ШІ, потребують більшої кількості даних для навчання, оскільки, за деякими оцінками, уже наявні високоякісні дані на кшталт онлайн-книг і наукових статей, будуть вичерпані до 2026 року.

Активно досліджується питання, чи зможе ШІ навчатися на власному контенті, подібно до того, як навчаються ШІ, граючи самі із собою в шахи.

Великий масив даних — це ще не все. У ШІ немає етичних кордонів, і він міг би давати поради кримінального характеру. Моделі LLM на етапі попередньої підготовки просто відображають те, чого їх навчали, не використовуючи жодних суджень. Але після вивчення всіх текстових прикладів на першому етапі настає другий етап, який називається тонким налаштуванням.

Компанії наймають співробітників для читання відповідей ШІ та оцінювання їх за різними характеристиками. Іноді це може бути оцінювання точності результатів, іноді — відсіювання відповідей, де є насильство або порнографія. Такий зворотний зв’язок потім використовують для додаткового навчання, точного налаштування відповідно до потреб людини, посилення хороших відповідей і зменшення кількості поганих (неточних або помилкових). Цей процес називається навчанням із підкріпленням на основі зворотного зв’язку з людиною. Після того як ШІ пройшов початкову стадію навчання з підкріпленням, можна доопрацьовувати його й коригувати, пропонуючи більш конкретні приклади для вдосконаленої моделі.

Моделі для створення зображень, такі як Midjourney і DALL-E, навчаються схожим чином. Вони аналізують велику кількість зображень у поєднанні з текстом, що описує картинку, і вчаться асоціювати слова з візуальними поняттями.

 Навчання з підкріпленням, крім іншого, встановлює бар’єри для ШІ

Матеріал для попередньої підготовки ШІ береться у відкритому доступі, це просто розрізнена частина людських даних, яку розробники знайшли та використовували. Цей підхід створює ризик упередженості. ШІ навчені на наших бесідах, письмових та усних, у яких відображені й людські упередження. Зрозуміло, що дані для ШІ містяться у відкритій частині інтернету, переважно доброзичливій і відкритій. Але за добір інформації відповідають люди, здебільшого англомовні компанії, що спеціалізуються на ШІ. Вони додають власні упередження в збір даних. Це може призвести до спотворень, оскільки думки певних людей не відображають цілу картину світу. Дослідження, проведене Bloomberg у 2023 році, встановило, що популярна модель ШІ Stable Diffusion для перетворення тексту на зображення відображає стереотипи щодо раси та статі. Якщо ШІ просять намалювати типового суддю, він у переважній більшості випадків зобразить чоловіка, тоді як третина американських суддів — жінки. Якщо він генерує картинку із зображенням працівників швидкоїжі, вони здебільшого темношкірі, хоча 70 відсотків справжніх працівників — білі. Отже, ШІ може створювати упереджене уявлення про реальність, а компанії, що працюють із ним, спокійно уникають відповідальності за контент. Ці упередження можуть впливати на переконання тих, хто так чи інакше стикатиметься зі ШІ.

Найпоширеніший підхід до зменшення упередженості — коригування ШІ людьми, як у процесі навчання з підкріпленням. У міру навчання контент поліпшується, стає менш упередженим і точнішим. Але навіть у цьому випадку на нього може впливати упередженість оцінювачів контенту й компаній, що дають їм установки. Це може створювати нові види упередженості. Коли ChatGPT просять висловити політичні погляди, він зазвичай відображає ліберальний, західний, капіталістичний світогляд і не висловлює нічого, що йшло б усупереч із ним.

Навчання з підкріпленням, крім іншого, встановлює бар’єри для ШІ, щоб він не міг зробити нічого зловмисного.

У ШІ немає почуття моралі, і тому навчання з підкріпленням обмежує потенційно аморальну поведінку. У результаті в більшості випадків ШІ в простих сценаріях виносить ті самі моральні судження, що й люди. До процедури навчання з підкріпленням GPT-4 міг надати інструкцію про те, як вбити якомога більше людей за мінімальних витрат, написати погрози, завербувати людей у терористичні групи, дати підлітку пораду, як накласти на себе руки тощо. Після навчання з підкріпленням усе це зникло.