Я відчуваю genAI меланхолію, або чому ChatGPT та інші чатботи тупішають

Таку думку висловлює провідний IT експерт Стівен Вон-Ніколс. Нижче MigNews підготував переклад його статті українською.

Я хотів би, щоб інструменти генеративного штучного інтелекту (генAI) були по-справжньому корисними. Але вони такими не є. Я постійно експериментую з програмами — ChatGPT, Meta AI, Gemini та іншими. На перший погляд, вони здаються корисними, якщо ви не розумієтеся на деталях. Їхні відповіді звучать переконливо. Але якщо придивитися уважніше, навіть якщо ви прощаєте їм їхні «галюцинації» — тобто неправдиві відповіді, — ви побачите, що занадто часто ці відповіді є неправильними.

Якщо ви працюєте, скажімо, на рівні шкільного звіту, відповіді генAI підходять. (Вибачте, вчителі.) Але якщо ви глибше занурюєтеся в тему, що є моєю сферою діяльності, ситуація змінюється.

Я знаю більше, ніж середня велика мовна модель (LLM), про такі теми, як Linux і програмне забезпечення з відкритим кодом. Те, що генAI може розповісти вам про ці теми, може звучати правильно, але чим глибше ви занурюєтеся в деталі, тим гіршою стає інформація.

Насправді, занадто часто кінцевий результат є дратівливим і неприємно неправильним. Ще гірше те, що він помиляється непередбачувано. Якби я міг розраховувати на те, що відповіді будуть посередніми, але більш-менш точними, я міг би з цим працювати. Але я не можу.

І це не лише моя думка. Як повідомляє BusinessWeek, багато серйозних користувачів GPT-4 все частіше вважають його “лінивішим” і “дурнішим”. Інші погоджуються. Як нещодавно хтось висловився на Reddit: «ChatGPT 3 та 4 сьогодні набагато менш ефективні та корисні, ніж коли я підписався на про-версію рік тому». Це здається правдоподібним.

На мою думку, навіть найкращий чатбот генAI, Perplexity, здається, йде на спад. Однією з речей, яка мені подобалася в Perplexity, було те, що він надавав джерела для своїх спостережень. Я знаходив це корисним, коли сприймав його як пошукову систему з турбо-прискоренням. Однак останніми днями він стає ненадійним, і я більше не можу покладатися на те, що він вказуватиме, де знайшов інформацію, яку переробив для мене.

Чому це відбувається? Я не розробник штучного інтелекту, але уважно стежу за цією сферою і бачу принаймні дві основні причини, чому вони починають зазнавати невдачі.

Перша причина полягає в тому, що якість контенту, використаного для створення основних LLM, ніколи не була достатньо високою. Багато з них включають матеріали з таких «якісних» веб-сайтів, як Twitter, Reddit та 4Chan.

Як показав огляд AI від Google на початку цього року, результати можуть бути жахливими. Як зазначає MIT Technology Review, він запропонував такі низькоякісні відповіді, як «користувачам слід додавати клей до піци або їсти щонайменше один маленький камінь на день», а також що колишній президент США Ендрю Джонсон отримував університетські ступені в період з 1947 по 2012 рік, незважаючи на те, що помер у 1875 році.

Якщо ви не приклеюєте камені до піци, ці приклади є безглуздими і безпечними, але якщо вам потрібна правильна відповідь, це вже зовсім інша справа. Візьмемо, наприклад, адвоката, чиї юридичні документи містили інформацію з вигаданих AI справ. Судді не були задоволені.

Якщо вам хочеться поспілкуватися на еротичні теми з інструментами генAI, що, схоже, є одним із найпопулярніших застосувань ChatGPT, точність, ймовірно, не має для вас великого значення. Але для мене важливо отримувати правильні відповіді, і це має бути важливим для будь-кого, хто хоче використовувати AI для бізнесу.

Оскільки гіганти генAI продовжують шукати більше даних, ця проблема тільки погіршуватиметься. Дослідження Epoch AI виявило, що до 2026 року ми можемо вичерпати високоякісні дані.

Це призводить до другої проблеми. Сьогодні, як ніколи раніше, контент, створений генAI, замінює експертний людський контент. Результат полягає не лише в тому, що погані дані витісняють хороші; це ще підступніше.

Недавня стаття в Nature показала, що «безсистемне навчання на даних, створених іншими моделями, призводить до „колапсу моделі“ — дегенеративного процесу, коли з часом моделі забувають справжній розподіл даних, навіть за відсутності зміщення розподілу з часом». Я називаю це «сміття на вході — сміття на виході» (GIGO).

Оскільки я не бачу шансів на те, що компанії припинять використовувати генAI для створення документів за частину вартості роботи справжніх експертів і досвідчених письменників, якість продовжуватиме знижуватися.

Можливо, ми вже досягли піку AI з точки зору якості, вірите ви чи ні. Хіба це не страшна думка?

Я не є противником AI. Чатботи генAI спеціального призначення, засновані на LLM, що присвячені певній темі, як, наприклад, діагностика програми або виявлення потенційного раку, вже є дуже корисними. Інші застосування, такі як AI-керовані персонажі в онлайн-іграх, покращать геймплей, а AI-друзі для самотніх людей, як-от ElliQ, можуть допомогти багатьом.

Але як заміна працівників інтелектуальної праці, на що багато компаній, здається, налаштовані, про це можна забути. За винятком, можливо, генеральних директорів — їх можна було б замінити на чатботів AI. Я сумніваюся, що багато людей помітять велику різницю — за винятком того, що це заощадить компаніям купу грошей.

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Цей сайт використовує Akismet для зменшення спаму. Дізнайтеся, як обробляються ваші дані коментарів.