Бенджіо пропонує змінити штучний інтелект для підвищення безпеки

Про це повідомляють The Independent, The Conversation.

На цьому тижні Федеральне бюро розслідувань США повідомило, що двоє підозрюваних у вибуху клініки штучного запліднення в Каліфорнії минулого місяця нібито використали штучний інтелект (ШІ) для отримання інструкцій зі створення вибухових пристроїв. Назва ШІ, який використовувався, не розголошується.

Ця подія підкреслила необхідність підвищення безпеки ШІ. У сучасних умовах ринок ШІ нагадує "дикий захід", де компанії змагаються між собою, намагаючись швидше за інших розробити нові системи. Через таку конкуренцію питання безпеки часто відходять на другий план.

Один із провідних дослідників галузі, професор Йошуа Бенджіо, оголосив про запуск некомерційної організації LawZero, яка займається створенням безпечнішої моделі ШІ під назвою "Scientist AI". Вона повинна бути "чесною та не обманливою", а також містити принципи безпеки з етапу розробки.

"Scientist AI" буде відрізнятися від сучасних систем двома основними можливостями: вона зможе оцінювати рівень впевненості у своїх відповідях та пояснювати свої рішення людям. Це зменшить ризик появи помилкових і надмірно впевнених відповідей. Подібні функції були у старих системах ШІ, але сучасні моделі часто жертвують пояснюваністю заради швидкості.

Крім того, "Scientist AI" зможе контролювати та оцінювати інші, менш надійні ШІ-системи, що потенційно можуть завдати шкоди. Такий підхід дозволяє використовувати одну систему ШІ для моніторингу іншої, що особливо актуально за великої кількості запитів, які надходять до сучасних моделей.

Команда Бенджіо також працює над впровадженням у "Scientist AI" так званої "світової моделі" — внутрішнього уявлення про закони і процеси реального світу. Це дозволить системі робити більш обґрунтовані висновки, чого не вистачає багатьом сучасним ШІ.

Водночас проект стикається з фінансовими та технічними труднощами: бюджет LawZero складає 30 мільйонів доларів, що значно менше за масштабні державні програми. Для розвитку таких систем також необхідні величезні обсяги даних, які контролюються великими технологічними компаніями.

Теги: Технології/ШІ