Дослідники лабораторії назвали це «друкарською атакою».
Щоб змусити програму невірно ідентифікувати предмет, досить прикріпити до нього записку з неправильною назвою. Про це пише The Verge.
За словами експертів, «друкарська атака» нагадує атаку з використанням змагальних зображень. Наприклад, з їх допомогою можна обдурити програмне забезпечення безпілотних автомобілів Tesla, щоб вони без попередження міняли смугу руху. Також це може створити загрозу для багатьох додатків штучного інтелекту, від медичних до військових.
Однак в даному випадку турбуватися нема про що - мова йде про експериментальну системі CLIP, яка поки що не використовується ні в одному комерційному продукті. CLIP призначений для вивчення того, як системи штучного інтелекту можуть навчитися визначати об'єкти без пильного спостереження, навчаючись на базах даних пар зображень-текст. Для навчання системи OpenAI використовував близько 400 мільйонів таких пар.
Дослідники OpenAI виявили окремі компоненти в мережі машинного навчання, які реагують не тільки на зображення об'єктів, а й на ескізи, малюнки і пов'язаний з ними текст. Це назвали «мультимодальні нейронами». Дослідники вважають, що системи штучного інтелекту засвоюють знання таким же способом, як це роблять люди.
В майбутньому це може привести до появи більш складних систем комп'ютерного зору, але зараз подібне знаходиться в зародковому стані. Будь-яка людина може відрізнити яблуко від аркуша паперу з написаним на ньому словом «яблуко», але штучний інтелект на кшталт CLIP на це поки не здатний. Здатність, яка дозволяє програмі пов'язувати слова і зображення на абстрактному рівні, створює унікальну помилку, яку в OpenAI назвали «помилкою абстракції».
Ще один приклад помилки, який привела лабораторія, - то, як ІІ визначає скарбнички. Якщо додати до зображення будь-якого предмета значки доларів, CLIP вважатиме його скарбничкою.
# Новини #openai # нейромережі # ії
джерело