Компанія OpenAI анонсувала свою нову флагманську генеративну ШІ-модель - GPT-4o, де "o" означає "omni", що вказує на здатність моделі працювати з текстом, мовленням і відео. GPT-4o буде поступово впроваджуватися в продукти компанії, орієнтовані як на розробників, так і на споживачів, протягом наступних кількох тижнів.
Прорив у мультимодальному ШІ
За словами технічного директора OpenAI, Міри Муратті, GPT-4o володіє інтелектом рівня GPT-4, але перевершує його можливості в декількох модальностях і медіа. На презентації в офісах OpenAI в Сан-Франциско Міра Муратті заявила:
"GPT-4o міркує через голос, текст і візуальні дані. Це надзвичайно важливо, тому що ми дивимося в майбутнє взаємодії між людьми і машинами."
Нові можливості ChatGPT
GPT-4o значно покращує функціональність чатбота OpenAI, ChatGPT. Раніше платформа вже пропонувала режим голосового введення, використовуючи модель текст-в-мова для озвучування відповідей чатбота. Однак з GPT-4o користувачі можуть взаємодіяти з ChatGPT як з асистентом. Тепер можна ставити запитання і переривати відповіді ChatGPT, модель забезпечує "в режимі реального часу" відгук і може сприймати нюанси в голосі користувача, генеруючи відповіді з різними емоційними відтінками, включно зі співом.
Розширені візуальні можливості
GPT-4o також покращує можливості ChatGPT щодо роботи із зображеннями. Наприклад, тепер ChatGPT може швидко відповісти на запитання, що стосуються фотографій або скріншотів робочого столу, від "Що відбувається в цьому програмному коді?" до "Якого бренду сорочка на цій людині?".
Майбутнє взаємодії
Міра Муратті додала, що ці функції будуть продовжувати розвиватися. Сьогодні GPT-4o може перекласти меню іншою мовою, а в майбутньому модель зможе, наприклад, "спостерігати" за живими спортивними іграми та пояснювати їхні правила. "Ми знаємо, що ці моделі стають дедалі складнішими, але ми хочемо, щоб взаємодія з ними стала природнішою та легшою, щоб користувачі могли зосередитися на співпраці з ChatGPT, а не на інтерфейсі," — сказала Муратті. "Протягом останніх кількох років ми зосередилися на поліпшенні інтелекту цих моделей... Але зараз ми робимо величезний крок уперед у плані зручності використання."
Многомовні можливості та доступність
GPT-4o також володіє поліпшеними можливостями роботи приблизно 50 мовами. В API OpenAI і сервісі Microsoft Azure OpenAI GPT-4o працює вдвічі швидше, вдвічі дешевше і має вищі ліміти, ніж GPT-4 Turbo.
Наразі голосові можливості GPT-4o недоступні для всіх клієнтів API. OpenAI, посилаючись на ризик зловживань, планує спочатку запустити підтримку нових аудіо можливостей для "невеликої групи надійних партнерів" найближчими тижнями.
GPT-4o доступний у безкоштовному тарифі ChatGPT відсьогодні, а передплатники преміум-планів ChatGPT Plus і Team отримають "у 5 разів вищі" ліміти повідомлень. Покращений голосовий досвід ChatGPT, заснований на GPT-4o, буде доступний в альфа-версії для користувачів Plus наступного місяця, поряд з варіантами, орієнтованими на підприємства.
Оновлений інтерфейс ChatGPT і нові функції
OpenAI також анонсувала оновлення інтерфейсу ChatGPT у веб-версії з новим, більш розмовним домашнім екраном і макетом повідомлень, а також настільну версію ChatGPT для macOS, яка дає змогу користувачам ставити запитання за допомогою поєднання клавіш або обговорювати скріншоти. Користувачі ChatGPT Plus отримають доступ до застосунку першими, починаючи відсьогодні, а версія для Windows з'явиться пізніше цього року.
Крім того, бібліотека GPT Store, що містить інструменти для створення та використання сторонніх чатботів на основі моделей ШІ OpenAI, тепер доступна користувачам безкоштовного тарифу ChatGPT. Безкоштовні користувачі також можуть скористатися функціями ChatGPT, які раніше були заблоковані через платний доступ, такими як можливість запам'ятовування вподобань для майбутніх взаємодій, завантаження файлів і фотографій, а також пошук відповідей на актуальні запитання в інтернеті.