OpenAI a annoncé son nouveau modèle d'IA générative phare, GPT-4o, où le "o" signifie "omni", indiquant la capacité du modèle à travailler avec du texte, de la parole et de la vidéo. GPT-4o sera progressivement introduit dans les produits de l'entreprise destinés aux développeurs et aux consommateurs au cours des prochaines semaines.
Rupture dans l'IA multimodale
Selon Mira Muratti, directeur technique d'OpenAI, GPT-4o possède une intelligence de niveau GPT-4 mais surpasse ses capacités dans de multiples modalités et médias. Lors d'une présentation dans les bureaux d'OpenAI à San Francisco, Muratti a déclaré :
"GPT-4o pense à travers la voix, le texte et les images. C'est extrêmement important pour l'avenir de l'interaction homme-machine."
Nouvelles fonctionnalités de ChatGPT
GPT-4o améliore considérablement les fonctionnalités du chatbot d'OpenAI, ChatGPT. Auparavant, la plateforme proposait déjà un mode de saisie vocale, utilisant un modèle de synthèse vocale pour vocaliser les réponses du chatbot. Cependant, avec GPT-4o, les utilisateurs peuvent interagir avec ChatGPT comme avec un assistant. Les utilisateurs peuvent désormais poser des questions et interrompre les réponses de ChatGPT, le modèle fournit un retour d'information "en temps réel" et peut percevoir les nuances dans la voix de l'utilisateur pour générer des réponses avec différents tons émotionnels, y compris le chant.
Capacités visuelles améliorées
GPT-4o améliore également les capacités de ChatGPT en matière d'image. Par exemple, ChatGPT peut désormais répondre rapidement à des questions liées à des photos ou à des captures d'écran du bureau, de "Que se passe-t-il dans ce code de programme ?" à "Quelle marque de chemise cette personne porte-t-elle ?"
Le futur de l'interaction
Mira Muratti a ajouté que ces fonctionnalités continueront d'évoluer. Aujourd'hui, GPT-4o peut traduire des menus dans une autre langue et, à l'avenir, le modèle pourra "regarder" des matchs de sport en direct et en expliquer les règles, par exemple. "Nous savons que ces modèles deviennent de plus en plus complexes, mais nous voulons rendre l'interaction avec eux plus naturelle et plus facile afin que les utilisateurs puissent se concentrer sur l'expérience ChatGPT plutôt que sur l'interface", a déclaré M. Muratti. "Au cours des dernières années, nous nous sommes concentrés sur l'amélioration de l'intelligence de ces modèles... Mais aujourd'hui, nous faisons un grand pas en avant en termes de convivialité."
Capacités multilingues et accessibilité
GPT-4o dispose également de capacités améliorées dans une cinquantaine de langues. Dans l'API OpenAI et le service OpenAI de Microsoft Azure, le GPT-4o est deux fois plus rapide, deux fois moins cher et a des limites plus élevées que le GPT-4 Turbo.
Les capacités vocales du GPT-4o ne sont actuellement pas disponibles pour tous les clients de l'API. Citant le risque d'abus, OpenAI prévoit de déployer initialement la prise en charge des nouvelles capacités audio à un "petit groupe de partenaires de confiance" dans les semaines à venir.
GPT-4o est disponible dans le plan gratuit de ChatGPT à partir d'aujourd'hui, et les abonnés aux plans premium ChatGPT Plus et Team recevront des limites de messages "5 fois plus élevées". L'expérience vocale améliorée de ChatGPT, basée sur GPT-4o, sera disponible en alpha pour les utilisateurs Plus le mois prochain, ainsi que des options axées sur l'entreprise.
UI ChatGPT remaniée et nouvelles fonctionnalités
OpenAI a également annoncé une mise à jour de l'UI ChatGPT sur la version web avec un nouvel écran d'accueil et une disposition des messages plus conversationnels, ainsi qu'une version de bureau de ChatGPT pour macOS qui permet aux utilisateurs de poser des questions avec des raccourcis clavier ou de discuter de captures d'écran. Les utilisateurs de ChatGPT Plus seront les premiers à avoir accès à l'application à partir d'aujourd'hui, la version Windows arrivant plus tard dans l'année.
En outre, la bibliothèque GPT Store, qui contient des outils pour construire et utiliser des chatbots tiers basés sur des modèles d'IA OpenAI, est désormais disponible pour les utilisateurs de ChatGPT free. Les utilisateurs gratuits peuvent également profiter des fonctionnalités de ChatGPT qui étaient auparavant bloquées en raison de l'accès payant, telles que la possibilité d'enregistrer des préférences pour des interactions futures, de télécharger des fichiers et des photos, et de rechercher des réponses aux questions fréquemment posées sur Internet.