nouvelles

coffret cadeau openai : la distillation de voix et de modèles en temps réel est disponible, vendez les meilleurs produits et gagnez le plus d'argent

2024-10-02

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

auteur|jessica

aujourd'hui, le premier devday d'openai en 2024 s'est tenu de manière discrète au gateway pavilion du pier 2 à san francisco.

contrairement à l’annonce officielle turbulente de l’année dernière, la nouvelle du developer day de cette année n’est apparue qu’une seule fois dans le compte x d’openai developers il y a deux mois, donc beaucoup de gens ne le savaient pas.

les participants sont essentiellement des clients invités et des développeurs de première ligne sélectionnés. le lieu a été gardé secret jusqu'au dernier moment, le mystérieux programme n'a été révélé que le jour même et il n'y a pas eu de diffusion en direct.

avant la réunion, sam altman a rapidement tweeté :

« de nouveaux outils pour les développeurs sont lancés aujourd'hui !

du dernier devday à celui-ci : le coût par token de gpt-4 à 4o mini a baissé de 98 %, le nombre de tokens dans notre système a été multiplié par 50, l'intelligence des modèles a fait d'excellents progrès, et il y a eu un petit drame dans le processus.

j'attends avec impatience les progrès de ce devday au suivant. le chemin vers l’agi n’a jamais été aussi clair. "

comme romain huet, directeur de l'expérience développeur de l'entreprise, l'avait précédemment informé sur la plateforme x, le devday de cette année n'a publié aucun nouveau modèle et s'est uniquement concentré sur les améliorations de l'api.

et openai a en effet regroupé une série d'api en temps réel, une mise en cache rapide, une distillation de modèles, un réglage visuel précis, une optimisation du terrain de jeu, ainsi qu'une extension de la portée de l'api o1 et une augmentation de la limite de débit pour les développeurs lors de cette véritable « journée des développeurs ». mises à jour importantes des outils.

le prix de ces nouvelles api n'est pas absolument bon marché. de nombreux développeurs affirment que la combinaison du prix et des fonctionnalités les rend attrayantes. ce coffret cadeau sincère pour les développeurs est présenté en même temps, et openai veut toujours gagner le plus d'argent en vendant les meilleurs produits.

source de l'image : @swyx |

1

api en temps réel : créez votre propre application « elle » en une seule étape

en tant que fonctionnalité la plus attrayante aujourd'hui, l'api realtime permet aux développeurs d'appeler gpt-4o-realtime-preview, le modèle sous-jacent du mode vocal avancé de chatgpt, pour créer une expérience de conversation voix à voix rapide et naturelle dans les applications. prend en charge 6 voix prédéfinies pour obtenir une interaction vocale à faible latence.

dans le passé, lors de la création d'assistants vocaux, les développeurs devaient s'appuyer sur plusieurs modèles pour effectuer différentes tâches : d'abord utiliser un modèle de reconnaissance vocale comme whisper pour transcrire l'audio en texte, puis transmettre le texte à un modèle de langage pour inférence, et enfin générer de la parole. via un modèle de synthèse vocale. non seulement le processus est compliqué, mais l’émotion et l’accent peuvent facilement se perdre, et il y a des retards importants.

l'api en temps réel ne nécessite qu'un seul appel pour terminer l'ensemble du processus de conversation. améliorez considérablement le naturel et la réactivité des conversations en diffusant les entrées et sorties audio. il utilise une connexion websocket persistante pour échanger des messages avec gpt-4o et prend en charge les appels de fonction, qui peuvent répondre rapidement aux demandes, effectuer des opérations telles que passer des commandes ou fournir des services personnalisés. il peut également gérer automatiquement les interruptions comme le mode vocal avancé pour garantir une expérience utilisateur plus fluide. il est très adapté au support client, à l'apprentissage des langues et à d'autres scénarios nécessitant une grande interactivité.

sur place, le personnel a fait une démonstration de l'assistant vocal construit via une api en temps réel, aidant plus de 100 développeurs présents dans le public à « appeler et passer une commande de 400 fraises à livrer ».