nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

autorin｜jessica

heute fand der erste devday von openai im jahr 2024 in unauffälliger atmosphäre im gateway pavilion am pier 2 in san francisco statt.

anders als bei der turbulenten offiziellen ankündigung im letzten jahr tauchten die neuigkeiten zum diesjährigen developer day vor zwei monaten nur einmal im x-konto von openai developers auf, sodass viele leute nichts davon wussten.

teilnehmer sind grundsätzlich eingeladene kunden und ausgewählte frontline-entwickler. der ort wurde bis zum letzten moment geheim gehalten, der mysteriöse zeitplan wurde erst am selben tag bekannt gegeben und eine live-übertragung gab es nicht.

vor dem treffen twitterte sam altman schnell:

„heute kommen einige neue tools für entwickler auf den markt!

vom letzten devday bis zu diesem: die kosten pro token von gpt-4 auf 4o mini sind um 98 % gesunken, die anzahl der token in unserem system hat sich um das 50-fache erhöht, die modellintelligenz hat hervorragende fortschritte gemacht, und es gab einige dramatik im prozess.

ich freue mich auf die fortschritte von diesem devday zum nächsten. der weg zu agi war noch nie so klar. "

wie romain huet, director of developer experience des unternehmens, zuvor über die x-plattform informierte, wurden beim diesjährigen devday keine neuen modelle veröffentlicht und der schwerpunkt ausschließlich auf api-verbesserungen gelegt.

und openai hat an diesem wahren „tag der entwickler“ tatsächlich eine reihe von echtzeit-apis, sofortiges caching, modelldestillation, visuelle feinabstimmung und spielplatzoptimierung gepackt sowie den umfang der o1-api erweitert und das ratenlimit für entwickler erhöht. wichtige tool-updates.

die preise dieser neuen apis sind nicht gerade günstig. viele entwickler sagen, dass die kombination aus preis und funktionalität sie attraktiv macht. dieses aufrichtige geschenkpaket für entwickler wird sofort präsentiert, und openai möchte immer noch das meiste geld verdienen, indem es die besten produkte verkauft.

bildquelle: @swyx |. x.com

1

echtzeit-api: erstellen sie in einem schritt ihre eigene „her“-app

als derzeit auffälligstes feature ermöglicht die realtime api entwicklern den aufruf von gpt-4o-realtime-preview, dem zugrunde liegenden modell des erweiterten sprachmodus von chatgpt, um ein schnelles und natürliches voice-to-voice-konversationserlebnis in anwendungen zu schaffen. unterstützt 6 voreingestellte stimmen, um eine sprachinteraktion mit geringer latenz zu erreichen.

bei der erstellung von sprachassistenten mussten sich entwickler in der vergangenheit auf mehrere modelle verlassen, um unterschiedliche aufgaben zu erfüllen: zuerst verwendeten sie ein spracherkennungsmodell wie whisper, um audio in text zu transkribieren, dann übergaben sie den text zur inferenz an ein sprachmodell und schließlich erzeugten sie dadurch sprache ein text-zu-sprache-ausgabemodell. der prozess ist nicht nur komplex, es gehen auch emotionen und akzente leicht verloren und es kommt zu erheblichen verzögerungen.

die echtzeit-api erfordert nur einen aufruf, um den gesamten konversationsprozess abzuschließen. verbessern sie die natürlichkeit und reaktionsfähigkeit von gesprächen erheblich, indem sie die audioeingabe und -ausgabe streamen. es nutzt eine dauerhafte websocket-verbindung zum austausch von nachrichten mit gpt-4o und unterstützt funktionsaufrufe, mit denen schnell auf anfragen reagiert, vorgänge wie das aufgeben von bestellungen oder die bereitstellung personalisierter dienste ausgeführt werden können. es kann auch unterbrechungen wie den erweiterten sprachmodus automatisch verarbeiten, um ein reibungsloseres benutzererlebnis zu gewährleisten. es eignet sich sehr gut für den kundensupport, das erlernen von sprachen und andere szenarien, die eine hohe interaktivität erfordern.

vor ort demonstrierten die mitarbeiter den über eine echtzeit-api erstellten sprachassistenten, der mehr als 100 entwicklern im publikum dabei half, „400 erdbeeren anzurufen und zur lieferung zu bestellen“.