Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Herausgeber: Chen Chen, Xiaozhou

Mit einem so leistungsstarken Modell bietet Google jedem eine kostenlose Testversion.

In den letzten zwei Tagen hat Google die neuesten Forschungsergebnisse veröffentlicht. Nach der Veröffentlichung des leistungsstärksten Kleinmodells Gemma 2 2B gestern wurde gerade die experimentelle Version Gemini 1.5 Pro (0801) auf den Markt gebracht.

Benutzer können über Google AI Studio und die Gemini API testen und Feedback geben.

Da es kostenlos ist, helfen wir Ihnen, das kürzlich beliebte Problem des Größenverhältnisses zu testen. Als wir das Gemini 1.5 Pro (0801) fragten, welche Zahl größer sei, 9,9 oder 9,11, antwortete das Modell beim ersten Mal richtig und gab einen Grund an.

Als wir weiter fragten „Wie viele R hat das Wort Erdbeere“, kippte das Gemini 1.5 Pro (0801) um. Bei der schrittweisen Anwendung eines „Zauberspruchs“ in den Eingabeaufforderungen ist die Modellanalyse im vierten Schritt fehlgeschlagen.

Testadresse für Google AI Studio: https://aistudio.google.com/app/prompts/new_chat

Der offiziellen Bewertung zufolge ist das Gemini 1.5 Pro (0801) jedoch in verschiedenen Indikatoren immer noch sehr leistungsfähig. Das neue Modell lag schnell an der Spitze der prestigeträchtigen Bestenliste der LMSYS Chatbot Arena und verfügt über einen beeindruckenden ELO-Wert von 1300.

Mit diesem Erfolg liegt Gemini 1.5 Pro (0801) vor OpenAIs GPT-4o(ELO: 1286) und Anthropics Claude-3.5 Sonnet (ELO: 1271) sowie anderen starken Konkurrenten könnte dies eine Veränderung in der Landschaft der künstlichen Intelligenz ankündigen.

Simon Tokumine, ein wichtiges Mitglied des Gemini-Teams, bezeichnet das Gemini 1.5 Pro (0801) als das leistungsstärkste und intelligenteste Gemini-Modell, das Google je hergestellt hat.

Neben dem Spitzenplatz in der Chatbot Arena schnitt Gemini 1.5 Pro (0801) auch in Bereichen wie mehrsprachige Aufgaben, Mathematik, Hard Prompt und Codierung sehr gut ab.

Konkret schnitt das Gemini 1.5 Pro (0801) zunächst auf Chinesisch, Japanisch, Deutsch und Russisch ab.

Aber im Bereich Codierung und Hard Prompt liegen Claude 3.5 Sonnet, GPT-4o, Llama 405B immer noch an der Spitze.

Auf der Win-Rate-Heatmap: Gemini 1.5 Pro (0801) hat eine Win-Rate von 54 % gegen GPT-4o und eine Win-Rate von 59 % gegen Claude-3.5-Sonnet.

Auch Gemini 1.5 Pro (0801) belegt den ersten Platz in der Vision-Rangliste!

Netizens sagten, dass Google dieses Mal wirklich alle Erwartungen übertroffen habe. Es habe den Test des stärksten Modells plötzlich ohne vorherige offizielle Ankündigung eröffnet. Diesmal lag der Druck auf OpenAI.

Obwohl das Gemini 1.5 Pro (0801) hohe Ergebnisse erzielt, befindet es sich noch im Experimentierstadium. Dies bedeutet, dass das Modell möglicherweise noch weiteren Modifikationen unterzogen wird, bevor es in großem Umfang eingesetzt wird.

Netizen-Kommentare

Einige Internetnutzer haben die Inhaltsextraktionsfunktionen, Codegenerierungsfunktionen, Argumentationsfunktionen usw. von Gemini 1.5 Pro (0801) getestet. Werfen wir einen Blick auf seine Testergebnisse.

Quelle: https://x.com/omarsar0/status/1819162249593840110

Erstens verfügt Gemini 1.5 Pro (0801) über eine leistungsstarke Funktion zum Extrahieren von Bildinformationen. Geben Sie beispielsweise ein Rechnungsbild ein und schreiben Sie die Rechnungsdetails im JSON-Format:

Werfen wir einen Blick auf die Funktion zum Extrahieren von PDF-Dokumentinhalten von Gemini 1.5 Pro (0801). Extrahieren Sie am Beispiel des klassischen Artikels „Attention Is All You Need“ das Kapitelverzeichnis des Artikels:

Lassen Sie Gemini 1.5 Pro (0801) ein Python-Spiel generieren, das beim Erlernen von LLM-Kenntnissen (Large Language Model) hilft und direkt einen gesamten Code generiert:

Erwähnenswert ist, dass Gemini 1.5 Pro (0801) auch detaillierte Codeerklärungen bietet, einschließlich der Rolle von Funktionen im Code, der Funktionsweise des Python-Spiels usw.

Dieses Programm kann direkt in Google AI Studio ausgeführt und ausprobiert werden, beispielsweise um Multiple-Choice-Fragen zur Definition von Tokenisierung zu beantworten:

Wenn Sie der Meinung sind, dass die Multiple-Choice-Fragen zu einfach und langweilig sind, können Sie Gemini 1.5 Pro (0801) außerdem ein komplexeres Spiel generieren lassen:

Holen Sie sich ein LLM-Expertise-Spiel zum Ausfüllen von Sätzen:

Um die Denkfähigkeit von Gemini 1.5 Pro (0801) zu testen, stellten Internetnutzer eine „Kerzenblasen“-Frage, aber das Modell antwortete falsch:

Trotz einiger Mängel weist Gemini 1.5 Pro (0801) visuelle Fähigkeiten auf, die denen von GPT-4o ähneln, sowie Codegenerierung und PDF-Verständnis- und Argumentationsfunktionen, die denen von Claude 3.5 Sonnet nahekommen, worauf es sich zu freuen lohnt.

https://www.youtube.com/watch?v=lUA9elNdpoY