Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Herausgeber: Asia Oriole, Big Pan Chicken, Du Wei

Der Streit zwischen Open Source und Closed Source dauert schon lange und könnte nun einen neuen Höhepunkt erreicht haben.

Wenn es um Open-Source-Großmodelle geht, ist die Llama-Serie seit ihrer Geburt ein typischer Vertreter. Ihre hervorragende Leistung und Open-Source-Funktionen haben die Anwendbarkeit und Zugänglichkeit der Technologie der künstlichen Intelligenz erheblich verbessert. Jeder Forscher und Entwickler kann davon profitieren und Forschung und Anwendungen breiter verbreiten.

Jetzt ist Meta Llama 3.1 405B offiziell veröffentlicht. Im offiziellen Blog sagte Meta: „Bis heute sind große Open-Source-Sprachmodelle hinsichtlich Funktionalität und Leistung meist hinter geschlossenen Modellen zurückgeblieben. Jetzt läuten wir eine neue Ära ein, die von Open Source angeführt wird.“

Gleichzeitig schrieb Meta-Gründer und CEO Zuckerberg persönlich einen langen Artikel, in dem er allen Entwicklern, Meta und der Welt die Bedeutung von Open Source erläuterte. Er sagte, dass Open Source eine notwendige Voraussetzung für die positive Entwicklung der KI sei. Am Beispiel der Entwicklung von Unix und Linux wird Open-Source-KI Innovation, Datenschutz und Kosteneffizienz fördern.

Er glaubt auch, dass das Open-Source-Llama-Modell ein vollständiges Ökosystem schaffen kann, um den technologischen Fortschritt sicherzustellen und keine Vorteile durch den Wettbewerb zu verlieren. Meta blickt auf eine erfolgreiche Open-Source-Geschichte zurück und hofft, durch Open-Source-KI-Modelle die Gleichstellung und sichere Anwendung globaler Technologie zu fördern.

Ursprünglicher Link: https://about.fb.com/news/2024/07/open-source-ai-is-the-path-forward/

Das Folgende ist der Originalinhalt:

Zuckerberg injiziert Open-Source-Gene in Meta

In den Anfängen des Hochleistungsrechnens investierten große Technologieunternehmen stark in die Entwicklung ihrer eigenen Closed-Source-Versionen von Unix. Damals war es schwer, sich eine andere Möglichkeit vorzustellen, solch fortschrittliche Software zu entwickeln.

Open-Source-Linux erfreute sich jedoch nach und nach großer Beliebtheit: Zunächst, weil es Entwicklern erlaubte, den Code frei zu ändern, und weil es erschwinglicher war. Später wurde es jedoch fortschrittlicher, sicherer und verfügte über ein breiteres Ökosystem als jedes Closed-Source-Unix und unterstützte viele Funktionen. Heute ist Linux die branchenübliche Grundlage für Cloud Computing und das Betriebssystem, auf dem die meisten mobilen Geräte laufen, und jeder profitiert von seinen überlegenen Produkten.

Ich glaube, dass die Entwicklung der künstlichen Intelligenz einen ähnlichen Verlauf nehmen wird.Heutzutage entwickeln einige Technologieunternehmen führende Closed-Source-Modelle, aber Open Source schließt die Lücke schnell.

Letztes Jahr war der Llama 2 nur mit einem Generation älteren Modell vergleichbar. Und in diesem Jahr konkurriert das Llama 3 in einigen Bereichen bereits mit den führenden Modellen der Branche oder übertrifft sie sogar. Wir gehen davon aus, dass die künftigen Llama-Modelle ab dem nächsten Jahr die fortschrittlichsten Großmodelle der Branche sein werden. Auch in Sachen Offenheit, Modifizierbarkeit und Kosteneffizienz war Llama führend.

Heute gehen wir den nächsten Schritt – wir machen Open-Source-KI zum Industriestandard. Wir haben das erste hochmoderne Open-Source-KI-Modell Llama 3.1 405B sowie verbesserte Versionen der Modelle Llama 3.1 70B und 8B veröffentlicht. Im Vergleich zu Closed-Source-Modellen sind diese Open-Source-Modelle deutlich kostengünstiger, insbesondere der Open-Source-Charakter des 405B-Modells, was es zur besten Wahl für die Feinabstimmung und Destillation kleiner Modelle macht.

Zusätzlich zur Veröffentlichung dieser Modelle arbeiten wir auch mit mehreren Unternehmen zusammen, um das breitere Ökosystem zu erweitern. Amazon, Databricks und Nvidia bringen komplette Servicepakete auf den Markt, die es Entwicklern ermöglichen, ihre eigenen Modelle zu verfeinern und zu destillieren. Innovatoren wie Groq haben für alle neuen Modelle kostengünstige Inferenzdienste mit geringer Latenz entwickelt.

Diese Modelle werden auf allen wichtigen Cloud-Plattformen verfügbar sein, einschließlich AWS, Azure, Google, Oracle und anderen. Scale.AI, Dell, Deloitte und andere sind bereits bereit, Unternehmen bei der Einführung von Llama zu unterstützen und benutzerdefinierte Modelle mithilfe ihrer eigenen Daten zu trainieren. Während die Community wächst und immer mehr Unternehmen neue Dienste entwickeln, können wir gemeinsam Llama zum Branchenstandard machen und allen die Vorteile der KI zugänglich machen.

Meta engagiert sich für Open-Source-KI. Hier sind die Gründe, warum Open-Source meiner Meinung nach die beste Entwicklungsplattform ist, warum Open-Source-Llama gut für Meta ist und warum Open-Source-KI gut für die Welt ist und es noch lange geben wird .

Open-Source-KI für Entwickler

Wenn ich mit Entwicklern, CEOs und Regierungsbeamten auf der ganzen Welt spreche, höre ich normalerweise einige Themen:

• Wir müssen unsere eigenen Modelle trainieren, verfeinern und destillieren. Jede Organisation hat unterschiedliche Anforderungen, die am besten durch den Einsatz von Modellen erfüllt werden, die in unterschiedlichen Maßstäben und mit spezifischen Daten trainiert oder verfeinert werden. Geräteinterne Aufgaben und Klassifizierungsaufgaben erfordern kleine Modelle, während komplexere Aufgaben große Modelle erfordern. Jetzt können Sie hochmoderne Llama-Modelle verwenden, sie weiterhin anhand Ihrer eigenen Daten trainieren und sie dann auf die Modellgröße destillieren, die Ihren Anforderungen am besten entspricht – ohne dass wir oder jemand anderes Ihre Daten sieht.
• Wir müssen unser eigenes Schicksal kontrollieren und dürfen uns nicht von Closed-Source-Anbietern „einsperren“ lassen. Viele Organisationen möchten sich nicht auf ein Modell verlassen, das sie nicht selbst verwalten und kontrollieren können. Sie möchten nicht, dass Anbieter von Closed-Source-Modellen das Modell ändern, die Nutzungsbedingungen ändern oder den Dienst sogar ganz einstellen können. Sie möchten auch nicht an eine einzige Cloud-Plattform mit exklusiven Rechten für ihre Modelle gebunden sein. Open Source ermöglicht ein breites Ökosystem kompatibler Toolchains, zwischen denen Sie problemlos wechseln können.
• Wir müssen unsere Daten schützen. Viele Organisationen verarbeiten sensible Daten, die geschützt werden müssen und nicht über Cloud-APIs an ein Closed-Source-Modell gesendet werden können. Einige Organisationen vertrauen den Anbietern von Closed-Source-Modellen ihre Daten einfach nicht an. Open Source löst diese Probleme, da es Ihnen ermöglicht, das Modell überall auszuführen, wo Sie möchten. Es ist bekannt, dass Open-Source-Software sicherer ist, weil der Entwicklungsprozess transparenter ist.
• Wir brauchen ein Modell, das effizient und wirtschaftlich ist.Entwickler können Llama 3.1 405B auf ihrer eigenen Infrastruktur für Inferenzen zu etwa 50 % der Kosten für die Verwendung von Closed-Source-Modellen (wie GPT-4) ausführen, geeignet für benutzerseitige und Offline-Inferenzaufgaben.
• Wir wollen in Ökosysteme investieren, die langfristig zum Standard werden.Viele sehen eine schnellere Weiterentwicklung von Open Source als geschlossene Modelle und möchten ihre Systeme auf einer Architektur aufbauen, die langfristig die größten Vorteile bietet.

Open-Source-KI für Meta

Das Geschäftsmodell von Meta besteht darin, die besten Erlebnisse und Dienstleistungen für Menschen zu schaffen. Um dies zu erreichen, müssen wir sicherstellen, dass wir immer Zugriff auf die beste Technologie haben und nicht in ein geschlossenes Ökosystem von Wettbewerbern eingebunden sind, sodass diese unsere Entwicklung nicht einschränken können.

Ich möchte eine wichtige Erfahrung teilen: Obwohl Apple uns erlaubt, Inhalte auf seiner Plattform zu erstellen, sind wir immer noch begrenzt, wenn es um die Erstellung von Diensten geht. Ob es um die Steuern geht, die sie Entwicklern auferlegen, um die willkürlichen Regeln, die sie auferlegen, oder um all die Produktinnovationen, die sie verhindern: Wenn wir die beste Version unseres Produkts entwickeln können, ist es klar, dass die Konkurrenz nicht einschränken kann, was wir entwickeln, Meta und viele andere Unternehmen werden in der Lage sein, den Menschen bessere Dienstleistungen anzubieten. Auf philosophischer Ebene ist dies ein wichtiger Grund, warum ich so stark an den Aufbau eines offenen Ökosystems für die nächste Computergeneration in den Bereichen KI und AR/VR glaube.

Ich werde oft gefragt, ob ich befürchte, dass ich durch die Open-Sourcing-Lösung von Llama technische Vorteile verliere, aber ich denke, dass dies aus mehreren Gründen das Gesamtbild verfehlt:

Um sicherzustellen, dass wir langfristig die Technologieführerschaft behalten und nicht an ein Closed-Source-Ökosystem gebunden sind, muss sich Llama zunächst zu einem vollständigen Ökosystem entwickeln, das Tools, Effizienzverbesserungen, Hardwareoptimierungen und andere Integrationen umfasst. Wenn unser Unternehmen das einzige Unternehmen wäre, das Llama verwendet, würde das Ökosystem nicht wachsen und wir wären nicht besser dran als mit Closed-Source-Varianten von Unix.

Zweitens erwarte ich, dass die KI-Entwicklung weiterhin hart umkämpft sein wird, was bedeutet, dass uns die offene Bereitstellung eines Modells zu einem bestimmten Zeitpunkt keinen großen Wettbewerbsvorteil gegenüber dem nächstbesten Modell einbüßt.Der Weg von Llama zum Industriestandard besteht darin, Generation für Generation wettbewerbsfähig, effizient und offen zu bleiben.

Drittens besteht ein wesentlicher Unterschied zwischen Meta- und Closed-Source-Modellanbietern darin, dass der Verkauf des Zugangs zu KI-Modellen nicht unser Geschäftsmodell ist. Das bedeutet, dass die öffentliche Veröffentlichung von Llama unseren Umsatz, unsere Nachhaltigkeit oder unsere Fähigkeit, in die Forschung zu investieren, nicht beeinträchtigt, während dies bei Closed-Source-Anbietern der Fall wäre. (Dies ist einer der Gründe, warum einige Closed-Source-Anbieter Lobbyarbeit bei öffentlichen Verwaltungen gegen Open Source betrieben haben.)

Schließlich verfügt Meta über eine Fülle erfolgreicher Erfahrungen mit Open-Source-Projekten. Wir haben Milliarden von Dollar gespart, indem wir unsere Server-, Netzwerk- und Rechenzentrumsdesigns mit dem Open Compute Project geteilt und die Lieferkette standardisiert haben. Durch die Open-Source-Bereitstellung führender Tools wie PyTorch, React und mehr profitieren wir stark von Innovationen im Ökosystem. Dieser Ansatz ist seit langem äußerst effektiv.

Open-Source-KI für die Welt

Ich glaube, dass Open Source für die Zukunft der KI notwendig ist. KI hat mehr Potenzial als jede andere moderne Technologie, die menschliche Produktivität, Kreativität und Lebensqualität zu steigern, die medizinische und wissenschaftliche Forschung voranzutreiben und gleichzeitig das Wirtschaftswachstum zu beschleunigen.Open Source wird dafür sorgen, dass mehr Menschen auf der ganzen Welt von der Entwicklung der KI profitieren und Chancen nutzen können, dass die Macht nicht in den Händen einiger weniger Unternehmen konzentriert wird und dass Technologie in der gesamten Gesellschaft gleichmäßiger und sicherer eingesetzt werden kann.

Es gibt eine anhaltende Debatte über die Sicherheit von Open-Source-KI-Modellen. Mein Punkt ist, dass Open-Source-KI sicherer ist als die Alternativen. Ich denke, dass die Regierungen irgendwann zu dem Schluss kommen werden, dass sie Open Source unterstützen, weil es die Welt wohlhabender und sicherer machen wird.

Ich verstehe, dass wir im Rahmen des Sicherheitsrahmens vor zwei Arten von Schaden schützen müssen: unbeabsichtigten und absichtlichen Schaden.

• Unbeabsichtigter Schaden bezieht sich auf die Möglichkeit, dass ein KI-System während des Betriebs unbeabsichtigt Schaden anrichten kann. Beispielsweise können moderne KI-Modelle versehentlich falsche Gesundheitsratschläge geben. Oder es besteht in Zukunftsszenarien die Sorge, dass Modelle sich unbeabsichtigt replizieren oder Ziele überoptimieren könnten, zum Nachteil des Menschen.
• Vorsätzlicher Schaden liegt vor, wenn böswillige Akteure ein KI-Modell mit der Absicht nutzen, Schaden anzurichten.

Es ist erwähnenswert, dass unbeabsichtigter Schaden die meisten Bedenken der Menschen in Bezug auf KI abdeckt – von den Auswirkungen von KI-Systemen auf Milliarden von Benutzern bis hin zu den wahrhaft katastrophalen Science-Fiction-Szenarien. In diesem Zusammenhang ist die Sicherheit, die Open Source bietet, umso bedeutsamer, da das System transparenter und umfassender überprüfbar ist.

Aus diesem Grund war Open-Source-Software in der Vergangenheit sicherer. Ebenso kann die Verwendung von Llama und seinen Sicherheitssystemen wie Llama Guard sicherer und zuverlässiger sein als ein Closed-Source-Modell. Daher konzentrieren sich die meisten Diskussionen über die Sicherheit von Open-Source-KI auf vorsätzlichen Schaden.

Unser Sicherheitsprozess umfasst strenge Tests und Red-Team-Bewertungen, um zu überprüfen, ob unsere Modelle das Potenzial haben, materiellen Schaden anzurichten, mit dem Ziel, Risiken vor der Veröffentlichung zu mindern. Da diese Modelle Open Source sind, kann jeder sie selbst testen. Wir müssen bedenken, dass diese Modelle auf Informationen trainiert werden, die bereits im Internet verfügbar sind. Daher sollte bei der Betrachtung von Schäden der Ausgangspunkt sein, ob das Modell mehr Schaden anrichten kann als Informationen, die schnell von Google oder anderen Suchergebnissen erhalten werden.

Überlegungen zum vorsätzlichen Schaden wären hilfreich, wenn man unterscheiden würde, was einzelne oder kleine Akteure tun können, und was große Akteure mit enormen Ressourcen, wie zum Beispiel Staaten, tun können.

Irgendwann in der Zukunft könnten einzelne böswillige Akteure die Intelligenz von KI-Modellen nutzen, um aus bereits im Internet verfügbaren Informationen neue Arten von Schaden zu verursachen. An diesem Punkt ist das Kräfteverhältnis entscheidend für die KI-Sicherheit.

Ich denke, es wäre besser, in einer Welt zu leben, in der KI weit verbreitet ist und es großen Akteuren ermöglicht, ein Gegengewicht zu kleinen böswilligen Akteuren zu bilden. Auf diese Weise verwalten wir auch die Sicherheit in sozialen Netzwerken, wobei leistungsfähigere KI-Systeme weniger anspruchsvolle Akteure identifizieren und blockieren, die häufig kleinere KI-Systeme verwenden.

Im weiteren Sinne werden große Institutionen zur Sicherheit und Stabilität der Gesellschaft beitragen, wenn sie KI in großem Maßstab einsetzen. Solange jeder Zugang zu einem Generationenmodell hat, können Regierungen und Institutionen mit mehr Rechenressourcen ein Gegengewicht zu böswilligen Akteuren mit weniger Rechenressourcen haben.

Denken Sie bei der Betrachtung zukünftiger Möglichkeiten daran, dass die meisten der heute führenden Technologieunternehmen und wissenschaftlichen Forschungen auf Open-Source-Software basieren. Wenn wir gemeinsam in Open-Source-KI investieren, wird die nächste Generation von Unternehmen und Forschung Zugang dazu haben. Dazu gehören Start-ups, die gerade erst anfangen, sowie Menschen an Universitäten und in Ländern, die möglicherweise nicht über die Ressourcen verfügen, SOTA AI von Grund auf zu entwickeln.

Zusammengenommen stellt Open-Source-KI den größtmöglichen globalen Einsatz dieser Technologie dar, um wirtschaftliche Chancen und Sicherheit für alle zu schaffen.

Die Zusammenarbeit ist stabil, Open Source weitreichend

In früheren Llama-Modellen hat Meta diese Modelle für die eigene Entwicklung freigegeben, ohne sich auf den Aufbau eines breiteren Ökosystems zu konzentrieren. Für diesen Start haben wir einen anderen Ansatz gewählt. Wir bauen intern Teams auf, um Llama möglichst vielen Entwicklern und Partnern zur Verfügung zu stellen, und bauen aktiv Partnerschaften auf, damit mehr Unternehmen im Ökosystem ihren Kunden einzigartige Funktionen anbieten können.

Ich glaube, dass die Veröffentlichung von Llama 3.1 ein Wendepunkt in der Branche sein wird und die meisten Entwickler anfangen werden, Open-Source-Technologie zu nutzen, und ich gehe davon aus, dass dieser Ansatz mit unserem Open Source beginnen wird.

Ich hoffe, dass wir zusammenarbeiten können, um die Vorteile der KI der Welt zugänglich zu machen.

Auf diese Modelle können Sie jetzt unter llama.meta.com zugreifen.

Mark Zuckerberg