Belegung

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Redaktion von Machine Heart

Karpathy: Tesla und OpenAI waren früher „Nebenjobs“, aber jetzt mache ich meinen „Vollzeitjob“.

Gerade hat Andrej Karpathy seine nächste Station auf der X-Plattform angekündigt: die Gründung eines Unternehmens für künstliche Intelligenz und Bildung namens Eureka Labs.

Ich freue mich, Ihnen mitteilen zu können, dass ich ein Unternehmen für künstliche Intelligenz und Bildung namens Eureka Labs gründe. Die Ankündigung lautet wie folgt:

Wir sind Eureka Labs und bauen eine neue KI-native Schule. Wie können wir die ideale Erfahrung beim Erlernen neuen Wissens erreichen? In der Physik können wir uns zum Beispiel vorstellen, hochwertiges Kursmaterial mit Feynman zu studieren, der Sie bei jedem Schritt begleitet. Leider sind auch die leidenschaftlichen, pädagogischen und unendlich geduldigen Fachexperten, die jede Sprache der Welt fließend beherrschen, zu knapp, um unseren 8 Milliarden Menschen auf Abruf persönlich Nachhilfe zu geben. Mit den jüngsten Fortschritten in der generativen künstlichen Intelligenz erscheint diese Art von Lernerfahrung jedoch erreichbar.

Die Verantwortung für die Gestaltung der Kursmaterialien liegt weiterhin bei den Lehrkräften, doch diese Materialien werden von KI-Assistenten unterstützt, genutzt und erweitert, die dafür optimiert sind, die Schüler durch die Materialien zu führen. Dieses symbiotische Modell aus „Lehrer + künstlicher Intelligenz“ kann den gesamten Kurs auf einer gemeinsamen Plattform abwickeln. Wenn es uns gelingt, kann jeder leicht etwas lernen und dadurch die Reichweite (eine große Anzahl von Menschen lernen etwas) und den Umfang (jede Person kann eine große Anzahl von Fächern lernen) der Bildung über das hinaus erweitern, was derzeit ohne Unterstützung möglich ist ). Unser erstes Produkt wird LLM101n sein, der weltweit beste Kurs für künstliche Intelligenz.

Hierbei handelt es sich um einen Grundstudiengang, der Studierende dabei unterstützt, ihre eigene künstliche Intelligenz zu trainieren, ähnlich einer abgespeckten Version eines KI-Lehrassistentenkurses. Die Kursmaterialien werden online verfügbar sein, wir planen jedoch auch, sowohl digitale als auch physische Kurse anzubieten. Heute arbeiten wir hart daran, den LLM101n zu bauen, aber wir freuen uns auf eine Zukunft, in der künstliche Intelligenz zu einer Schlüsseltechnologie zur Steigerung des menschlichen Potenzials wird.

Eureka Labs ist der Höhepunkt von mehr als zwei Jahrzehnten meiner Leidenschaft für künstliche Intelligenz und Bildung. Von Rubik's Cube-Tutorials auf YouTube über CS231n an der Stanford University bis hin zur aktuellen „Zero-to-Hero AI“-Reihe – mein Interesse an Bildung hat mich schon immer begleitet. Meine Arbeit im Bereich der künstlichen Intelligenz reicht von akademischer Forschung an der Stanford University über tatsächliche Produkte bei Tesla bis hin zur AGI-Forschung von OpenAI. Bisher waren alle meine Jobs in beiden Bereichen Teilzeitjobs, Nebenbeschäftigungen neben meinem „Tagesjob“. Deshalb freue ich mich darauf, mich darauf einzulassen und beruflich und hauptberuflich etwas Großartiges zu schaffen. Obwohl es noch am Anfang steht, wollte ich das Unternehmen bekannt geben, damit ich es öffentlich gründen kann, anstatt es als dunkles Geheimnis zu bewahren.

Andrej Karpathy hat viele Identitäten: Li Feifeis Schüler, OpenAI-Gründungsmitglied und Forschungswissenschaftler, Teslas ehemaliger KI-Seniordirektor und ein bekannter YouTube-Blogger „Learning Zone“.

Im Februar dieses Jahres gab Karpathy seinen Abschied von OpenAI bekannt und sagte: „Es gab keinen dramatischen Konflikt, ich wollte einfach mein eigenes persönliches Projekt ausprobieren.“ Seitdem ist sein nächster Schritt in den Mittelpunkt der öffentlichen Aufmerksamkeit gerückt.

Dies erinnert uns an einen anderen bekannten KI-Wissenschaftler, Andrew Ng. Als Gründer des Google Brain-Projekts und ehemaliger Chefwissenschaftler von Baidu gründete Andrew Ng gemeinsam mit seiner Stanford-Professorin Daphne Koller die Online-Bildungsplattform Coursera. Vielleicht haben alle großen Köpfe, die sich mit theoretischer Forschung beschäftigen, einen Bildungstraum im Herzen.

Neues Unternehmen konzentriert sich auf KI+Bildung

Das erste Produkt von Eureka Labs ist der Bachelor-Kurs LLM101n, der Studenten dabei helfen soll, ihre eigenen KI-Modelle zu trainieren.

Im Juni hat Andrej Karpathy lediglich das LLM101n-Vorlesungsverzeichnis auf GitHub hochgeladen und es wurde schnell ein Hit.

Konkret beginnt LLM101n mit der Vermittlung der Grundlagen der Sprachmodellierung und des maschinellen Lernens und geht dann zu Multimodalität, RLHF und Modellbereitstellung über. Ziel ist es, ein großes Storyteller-KI-Modell (LLM) zu erstellen und KI zum Erstellen, Verbessern und Verwenden von KI zu verwenden illustrieren Sie Kurzgeschichten, die alles von den Grundlagen bis hin zu einer funktionierenden Webanwendung wie ChatGPT abdecken und Projekte von Grund auf mit Python, C und CUDA mit minimalen Informatikvoraussetzungen erstellen. Dieser Kurs vermittelt den Studierenden ein relativ tiefgreifendes Verständnis von KI, LLM und Deep Learning.

Derzeit, drei Wochen nach dem Hochladen, hat das LLM101n-Projekt 17.000 Sterne erhalten.

Unter Karpathys offiziellem Beitrag zur Ankündigung des neuen Unternehmens sandte Google-Chefwissenschaftler Jeff Dean seine aufrichtigen Segenswünsche.

Im Kommentarbereich erklärte Karpathy auch den Ursprung des Namens Eureka Labs: Eureka (aus dem Altgriechischen) ist ein gutes Gefühl, nachdem man etwas verstanden hat, als ob etwas im Gehirn Klick gemacht hätte. Ihr Ziel ist es, diese Momente in den Herzen der Menschen zu wecken. Der Grund für das Hinzufügen von Labs zum Namen ist: Eureka wurde von anderen als einzelnes Wort verwendet (ein von Netflix entwickeltes Service Discovery Framework) und er wollte schon immer ein Labor ...

Derzeit hat das Unternehmen ein offizielles Twitter- und GitHub-Repository eröffnet.

GitHub-Adresse: https://github.com/EurekaLabsAI

Aktive Persönlichkeiten im Bereich KI

Persönliche Homepage: https://karpathy.ai/

Von 2005 bis 2009 studierte Andrej Karpathy an der University of Toronto in Kanada mit den Hauptfächern Informatik und Physik und Nebenfach Mathematik. Hier kam er zum ersten Mal mit Deep Learning in Kontakt und hörte sich Hintons Kurse an.

Von 2009 bis 2011 absolvierte Karpathy sein Masterstudium an der University of British Columbia in Kanada. Sein Betreuer war Professor Michiel van de Panne vom Fachbereich Informatik. Er studierte hauptsächlich maschinelles Lernen für agile Roboter in physikalischen Simulationen.

Von 2011 bis 2016 studierte Dr. Karpathy an der Stanford University und studierte bei dem berühmten KI-Wissenschaftler Li Feifei, wobei er sich auf die Erforschung von Faltungs-/rekurrenten neuronalen Netzen und deren Anwendungen in der Computer Vision, der Verarbeitung natürlicher Sprache und bereichsübergreifenden Bereichen konzentrierte. Während dieser Zeit entwarf und fungierte er als Hauptdozent für Stanfords ersten Deep-Learning-Kurs „CS231n: Convolutional Neural Networks and Visual Recognition“.

Mittlerweile gibt es in Karpathy auch drei Praktikanten. Im Jahr 2011 absolvierte er in der Anfangsphase ein Praktikum bei Google Brain und arbeitete an groß angelegtem unbeaufsichtigtem Lernen per Video. Später im Jahr 2013 absolvierte er erneut ein Praktikum bei Google Research und arbeitete an groß angelegtem überwachtem Lernen von YouTube-Videos. Im Jahr 2015 absolvierte er ein Praktikum bei DeepMind und nahm am Deep Reinforcement Learning-Team teil.

Derzeit hat Karpathys Artikelzitate auf Google Scholar 66.426 erreicht. Darunter ist sein Artikel „Large-scale Video Classification with Convolutional Neural Networks“, der am zweithäufigsten zitierte und sein erster Autor, der in CVPR 2014 Oral aufgenommen wurde.

Karpathy ist Gründungsmitglied und Forschungswissenschaftler bei OpenAI. Etwas mehr als ein Jahr nach der Gründung von OpenAI, im Jahr 2017, nahm Karpathy Musks Einladung an, sich Tesla anzuschließen, und ersetzte Chris Lattner, den damaligen Leiter von Teslas Autopilot und Vater von Apples Swift-Sprache und dem LLVM-Compiler.

Fünf Jahre lang hat Karpathy im Alleingang die Entwicklung von Autopilot vorangetrieben. Als Tesla langsam vom anfänglichen autonomen Fahren auf das breitere Feld der künstlichen Intelligenz expandierte, wurde Karpathy auch zum Senior Director of AI bei Tesla befördert und berichtete direkt an Musk.

Leidenschaft für Bildung

Tatsächlich hatte Karpathy bereits bei früheren beruflichen Veränderungen Interesse daran bekundet, „in die Bildungsbranche einzusteigen“.

Karpathy verließ Tesla im Juli 2022. In einem Folgeinterview sagte er, es sei eine schwierige Entscheidung gewesen. Obwohl Tesla das autonome Fahren noch nicht vollständig implementiert hat, konnte das Forschungs- und Entwicklungsteam die Entwicklung selbst vorantreiben. Dieser Rücktritt gab ihm auch die Gelegenheit, seine Liebe zu künstlicher Intelligenz, Open Source und Bildung zu überdenken.

Acht Monate nach seinem Ausscheiden aus dem Job, im Februar 2023, kündigte Karpathy an, dass er wieder zu OpenAI wechseln werde. Während dieser Zeit arbeitete Karpathy neben der Fertigstellung der Forschungsarbeit zu OpenAI auch an einigen persönlichen Projekten, darunter der Aufnahme von Lehrvideos, der Entwicklung eines Open-Source-Projekts über Llama 2 – llama2.c usw.

Nach dem internen Kampf bei OpenAI im Februar dieses Jahres trat Karpathy erneut von OpenAI zurück und arbeitete an einigen Open-Source-Kursen.

Jetzt habe ich mich offiziell der Bildungskarriere verschrieben, die ich liebe. Wir können davon ausgehen, dass Karpathy weitere hervorragende Kursressourcen in den KI-Bereich einbringen wird.

Weitere Informationen zu Karpathys Kursprojekten finden Sie unter Erweiterte Lektüre.