소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

새로운 지혜 보고서

편집자: 타오지(Taozi)

[새로운 지혜 소개] Llama 3.1 405B 짐승이 오픈 소스로 제공되는 동안 OpenAI가 다시 각광을 받았습니다. 이제부터 9월 23일까지 매일 200만 개의 훈련 토큰을 사용하여 모델을 무료로 미세 조정합니다.

Llama 3.1이 오픈소스로 공개된 같은 날 OpenAI도 오픈되었습니다.

GPT-4o mini는 무료로 미세조정이 가능하며, 2개월이라는 한정된 시간 동안 매일 200만 개의 트레이닝 토큰을 사용할 수 있습니다(9월 23일 기준).

메일을 받은 개발자들은 이렇게 큰 양털을 하루라도 빨리 수확해야 한다고 신이 나서 서로 이야기를 나눴습니다.

한편, 대형 모델 분야 LMSYS에서의 GPT-4o mini 순위도 나왔습니다.

전체 목록에서는 GPT-4o mini와 GPT-4o가 공동 1위를 차지했습니다.

알트만은 "어떤 평가를 받고 이렇게 흥분한 적이 없었다. GPT-4o mini의 성능은 GPT-4o와 너무나 비슷하고 가격은 1/20에 불과하다"고 신이 났다.

동시에 그는 GPT-4o mini의 미세 조정이 이제 온라인에 있다고 말했습니다.

OpenAI가 모든 사람이 무료로 사용할 수 있는 강력한 모델을 출시할 수 있다는 것은 정말 예상치 못한 일입니다.

한때 네티즌들은 이것이 가장 발전된 피싱 이메일일지도 모른다고 생각했습니다.

하루 200만개 토큰, GPT-4o mini 무료 미세 조정

이메일에서 OpenAI는 특정 사용 사례에서 최신 소형 모델의 성능을 향상시키기 위해 GPT-4o 미니 미세 조정 기능을 공식 출시했다고 발표했습니다.

7월 23일부터 9월 23일까지 개발자는 매일 200만 개의 훈련 토큰을 무료로 사용할 수 있습니다.

초과분은 USD 300만 토큰으로 청구됩니다.

2개월의 무료 사용 기간이 만료된 후에는 미세 조정 훈련에도 토큰당 300만 달러의 비용이 청구됩니다.

또한 OpenAI는 모든 사람이 GPT-3.5 Turbo에서 GPT-4o mini로 전환하는 것이 가치 있는 이유를 이메일에 제시했습니다.

- 더욱 저렴함: GPT-4o mini의 입력 토큰 수수료는 GPT-3.5 Turbo보다 ​​90% 낮고, 출력 토큰 수수료는 80% 낮습니다. 무료 기간이 종료된 후에도 GPT-4o mini의 훈련 비용은 GPT-3.5 Turbo의 절반 수준입니다.

- 더 긴 컨텍스트: GPT-4o mini의 트레이닝 컨텍스트 길이는 65k 토큰으로 GPT-3.5 Turbo의 4배이며, 추론 컨텍스트 길이는 128k 토큰으로 GPT-3.5 Turbo의 8배입니다.

- 더 스마트하고 더 많은 기능: GPT-4o mini는 GPT-3.5 Turbo보다 ​​더 똑똑하고 시각적 기능을 지원합니다(미세 조정은 현재 텍스트로 제한되어 있음).

마지막으로 이메일에서는 GPT-4o 미니 미세 조정 기능이 기업 고객은 물론 Tier 4 및 Tier 5 개발자에게도 공개될 것이며 향후 모든 수준의 사용자에게 액세스 권한이 점차 확대될 것이라고 언급했습니다.

실습을 원하는 분들을 위해 OpenAI는 미세 조정 가이드를 공개했습니다. 다음을 참조하세요.

https://platform.openai.com/docs/guides/fine-tuning/fine-tuning-examples

일부 네티즌들은 이에 대해 낙관적이지 않습니다. 그들은 AI 모델을 훈련하고 개선하기 위해 데이터를 저장하고 있습니다.

"일명, 귀하의 개인 데이터를 저에게 주시면 소액의 수수료를 청구하겠습니다."

네티즌 활용 사례

자격을 취득한 네티즌들은 빨리 테스트를 시작하고 싶어합니다.

개발자는 Economist 스타일의 헤드라인 데이터세트를 사용하여 gpt-4o mini를 미세 조정했습니다.

그런 다음 그는 헤드라인 생성 시 gpt-4o, gpt-4o min 원본 모델과 미세 조정 모델의 성능을 비교했습니다.

GPT-4o와 비슷한 소형 모델이 목록을 지배합니다.

GPT-4o mini 출시 일주일 만에 드디어 대형 모델 순위 결과가 나왔습니다.

총 4K+ 사용자 투표를 받았고, GPT-4o 미니 모델은 GPT-4o와 공동 1위를 차지하며 곧바로 목록의 1위에 올랐습니다.

가장 중요한 것은 가격이 20배 저렴하다는 것입니다!

이는 더 저렴한 비용으로 더 강력한 애플리케이션을 구축할 수 있는 많은 개발자에게 좋은 소식입니다.

수학 부문에서는 GPT-4o mini의 성능이 하락해 9위를 기록했다.

또한, 하드 프롬프트 평가에서도 GPT-4o mini는 GPT-4o와 Claude 3.5 Sonnet에 이어 두 번째로 안정적인 성능을 유지했습니다.

코딩 분야에서도 GPT-4o mini는 강력한 성능을 보여줍니다.

많은 사람들이 GPT-4o mini가 아레나에서 왜 그렇게 높은 순위를 차지하는지에 대해 의문을 제기했습니다.

이에 대한 공식적인 설명은 다음과 같습니다.

- 챗봇 아레나는 다양한 영역에서 인간의 선호도를 기반으로 평가됩니다. 전체 순위뿐만 아니라 각 항목(예: 수학, 코딩 등)의 순위도 팔로우하는 것이 좋습니다.

- 아레나 평가는 실시간으로 이루어집니다. 모든 사람은 Arena에서 직접 모델을 비교하고 실시간으로 가정을 검증하는 것이 좋습니다.

- 투명성은 우리의 핵심 가치입니다. 모든 코드와 분석은 오픈 소스(http://github.com/lm-sys/FastChat)입니다. 우리는 과적합을 방지하고 벤치마크의 무결성을 유지하기 위해 정기적으로 데이터의 20%를 공개하고 나머지 데이터를 유지합니다.

- 정책에 따라 GPT-4o 미니전투 데이터를 20% 랜덤 공개하며, 답변을 직접 확인하실 수 있습니다.

그러나 다른 네티즌들은 gpt-4o-mini의 승리가 일반인들이 그다지 똑똑하지 않다는 실질적인 증거라고 믿고 있습니다.

그리고 역사상 처음으로 AI가 우리를 속일 만큼 똑똑해졌습니다. 약간 미쳤고 약간 역사적인 것입니다.

참고자료:

https://x.com/moyix/status/1815840634013639086

https://x.com/HamelHusain/status/1815848198927434019

https://x.com/sama/status/1815877987696533897

https://x.com/0xSMW/status/1815869241205350641