2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
스마트한 것들(공개 계정:지드엑스컴）
엮다바닐라
편집하다리 슈이칭
Google DeepMind의 오픈소스 소규모 모델 제품군이 새로운 구성원을 환영합니다!
Zhidongzhi는 8월 1일 이른 아침에 Google DeepMind가 경량 모델인 Gemma 2 2B를 오픈소스로 공개했다고 보도했습니다. 대형 모델 분야에서의 점수는 GPT-3.5 및 Llama 2 70B와 같은 더 큰 매개변수를 갖춘 모델을 능가했습니다.
▲젬마 2 2B
20억 개의 매개변수만으로 Gemma 2 2B는 휴대폰, PC 및 기타 단말 장치에서 쉽고 빠르게 실행할 수 있습니다. Google AI Studio에서 개발자가 실제 테스트한 결과 추론 속도는 30~40개 토큰/초에 이릅니다.
▲개발자 테스트 Gemma 2 2B
Gemma 2 2B와 함께 모델 해석성을 향상시키는 도구인 Gemma Scope와 유해 콘텐츠 필터링을 위한 보안 분류 모델인 ShieldGemma가 출시되었습니다.
Gemma Scope는 SAE(Sparse Autoencoder)를 기반으로 모델의 특정 지점을 증폭하고 JumpReLU 아키텍처를 사용하여 이를 최적화함으로써 모델에서 처리된 조밀하고 복잡한 정보를 구문 분석하는 데 도움을 주어 연구자가 모델을 "볼" 수 있도록 합니다. 내부 현미경.
ShieldGemma는 증오심 표현, 괴롭힘, 음란물 콘텐츠, 위험한 콘텐츠 등 4가지 위험 영역을 위해 제작되었으며 응답 테스트에서 GPT-4와 같은 벤치마크 모델을 능가합니다.
올해 2월 처음 출시된 Gemma 시리즈 모델은 Google DeepMind가 Gemini 모델의 경험을 바탕으로 구축한 오픈소스 모델입니다. 지난 6월 Google은 9B와 27B의 두 가지 매개변수 크기를 포함하는 2세대 오픈소스 모델인 Gemma 2를 출시했습니다. 그 중 27B 모델은 LMSYS 대형 모델 분야에서 오픈소스 모델의 선두로 빠르게 뛰어올랐습니다.
1. 35배의 매개변수를 가진 대형 모델을 물리치세요. Gemma 2와 비교해 문제가 없습니다.
Gemma 2 2B는 더 큰 모델을 개선한 것으로, 27B와 9B에 이어 Google이 출시한 세 번째 Gemma 2 모델입니다.
매개변수가 20억 개에 불과한 경량 모델인 Gemma 2 2B는 휴대성을 위해 성능을 희생하지 않습니다. LMSYS 대형 모델 아레나(챗봇 아레나) 순위에서 Gemma 2 2B는 1126점으로 GPT-3.5를 능가했고, Mixtral 8x7B와 Llama 2 70B 모델은 매개변수 규모의 수십 배에 달했습니다.
▲젬마2 2B의 대형모델 무대 결과
일부 네티즌들은 젬마 2 2B가 '전복'되는 9.9와 9.11 비율 문제를 여러 대형 모델에서 테스트했고, 젬마 2 2B는 빠르게 정답을 내놨다.
▲젬마2 2B 답변
경량 모델의 큰 장점은 주행 속도입니다. 정확히 얼마나 빠른가요? Apple 기계 학습 연구원 Awni Hannun은 iPhone 15 pro의 MLX Swift에서 Gemma 2 2B를 테스트한 결과 추론 속도가 눈에 띄게 빨랐습니다.
▲Gemma 2 2B 실행 속도
실제 테스트 후 개발자 Tom Huang은 Google AI Studio에서의 실행 속도가 약 30~40개 토큰/초로 "Apple 모델보다 빠르다"고 말했습니다.
배포 측면에서 Gemma 2 2B는 유연한 배포 방법을 제공하며 Vertex AI 기반의 엣지 디바이스, 노트북 또는 클라우드 배포를 포함한 다양한 하드웨어에서 효율적으로 실행할 수 있습니다.
개발자는 연구 및 상업용 애플리케이션을 위해 Hugging Face 및 Kaggle과 같은 플랫폼에서 Gemma 2 2B의 모델 가중치를 다운로드하거나 Google AI Studio에서 해당 기능을 시험해 볼 수 있습니다.
오픈 소스 주소:
https://huggingface.co/google/gemma-2-2b
둘,GPT-4보다 더 나은 응답률로 4가지 유형의 콘텐츠에 대한 분류기를 구축합니다.
모델의 보안과 접근성을 향상시키기 위해 Google은 AI 모델의 입력 및 출력을 필터링하는 데 사용되는 Gemma 2를 기반으로 구축된 보안 콘텐츠 분류 모델 세트인 ShieldGemma를 출시했습니다. Google의 책임 있는 AI 툴킷의 기존 모델 보안 분류자 제품군에 추가되었습니다.
▲ShieldGemma의 작동 원리
ShieldGemma는 증오심 표현, 괴롭힘, 음란물 콘텐츠, 위험한 콘텐츠 등 4가지 유해 영역을 위해 제작되었으며 2B, 9B, 27B를 비롯한 다양한 요구 사항을 충족할 수 있는 다양한 모델 크기를 제공합니다. 그중 2B 매개변수 모델은 온라인 분류 작업에 적합한 반면, 9B 및 27B 버전은 오프라인 애플리케이션에 더 높은 성능을 제공하는 데 사용됩니다.
외부 데이터 세트에 대한 평가 결과에서 ShieldGemma는 OpenAI Mod 및 GPT-4와 같은 기본 모델을 능가했습니다.
▲ShieldGemma 평가 결과
ShieldGemma의 기술 보고서도 동시에 공개되어 모델의 구축 방법, 데이터 소스 및 효율성을 설명했습니다. 4가지 유형의 유해 콘텐츠에 대한 응답 테스트에서 ShieldGemma의 3가지 척도 응답률이 GPT-4보다 우수했습니다.
▲ShieldGemma 반응 테스트
기술 보고서 주소:
https://storage.googleapis.com/deepmind-media/gemma/shieldgemma-report.pdf
삼,제로 코드로 모델 동작을 분석하기 위한 대형 모델 내부의 "현미경"
언어 모델의 내부 작동 원리를 연구하기 위해 Google은 포괄적이고 개방적인 희소 자동 인코더인 Gemma Scope를 출시했습니다. 이는 현미경처럼 작동하여 연구원들이 모델 내부를 "볼" 수 있도록 도와 모델의 작동 방식을 더 잘 이해할 수 있습니다.
Gemma Scope는 SAE(Sparse Autoencoders)를 사용하여 모델의 특정 지점을 증폭하여 모델에서 처리된 조밀하고 복잡한 정보를 구문 분석하고 이해하기 쉬운 형식으로 확장합니다.
▲SAE 해석을 사용한 모델 활성화의 양식화된 표현
이러한 확장된 관점을 연구함으로써 연구자들은 Gemma 2가 어떻게 패턴을 인식하고, 정보를 처리하고, 궁극적으로 예측을 하는지 이해하고, 더 쉽게 이해하고 더 신뢰할 수 있는 AI 시스템을 구축하는 방법을 탐색할 수 있습니다.
이전에 SAE에 대한 연구는 주로 소형 모델이나 대형 모델에서 단일 레이어의 내부 작동을 연구하는 데 중점을 두었습니다. Gemma Scope의 획기적인 점은 Gemma 2 모델의 각 레이어와 하위 레이어 출력에 대해 SAE를 교육한다는 것입니다. 400개 이상의 SAE를 생성하고 3천만 개 이상의 기능을 학습했습니다.
▲Gemma Scope의 SAE 검색 기능 활성화 예시
Gemma Scope는 훈련을 위해 새로운 JumpReLU SAE 아키텍처도 사용합니다. 원래 SAE 아키텍처에서는 어떤 기능이 존재하는지 감지하고 해당 기능의 강도를 추정하는 두 가지 목표의 균형을 맞추는 것이 어렵습니다. JumpReLU 아키텍처는 이러한 균형을 보다 쉽게 달성하여 오류를 크게 줄일 수 있습니다.
Gemma Scope는 Gemma 2 2B 및 9B의 모든 계층을 포괄하는 총 400개 이상의 무료 SAE를 공개했으며, 연구원은 코드를 작성하지 않고도 SAE 특성을 연구하고 모델 동작을 분석할 수 있습니다.
▲Gemma Scope 대화형 시연
데모 주소:
https://www.neuronpedia.org/gemma-scope
기술 보고서 주소:
https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf
결론: 생성적일체 포함작은 모형 쪽으로 바람이 불고일체 포함안전
생성 AI 개발 이후 모델은 '볼륨' 매개변수와 '볼륨' 규모에서 이제 '볼륨' 경량화 및 '볼륨' 보안으로 전환되었습니다. 이는 기술 구현 과정에서 사용자에게 더 가깝고, 더 낮은 수준임을 반영합니다. 비용이 절감되고 특정 요구사항을 더 잘 충족할 수 있습니다.
AI PC와 AI 휴대폰이 점차 소비자의 삶 속으로 들어오고 있는 가운데, 대형 모델을 소형 단말 장치에 담으면서도 사용자 개인 정보 보호와 보안을 보장하는 방법은 주요 AI 제조업체가 해결해야 할 시급한 문제입니다.
