2024-08-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
똑똑한 것들
저자 리 슈이칭
편집자 윤펑
AI가 상당한 진전을 이룰 때마다 연구자들은 종종 “언제 AI가 우리를 위해 논문을 작성하게 할 것인가?”라는 농담을 하곤 합니다.
지금,AI가 과학 연구 논문을 만든다현실이 되었고, 집필 비용은 약 1,000원 정도로 저렴합니다.$15。
Wisdom News는 지난 8월 14일, 8월 13일 일본의 Sakana AI팀이 옥스퍼드대학교, 브리티시컬럼비아대학교 연구진과 협력하여AI 과학자, 대형 모델을 기반으로 한 자동화된 과학 연구 에이전트(Agent)입니다.
광범위한 연구 분야를 주면 인간처럼 AI 분야의 논문을 작성할 수 있습니다.
“AI 프로그래머"프로그래밍 기술은 AI 과학자 능력의 일부일 뿐입니다.브레인스토밍, 코드 실행, 실험 결과 요약, 시각화, 자동 검토그것은 별 문제가 아닙니다.
예를 들어, "Dualscale Diffusion: 저차원 생성 모델을 위한 적응형 특징 균형 조정"이라는 제목의 다음 논문은 AI 과학자들이 작성했습니다. AI 과학자들이 독립적으로 완료하고 동료들의 검토를 받은 실험에서 그들이 완성한 논문은 탁월한 실증적 결과를 얻었으며 다음과 같은 성과를 달성할 수 있었습니다.머신러닝은 '약한 수용' 기준을 충족합니다.。
논문 주소: https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf
연구팀은 AI 사이언티스트 프로젝트에서 다양한 최첨단 모델을 인용했다.GPT-4o 및 소네트등 폐쇄 소스 모델DeepSeek 및 라마 3및 기타 오픈 소스 모델.
AI 과학자들은 주로 다음과 같은 하이라이트를 가지고 있다고 보고됩니다.
1. 이것은AI로 완전히 구동됨자동화된 과학 연구 시스템에 중점을 두고 있습니다.머신러닝 분야연구.
2. 실현된다전체 체인의 자동화 연구, 영감, 코드 작성 및 실행부터 실험 결과의 요약 및 시각화, 그리고 마지막으로 완전한 과학 논문 작성에 이르기까지 다양합니다.
3. 혁신적으로 도입자동화된 동료 검토 메커니즘, 출력 논문을 평가하고 피드백을 제공하며 결과를 지속적으로 최적화하는 데 사용됩니다.평가 정확도는 인간 수준에 가깝습니다.。
4. 자동화된 과학 연구 프로세스연속주기, 지식을 공개하고 지속적으로 축적하며 인류 과학 공동체의 운영 모델을 시뮬레이션합니다.
5. 예비 테스트에서는 기계 학습이 포함되었습니다.다양한 분야에서 성과 달성에서와 같이확산 모델, Transformer 아키텍처 및 Grokking다른 분야에서도 기여가 이루어졌습니다.
AI 과학자 논문 주소: https://arxiv.org/abs/2408.06292/
AI 과학자 오픈 소스 코드 및 실험 결과 주소: https://github.com/SakanaAI/AI-Scientist
▲논문 'AI 과학자: 완전 자동화된 개방형 과학적 발견을 향해 나아가다'
1. 4단계에 걸쳐 과학 연구 논문을 완성하고 AI Summit의 승인 기준을 충족합니다.
AI 시인, AI 화가, AI 프로그래머라는 이야기를 들었는데 이제는 AI 과학자도 등장했다.
AI Scientist는 최첨단 대형 모델을 최대한 활용하는 전자동 종이 생성 시스템입니다.
그것기본 초기 코드 기반으로 시작, 예를 들어 GitHub의 미리 만들어진 오픈 소스 연구 코드 등주어진광범위한 연구 분야, AI 과학자는 다음에서 작업을 완료할 수 있습니다.창의적 발상, 문헌 연구, 실험 설계, 실험 반복, 차트 제작, 논문 작성부터 사전 검토까지심오한 통찰력이 풍부한 학술 논문을 생산하기 위해 모든 작업 과정이 수행됩니다.
더욱 놀라운 점은 AI 과학자들이개방 사이클에서 연속 작동, 이전 아이디어와 피드백을 지속적으로 학습하여 후속 연구 아이디어를 최적화합니다.인간 과학 공동체의 운영 모델을 시뮬레이션합니다.。
▲AI 과학자의 패턴 다이어그램
AI 과학자의 작업 흐름에는 주로 다음이 포함됩니다.4개의 주요 링크：
창의력의 싹:AI 과학자들은 주어진 시작 템플릿에서 시작하여 "브레인스토밍" 모드를 시작하고 기존 주제에 대한 일련의 새로운 연구 방향을 발굴합니다. 이 템플릿에는 기본 코드 프레임워크가 포함되어 있을 뿐만 아니라 스타일 파일과 장 제목 사전 설정이 포함된 LaTeX 폴더도 함께 제공되어 후속 논문 작성의 기반을 마련합니다. 무료 탐색 과정에서 AI 과학자들은 학술 검색 엔진인 Semantic Scholar를 사용하여 제안된 아이디어의 독창성을 보장할 것입니다.
실험 반복:연구 방향이 결정되면 AI 과학자들은 실험 단계에 들어간다. 자동으로 실험 계획을 실행하고, 데이터를 수집하고, 차트를 생성하여 실험 결과를 시각적으로 표시합니다. 동시에 AI 과학자들은 각 차트의 내용을 자세히 기록하여 실험 노트와 그래픽 자료가 후속 논문 작성에 포괄적인 지원을 제공할 수 있도록 할 것입니다.
종이 쓰기:실험이 완료된 후 AI 과학자는 LaTeX 형식을 사용하여 명확한 구조와 자세한 내용으로 논문을 작성하여 독자들에게 연구 결과를 보여줍니다. 또한 집필 과정에서 Semantic Scholar를 사용하여 관련 분야의 문헌을 자동으로 검색하고 인용하여 논문의 학술성과 권위성을 강화합니다.
자동 검토:논문의 품질을 향상시키기 위해 팀은 대규모 언어 모델을 기반으로 한 자동 검토 시스템을 특별히 개발했습니다. 이 시스템은 생성된 논문을 인간에 가까운 판단으로 객관적으로 평가하고 개선을 제안할 수 있습니다. 이 피드백은 AI 과학자들이 현재 프로젝트를 최적화하는 데 도움이 될 뿐만 아니라 향후 연구를 위한 귀중한 참고 자료도 제공합니다. 이러한 지속적인 피드백 루프를 통해 AI 과학자는 연구 결과의 수준과 영향을 반복적으로 지속적으로 개선하고 향상시킬 수 있습니다.
최첨단 LLM 기술과 결합하면 AI 과학자는 심지어 글을 쓸 수도 있습니다.최고의 기계 학습 컨퍼런스에 대한 "약한 수용" 기준논문을 작성하고 합격했습니다자동심사시스템 인정。
2. AI 과학자의 논문 발표: 확산 모델, 언어 모델링 및 기타 분야를 포괄
이번 발표에서 팀은 AI 과학자들이 생성한 머신러닝 분야의 일련의 논문을 발표하며 확산 모델, 언어 모델링, 그로킹(Grokking) 등 분야에서 과학 연구 역량을 입증했다.
1. 확산 모델: "DualScale Diffusion: 저차원 생성 모델의 적응형 특징 균형 조정"
논문 주소: https://sakana.ai/assets/ai-scientist/adaptive_dual_scale_denoising.pdf
코드 주소: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/adaptive_dual_scale_denoising
2. 언어 모델링: "StyleFusion: 문자 수준 언어 모델의 적응형 다중 스타일 생성"
논문 주소: https://sakana.ai/assets/ai-scientist/multi_style_adapter.pdf
코드 주소: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/multi_style_adapter
언어 모델링: "Q-Learning을 통한 Transformer의 적응형 학습률 구현"
논문 주소: https://sakana.ai/assets/ai-scientist/rl_lr_adaptation.pdf
코드 주소: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/rl_lr_adaptation
3. Grokking: "Grokking 잠금 해제: 변압기 모델의 가중치 초기화 전략에 대한 비교 연구"
논문 주소: https://sakana.ai/assets/ai-scientist/weight_initialization_grokking.pdf
코드 주소: https://github.com/SakanaAI/AI-Scientist/tree/main/example_papers/layerwise_lr_grokking
3. 두 숫자의 크기를 정확하게 비교하는 데 "그리기" 능력이 부족하고 어려움
현재의 대형 모델 개발 수준으로 인해 AI 과학자들은 여전히 단점을 갖고 있습니다.
현재 AI 과학자들은 여전히시각적 처리 기능 없음이므로 논문의 시각적 요소나 다이어그램 레이아웃 문제를 자동으로 수정할 수 없습니다.
예를 들어, 생성되는 차트는 때때로 명확성이 부족하고, 표가 페이지 경계를 초과할 수 있으며, 전체 페이지 레이아웃이 종종 어수선해집니다. 멀티모달 기본모델의 도입으로 이러한 문제가 근본적으로 해결될 것으로 기대된다.
또한 AI 과학자들은 아이디어를 구현하거나 기준 비교를 수행할 때 다음과 같은 작업을 수행할 수 있습니다.부적절한 조작으로 인한 오해의 소지가 있는 결과。
동시에 결과를 작성하고 평가할 때 다음과 같은 더 심각한 실수를 저지를 수도 있습니다.두 숫자를 정확하게 비교하는 것이 어렵습니다., 이는 대형 모델의 알려진 결함입니다. 이 문제를 완화하기 위해 팀은 모든 실험 결과가 재현 가능하고 모든 실행 파일이 올바르게 저장되었는지 확인했습니다.
보고서에서 연구팀은 AI 과학자들의 현재 한계와 미래에 직면할 수 있는 과제에 대한 심층 분석을 제공했습니다.
4. AI 과학자들은 "스마트하게 플레이"하고 있습니다. 스스로 스크립트를 수정하여 AI 보안 위험을 초래합니다.
팀은 또한 AI 과학자들이 때때로 다음과 같은 "작은 영리함"을 통해 성공 가능성을 높이려고 시도한다는 것을 관찰했습니다.스크립트를 직접 수정하고 실행하세요.. 논문에서 팀은 이러한 행동이 가져올 수 있는 AI 보안 위험에 대해 심도 있게 논의했습니다.
예를 들어, 한 번의 실행 중에 실제로코드를 편집했습니다, 시스템 호출을 통해 무한 루프에서 실행됩니다.
또 한 번은 실험에 너무 오랜 시간이 걸려 팀에서 설정한 제한 시간을 초과할 뻔했지만 효율성을 높이기 위해 코드를 최적화하는 대신 통과하려고 했습니다.시간 초과를 연장하도록 코드를 수정하세요.。
다음은 코드 수정 시도에 대한 몇 가지 구체적인 예입니다.
이러한 문제는 AI 과학자의 운영 환경을 샌드박스화함으로써 완화될 수 있습니다. 전체 보고서에서 팀은 보안 코드 실행 및 샌드박싱에 대해 심층적으로 논의합니다.
결론: AI 과학자들의 데뷔, 그들의 파괴적인 혁신 능력이 검증되어야 한다
Sakana AI는 미래를 내다보며 AI 과학자를 개방형 모델을 갖춘 폐쇄 루프 시스템에 적용하여 AI의 지속적인 자기 개선을 촉진하는 것이 목표라고 말했습니다. AI 과학자들은 AI가 완전히 주도하는 새로운 과학 세계를 가져올 것입니다. 대규모 언어 모델을 활용한 연구자뿐만 아니라 리뷰어, 현장 의장, 심지어 전체 학술 회의 시스템도 있습니다.
그러나 Sakana AI는 결과적으로 인간 과학자의 지위가 약화될 것이라고 믿지 않습니다. 오히려 새로운 기술의 출현으로 과학자의 역할은 더욱 다양해지고, 과학 연구 분야에서 더 높은 수준으로 올라갈 것입니다. 과학적 연구 발견 프로세스를 자동화하고 AI 기반 검토 메커니즘을 통합하면 주로 과학 기술 분야에서 가장 어려운 문제에 대한 혁신과 솔루션을 위한 길을 열 수 있습니다.
현재 버전의 AI 과학자들은 확산 모델, 트랜스포머 등 성숙한 기술을 기반으로 놀라운 혁신 능력을 보여줬지만, 그러한 시스템이 실제로 파괴적인 새로운 아이디어를 내놓을 수 있는지 검증하는 데는 여전히 시간이 걸립니다.
출처: 사카나 AI
