2024-08-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
작성자: 마 쉬에웨이(Ma Xuewei)
"슈퍼바디"에서 뇌를 자극하기 위해 약물을 사용하는 것부터 사이버펑크 문화에서 전자 간섭을 사용하여 뇌 공간을 침범하는 것까지, 인간은 인간의 뇌 조작 가능성에 대해 많은 환상을 가져왔습니다. 상상해보자,인간이 실제로 인간 뇌의 모든 뉴런을 직접 조작할 수 있다면 어떨까요?
그때쯤이면 인간은 특정 물체를 인식하는 데 있어 이러한 뉴런의 역할을 직접적으로 이해할 수 있게 될 것이며 희망적으로는 매우 "공상과학적인" 일을 할 수 있을 것입니다.
실제 생활에서 이러한 실험은 인간의 뇌에서는 구현하기가 거의 불가능하지만 인공신경망에서는 가능합니다. 그러나 모델에는 종종 수백만 개의 뉴런이 포함되어 있고 너무 크고 복잡하며 이해하는 데 많은 인력이 필요하기 때문에 대규모 모델을 이해하는 것은 매우 어려운 작업입니다.
이를 위해 MIT 컴퓨터 과학 및 인공 지능 연구소(MIT CSAIL) 연구팀은 신경 모델을 사용하여 모델 이해 작업을 자동으로 수행하는 시스템인 MAIA 또는 "다중 모드 자동 해석 가능 에이전트”。
MAIA는 사전 훈련된 시각적 언어 모델을 사용하여 신경 모델 이해 작업을 자동화합니다.모듈식 설계를 통해 MAIA는 다음을 수행할 수 있습니다.모든 시스템을 평가하고 새로운 실험 도구를 쉽게 추가할 수 있는 유연성 . 또한 복잡한 실험을 자동화하고, 반복적인 실험 방법을 사용하여 가설을 테스트하고, 실험 결과를 기반으로 가설을 업데이트할 수 있습니다.
버클리 캘리포니아 대학교 조교수인 Jacob Steinhardt는 이러한 방법을 확장하는 것이 인공 지능 시스템을 이해하고 안전하게 감독하는 가장 중요한 방법 중 하나일 수 있다고 믿습니다. 그러나 연구팀은 이렇게 믿고 있다.향상된 MAIA는 인공 지능 시스템에 대한 인간의 감독을 대체하지 않습니다. . MAIA에서는 확증 편향, 이미지 생성/편집 실패 등의 오류를 감지하기 위해 여전히 사람의 감독이 필요합니다.
기존의 자동화된 해석 방법은 단순히 데이터에 레이블을 지정하거나 시각화하는 반면 MAIA는 가설을 생성하고 이를 테스트하기 위한 실험을 설계하며 반복 분석을 통해 이해도를 높일 수 있습니다. 사전 훈련된 VLM(시각 언어 모델)을 해석 도구 라이브러리와 결합함으로써 이 다중 모달 접근 방식은 모델별 대상 실험을 작성 및 실행하여 사용자 쿼리에 응답할 수 있으며, 포괄적인 답변을 제공할 수 있을 때까지 접근 방식을 지속적으로 개선할 수 있습니다.
MAIA 프레임워크의 핵심은 다른 시스템의 동작을 설명하기 위해 자동으로 실험을 수행할 수 있는 사전 훈련된 다중 모드 모델(예: GPT-4V)에 의해 구동되는 에이전트입니다. 이는 해석 가능한 서브루틴을 Python 프로그램에 결합하여 수행됩니다.
그림 | MAIA 아키텍처
연구팀은 뉴런 설명 패러다임에 대해 MAIA를 평가했는데, 이 연구는 MAIA가 기본 방법보다 우수하고 인간 전문가와 비교할 수 있는 예측 기능을 통해 실제 모델과 합성 뉴런 데이터 세트 모두에서 탁월한 설명 효과를 달성했음을 보여주었습니다.
그림 | 평가 MAIA 설명
또한 MAIA는 잘못된 기능을 제거하고 편향을 드러내는 데 있어 우수한 응용 가능성을 보여 주므로 인간 사용자가 모델 동작을 더 잘 이해하고 모델 성능과 공정성을 향상시키는 데 도움이 될 수 있습니다.
MAIA를 사용하여 가짜 기능 제거
잘못된 기능은 실제 시나리오에서 모델의 견고성에 영향을 미칠 수 있습니다. MAIA는 모델의 허위 특징을 식별하고 제거하여 모델의 견고성을 향상시킬 수 있습니다. 연구팀은 ResNet-18을 사용하여 서로 다른 배경을 가진 4가지 개 품종이 포함된 Spawrious 데이터 세트를 훈련했습니다.
데이터 세트에서 각 개 품종은 특정 배경(예: 눈, 정글, 사막, 해변)과 허위로 연관되어 있는 반면, 테스트 세트에서는 품종-배경 쌍이 혼란스럽습니다. 연구팀은 MAIA를 사용하여 단순히 사용자 프롬프트에서 쿼리를 변경함으로써 가짜 특징과 관계없이 개별 개 품종을 확실하게 예측할 수 있는 최종 계층 뉴런의 하위 집합을 찾았습니다.
결과는 MAIA가 모델에서 가짜 특징을 효과적으로 제거하여 모델의 견고성을 향상시킬 수 있음을 보여줍니다.
MAIA를 사용하여 편견 발견
모델에는 특정 상황에서 성능이 저하되는 편향이 있을 수 있습니다. 그리고 MAIA는 모델의 편향을 자동으로 드러낼 수 있습니다. 연구팀은 ResNet-152를 사용하여 ImageNet을 훈련하고 MAIA를 사용하여 모델 출력의 편향을 확인했습니다.
실험 중에 MAIA는 특정 카테고리와 관련된 이미지를 생성하라는 메시지를 받고 이러한 이미지에 대한 모델의 반응을 관찰했습니다. 나중에 MAIA는 일부 모델이 특정 하위 카테고리나 특정 카테고리와 관련된 이미지를 선호한다는 사실을 발견했습니다.
이는 MAIA가 모델의 편향을 식별하고 이를 개선하는 데 도움이 될 수 있음을 보여줍니다.
그림 | MAIA 모델 편향 감지
MAIA는 자동 해석 가능성에서 큰 잠재력을 보여주지만 여전히 몇 가지 제한 사항이 있습니다.
첫째, MAIA의 설명 능력은 Stable Diffusion 및 GPT-4와 같이 사용하는 도구에 의해 제한됩니다. 이러한 도구의 제한 사항(예: 이미지 생성 품질, 비용, 액세스 제한)은 MAIA 성능에 직접적인 영향을 미칩니다. 앞으로는 보다 강력한 내부 도구를 개발하거나 시스템의 안정성과 접근성을 향상시키기 위한 오픈 소스 대안을 찾는 것을 고려할 수 있습니다.
둘째, MAIA의 설명은 형식적인 검증이 아닌 실험 결과와 자연어 기술을 기반으로 한다. 이로 인해 편향되거나 오해의 소지가 있는 해석이 발생할 수 있습니다. 앞으로는 설명의 정확성과 신뢰성을 높이기 위해 형식적 검증 방법(예: 인과 추론, 이론적 분석)을 MAIA에 통합하는 것이 고려될 수 있습니다.
게다가 MAIA는 확증 편향, 과잉 해석, 작은 표본 결론 등과 같은 일반적인 오류를 완전히 피할 수 없습니다. 향후에는 MAIA가 자체 오류를 식별 및 수정하고 해석의 견고성을 향상시킬 수 있도록 자체 반성 메커니즘의 도입을 고려할 수 있습니다.
논문의 공동 저자인 Rott Shaham은 다음과 같이 말했습니다. "우리 연구실의 자연스러운 다음 단계는 인공 시스템을 넘어 이러한 유사한 실험을 인간의 인식에 적용하는 것입니다. 전통적으로 이를 위해서는 수동으로 자극을 설계하고 테스트해야 했습니다. , 이는 노동 집약적인 프로세스입니다. 에이전트를 사용하면 이 프로세스를 확장하고 동시에 많은 수의 자극을 설계하고 테스트할 수 있습니다."
