소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

새로운 지혜 보고서

편집자: LRST

[새로운 지혜 소개] UrbanGPT는 시공간 의존성 인코더와 명령어 미세 조정 기술을 결합하여 다양한 도시 작업에서 탁월한 일반화 기능과 예측 정확도를 입증하는 혁신적인 시공간 대규모 언어 모델입니다. 이 기술은 대량의 레이블이 지정된 데이터에 대한 기존 모델의 의존성을 깨고 데이터가 부족한 경우에도 정확한 예측을 제공하며 도시 관리 및 계획에 대한 강력한 지원을 제공합니다.

시공간 예측 기술은 시간의 변화에 ​​주목하는 것뿐만 아니라 공간적 배치까지 고려하여 역동적인 도시 환경을 심층적으로 분석하고 예측하는 기술입니다. 이 기술은 교통, 이주, 범죄율 등 도시 생활의 다양한 측면에서 미래 동향과 패턴을 밝히는 것을 목표로 합니다. 많은 연구가 시공간 데이터 예측의 정확성을 향상시키기 위해 신경망을 활용하는 데 중점을 두고 있지만, 이러한 방법은 일반적으로 신뢰할 수 있는 시공간 특징을 생성하기 위해 많은 양의 훈련 데이터가 필요합니다.

그러나 실제 도시 모니터링 시나리오에서는 데이터가 부족한 경우가 많으며, 특히 레이블이 지정된 데이터를 수집하기가 매우 어려워져 문제가 더욱 악화되는 경우도 있습니다. 따라서 다양한 시공간적 맥락에 적응할 수 있고 강력한 일반화 기능을 갖춘 모델을 개발하는 것이 특히 중요합니다.

여러 분야에서 대규모 언어 모델(LLM)의 상당한 발전에 영감을 받아 홍콩 대학교, 남중국 공과 대학교 및 기타 기관의 연구원들은 시공간 종속 인코더와 명령 미세 제어를 결합한 새로운 시공간 대규모 언어 모델 UrbanGPGT를 출시했습니다. 튜닝 기술을 결합하여 도시 작업에 광범위하게 적용할 수 있는 시공간적으로 큰 언어 모델을 개발하는 것이 목표입니다.

프로젝트 링크: https://urban-gpt.github.io/

코드 링크: https://github.com/HKUDS/UrbanGPT

논문 링크: https://arxiv.org/abs/2403.00813

비디오 디스플레이: https://www.bilibili.com/video/BV18K421v7ut

이 조합을 통해 모델은 시간과 공간의 복잡한 관계를 깊이 이해할 수 있으며 데이터가 제한되어 있는 경우 보다 포괄적이고 정확한 예측을 제공할 수 있습니다.

이 접근 방식의 효율성을 테스트하기 위해 우리는 다양한 시공간 예측 작업과 관련된 여러 공개 데이터 세트에 대한 광범위한 실험을 수행합니다. 실험 결과에 따르면 UrbanGPT는 성능 면에서 기존 최고 모델보다 지속적으로 우수한 것으로 나타났습니다. 이러한 결과는 데이터에 레이블이 덜 지정되어 있을 때 시공간 학습을 위해 대규모 언어 모델을 활용할 수 있는 큰 잠재력을 보여줍니다.

개요

기존 과제

C1. 레이블이 지정된 데이터의 부족 및 높은 재교육 비용:기존 시공간 신경망은 예측 정확도 측면에서 우수한 성능을 발휘하지만 대량의 레이블이 지정된 데이터에 크게 의존합니다.

실제 도시 모니터링 환경에서 데이터 부족은 중요한 장애물입니다. 예를 들어, 교통 흐름이나 대기 질을 모니터링하기 위해 도시 전역에 센서를 배포하는 것은 비용 문제로 인해 비현실적입니다. 또한, 기존 모델은 새로운 지역 또는 도시 예측 작업에 직면할 때 충분한 일반화 기능이 부족한 경우가 많으며 효과적인 시공간적 특징을 생성하기 위해 재교육이 필요합니다.

C2. 대규모 언어 모델과 기존 시공간 모델은 제로 샘플 시나리오에서 일반화 기능이 부족합니다. 그림 2에서 볼 수 있듯이 대규모 언어 모델 LLaMA는 입력 텍스트를 기반으로 트래픽 패턴을 추론할 수 있습니다. 그러나 복잡한 시공간 종속성을 갖는 수치 시계열 데이터를 처리할 때 예측 오류가 발생하는 경우가 있습니다.

동시에 사전 훈련된 기본 모델은 시공간 종속성을 인코딩하는 데는 좋은 성능을 발휘하지만 소스 데이터 세트에 대한 과적합으로 인해 제로 샷 시나리오에서는 성능이 저하될 수 있습니다.

C3. 대규모 언어 모델의 추론 기능을 시공간 예측 분야로 확장합니다. 시공간 데이터의 고유한 특성과 대규모 언어 모델에 인코딩된 지식 사이에는 상당한 차이가 있습니다. 이러한 차이를 어떻게 좁히고, 광범위한 도시 업무에서 뛰어난 일반화 능력을 갖춘 시공간적 대규모 언어 모델을 구축할 것인가는 해결해야 할 중요한 문제이다.

그림 1: LLM 및 시공간 그래프 신경망과 비교하여 UrbanGPT는 제로 샘플 시나리오에서 더 나은 예측 성능을 제공합니다.

기존 과제

(1) 우리가 아는 한, 이는 특히 제한된 훈련 데이터를 사용하여 여러 데이터 세트에 걸쳐 다양한 도시 현상을 예측할 수 있는 시공간적으로 큰 언어 모델을 생성하려는 첫 번째 시도입니다.

(2) 본 논문에서는 대규모 언어 모델이 시간과 공간 사이의 복잡한 연결을 깊이 이해할 수 있도록 하는 UrbanGPT라는 시공간 예측 프레임워크를 소개합니다. 시공간 의존성 인코더와 명령어 미세 조정 기술을 긴밀하게 결합함으로써 시공간 정보가 언어 모델에 효과적으로 통합됩니다.

(3) 실제 데이터세트에 대한 광범위한 실험을 통해 제로샷 시공간 학습 환경에서 UrbanGPT의 탁월한 일반화 기능이 검증되었습니다. 이러한 결과는 시공간 패턴을 예측하고 이해하는 데 있어 모델의 효율성을 보여줄 뿐만 아니라 샘플이 부족함에도 불구하고 정확한 예측을 제공할 수 있는 능력을 보여줍니다.

방법

그림 2: UrbanGPT 전체 프레임워크

시공간 의존성 인코더

대규모 언어 모델이 언어 텍스트 처리에서 놀라운 성공을 거두었지만 시공간 데이터의 시간적 변화와 동적 패턴을 구문 분석하는 데 여전히 어려움을 겪고 있습니다.

이 문제를 해결하기 위해 본 연구에서는 시공간적 맥락에서 시간적 순서 종속성을 포착하는 대규모 언어 모델의 능력을 향상시키기 위해 시공간적 의존성 인코더를 통합함으로써 혁신적인 접근 방식을 제안합니다.

구체적으로 우리가 설계한 시공간 인코더는 두 가지 핵심 구성 요소로 구성됩니다. 하나는 게이트 확산 컨볼루션 레이어이고 다른 하나는 다중 레벨 상관 주입 레이어입니다.

위의 공식은 원본 시공간 데이터에서 얻은 초기화 시공간 임베딩입니다. Er'은 Er의 조각으로, 그래디언트 소멸을 완화하기 위해 잔여 작업을 수행하는 데 사용됩니다.

우리는 시간적 상관관계를 인코딩하기 위해 1차원 확산 컨볼루션을 사용합니다.

시그모이드 활성화 함수 δ는 다층 컨볼루션 연산에서 정보 보유 정도를 제어하는 ​​데 사용됩니다.

게이트된 시간 확장 컨벌루션 레이어로 처리한 후 여러 연속 시간 단계 내에서 시계열 종속성을 정확하게 캡처하여 풍부한 시간적 특징 표현을 생성할 수 있습니다. 이러한 표현은 여러 수준의 시간적 종속성을 다루며 다양한 세분성 수준에서 시간적 진화 패턴을 나타냅니다.

이 시간 정보를 완전히 보존하기 위해 서로 다른 수준 간의 상호 연결을 캡처하고 통합하도록 특별히 설계된 다중 수준 상관 관계 주입 계층을 도입합니다.

그 중에는 L 레이어의 인코딩 과정을 거친 후 간단한 선형 레이어를 사용하여 게이트 확산 콘볼루션 레이어와 다중 레벨 상관 주입 레이어의 출력을 통합하고 최종적으로 시공간 의존성을 생성하는 형식의 콘볼루션 커널이 있습니다. 기능 표현.

다양한 도시 장면에서 발생할 수 있는 복잡한 상황에 대처하기 위해 본 논문에서 설계한 시공간 인코더는 공간적 상관관계를 처리할 때 특정 그래프 구조에 의존하지 않습니다. 제로샷 예측 환경에서는 엔터티 간의 공간적 연결을 알 수 없거나 예측하기 어려운 경우가 많기 때문입니다. 이러한 설계를 통해 UrbanGPT는 광범위한 도시 애플리케이션 시나리오에서 적용 가능성과 유연성을 유지할 수 있습니다.

시공간 명령 미세 조정 프레임워크

시공간 데이터-텍스트 정렬

언어 모델이 시공간 역학을 깊이 이해할 수 있도록 하려면 텍스트 콘텐츠와 시공간 데이터의 일관성을 보장하는 것이 중요합니다. 이러한 일관성을 통해 모델은 여러 데이터 유형을 통합하고 더욱 풍부한 데이터 표현을 생성할 수 있습니다. 텍스트 콘텐츠를 시공간 영역의 맥락적 특징과 결합함으로써 모델은 보완적인 정보를 캡처할 수 있을 뿐만 아니라 더 높은 수준의 표현력이 풍부한 의미론적 특징을 추출할 수 있습니다.

이를 달성하기 위해 이 논문에서는 시공간 의존성 표현을 투영하기 위해 경량 정렬 모듈을 채택합니다.

투영 작업은 선형 레이어 매개변수를 사용하여 수행됩니다. 여기서 dL은 대규모 언어 모델에서 일반적으로 사용되는 숨겨진 차원을 나타냅니다. 결과 투영은 명령어의 특수 마커( , ,..., , )로 표시됩니다. 여기에는 시공간 정보의 시작과 끝을 표시하는 데 사용되는 특수 기호가 있으며 어휘를 확장하여 대규모 언어 모델에 통합할 수 있습니다.

자리 표시자는 숨겨진 레이어의 벡터 H에 해당하는 시공간 레이블을 나타냅니다. 이 기술을 사용하여 모델은 시공간 종속성을 식별할 수 있으며, 이는 도시 환경에서 시공간 예측 작업을 수행하는 능력을 크게 향상시킵니다.

시간과 공간 프롬프트 지침

시공간 예측을 수행할 때 시간 데이터와 공간 데이터 모두 핵심 의미 정보를 포함하며, 이는 모델이 특정 상황에서 시공간 패턴을 포착하는 데 매우 중요합니다.

예를 들어, 아침과 피크 시간대에는 교통 흐름이 크게 변하며 상업 지역과 주거 지역에 따라 교통 패턴이 다릅니다. 따라서 시공간적 예측 작업에 시간과 공간 정보를 프롬프트 텍스트로 도입하면 모델의 예측 효과를 크게 향상시킬 수 있습니다. 우리는 이 정보를 처리하기 위해 텍스트 이해에 있어 대규모 언어 모델의 전문 지식을 활용합니다.

UrbanGPT의 아키텍처에서는 대규모 언어 모델에 대한 명령 입력으로 다양한 세분성의 시간 데이터와 공간 세부 정보를 통합합니다. 시간 정보는 일주일 단위의 날짜와 특정 시점을 나타내고, 공간 정보에는 그림 3과 같이 도시 지역, 행정 구역, 주변 관심 지점(POI)이 포함됩니다.

이러한 다양한 요소를 통합함으로써 UrbanGPT는 복잡한 시공간 배경에서 다양한 지역과 기간의 시공간 역학을 심층적으로 식별하고 이해할 수 있으므로 제로 샘플 상황에서 추론 능력을 향상시킬 수 있습니다.

그림 3: 시간 및 위치 인식 정보를 인코딩하는 시공간적 신호 명령

대규모 언어 모델을 위한 시공간 교육 미세 조정

시공간적으로 예측된 ​​텍스트 설명을 생성하기 위해 LLM(대형 언어 모델)을 미세 조정하는 명령을 사용할 때 두 가지 주요 과제가 있습니다. 한편, 시공간 예측은 일반적으로 자연어 처리의 언어 모델이 잘하는 의미론적 및 구문론적 관계와 구조 및 패턴이 다른 수치 데이터를 기반으로 합니다.

반면, LLM은 일반적으로 사전 훈련 단계에서 단어를 예측하기 위해 다중 분류 손실 함수를 사용하여 단어의 확률 분포를 생성하는 반면, 시공간 예측 작업에는 연속 값의 출력이 필요합니다.

이러한 문제를 극복하기 위해 UrbanGPT는 혁신적인 접근 방식을 취합니다. 미래의 시공간 값을 직접 예측하지는 않지만 보조 예측 마커를 생성합니다. 그런 다음 이러한 마커는 모델의 숨겨진 레이어 표현을 보다 정확한 예측으로 변환하는 회귀 레이어를 통해 처리됩니다. 이 접근 방식을 통해 UrbanGPT는 시공간 예측을 보다 효율적으로 수행할 수 있습니다.

위 수식에서 예측 표시의 숨겨진 표현은 으로 표현되며, 여기서 예측 표시는 LLM 어휘를 확장하여 도입할 수 있습니다. W1, W2, W3은 회귀층의 가중치 행렬이고, [⋅,⋅]는 접합 연산입니다.

실험

제로 샘플 예측 성능

같은 도시 내 보이지 않는 지역에 대한 예측

지역 간 예측에서는 동일한 도시 내 특정 지역의 데이터를 사용하여 모델이 적용되지 않은 다른 지역의 미래 상황을 예측합니다. 이러한 지역 간 예측 작업에서 모델 성능에 대한 심층 분석을 통해 다음 사항에 주목합니다.

(1) 제로 샘플 예측 능력이 뛰어납니다. 표 1의 데이터는 다양한 데이터 세트에 대한 회귀 및 분류 작업에서 기본 모델을 뛰어넘는 제안된 모델의 탁월한 성능을 보여줍니다. UrbanGPT의 뛰어난 성능은 주로 두 가지 핵심 요소에 기인합니다.

i) 시공간 데이터-텍스트 정렬. 시공간적 문맥 신호를 언어 모델의 텍스트 이해 기능과 일치시키는 것은 모델의 성공에 매우 중요합니다. 이러한 통합을 통해 모델은 시공간 신호에서 인코딩된 도시 동적 정보를 최대한 활용하는 동시에 이를 대규모 언어 모델의 텍스트 컨텍스트에 대한 깊은 이해와 결합하여 제로 샘플 시나리오에서 모델의 예측 기능을 확장할 수 있습니다.

ii) 시공간 지침의 미세 조정. 적응형 조정을 통해 LLM은 지침의 주요 정보를 보다 효과적으로 흡수하고 공간과 시간 요소 간의 복잡한 관계에 대한 이해를 향상시킬 수 있습니다. 시공간 명령 미세 조정과 시공간 종속 인코더를 결합함으로써 UrbanGPT는 보편적이고 전달 가능한 시공간 지식을 성공적으로 유지하고 제로 샘플 시나리오에서 정확한 예측을 달성합니다.

(2) 도시 의미론에 대한 심층적인 이해. 도시 의미론은 공간과 시간의 속성에 대한 깊은 통찰력을 제공합니다. 여러 데이터 세트에서 모델을 훈련함으로써 다양한 기간과 지리적 위치에 따른 시공간 역학에 대한 이해가 향상됩니다.

대조적으로, 전통적인 기준 모델은 일반적으로 지역, 기간 및 데이터 유형 간의 의미적 차이를 무시하면서 시공간 종속성 인코딩에 더 중점을 둡니다. 풍부한 의미 정보를 UrbanGPT에 통합함으로써 보이지 않는 영역에서 정확한 제로 샷 예측 기능을 크게 향상시킵니다.

(3) 희박한 데이터 환경에서 예측 성능을 향상시킵니다. 희박한 데이터 포인트가 있는 환경에서 시공간 패턴을 예측하는 것은 어려운데, 주로 이러한 상황에서 모델이 과적합되는 경향이 있기 때문입니다. 예를 들어 범죄 예측과 같은 시나리오에서는 데이터가 희박한 경우가 많아 기본 모델이 지역 간 예측 작업에서 제대로 작동하지 않고 재현율이 낮아 과적합 문제가 있을 수 있음을 시사합니다.

이러한 문제를 해결하기 위해 우리 모델은 시공간 학습과 대규모 언어 모델을 결합하고 효과적인 시공간 교육 미세 조정 방법을 통해 이를 최적화하는 혁신적인 전략을 채택합니다. 이 접근 방식은 풍부한 의미 정보를 통합하여 시공간 데이터를 이해하고 표현하는 모델의 능력을 향상시켜 희소 데이터를 보다 효과적으로 처리하고 예측 정확도를 크게 향상시킬 수 있습니다.

표 1: 지역 간 제로 샘플 예측 시나리오 성능 비교

도시 간 예측 작업

여러 도시에 걸쳐 모델의 예측 능력을 테스트하기 위해 실험적 검증을 위해 시카고 택시 데이터 세트를 선택했습니다. (이 데이터 세트는 훈련 단계에서 사용되지 않았습니다.) 그림 4에서 볼 수 있듯이, 테스트 결과는 모든 시점에서 모델이 비교 방법보다 더 나은 성능을 나타내는 것으로 나타났으며, 이는 도시 간 지식 전달에서 UrbanGPT의 효율성을 입증합니다.

시공간 인코더와 시공간 명령어 미세조정 기술을 결합함으로써 모델은 보편성과 특수성이 공존하는 시공간 법칙을 포착해 보다 정확한 예측을 할 수 있다. 또한 모델은 다양한 지리적 위치, 시간 요인 및 학습된 지식 전달을 종합적으로 고려하여 다양한 기능 영역 및 역사적 기간의 시공간 패턴을 연결할 수 있습니다. 이러한 포괄적인 시공간적 이해는 도시 간 시나리오에서 정확한 제로샷 예측을 위한 핵심 통찰력을 제공합니다.

그림 4: 도시 간 제로 샘플 예측 시나리오 성능 비교

일반적인 지도 예측 작업

이 장에서는 완전 감독 예측 환경에서 UrbanGPT의 성능에 중점을 둡니다. 특히, 긴 시간 범위의 테스트 데이터 세트를 사용하여 장기 시공간 예측 작업에서 모델의 효과를 평가합니다. 예를 들어, 모델은 2017년 데이터를 사용하여 학습되고 2021년 데이터에서 테스트됩니다.

테스트 결과에 따르면 UrbanGPT는 장기 예측 작업에서 기준 모델보다 훨씬 뛰어난 성능을 보여 장기 예측을 처리할 때 뛰어난 일반화 능력을 강조합니다. 이 기능을 사용하면 빈번한 재교육이나 증분 업데이트의 필요성이 줄어들어 모델이 실제 애플리케이션 시나리오에 더 적합해집니다. 또한 실험 결과는 추가 텍스트 정보를 도입해도 모델 성능에 영향을 미치지 않을 뿐만 아니라 노이즈도 발생하지 않음을 확인하여 시공간 예측 작업을 향상시키기 위해 대규모 언어 모델을 사용하는 것의 효율성을 더욱 입증합니다.

표 2: 엔드투엔드 지도 설정에서의 예측 성능 평가

절제 실험

(1) 시공간적 맥락의 중요성: STC. 지침 텍스트에서 시공간 정보가 제거되면 모델의 성능이 저하되었습니다. 이는 시간 정보가 부족하기 때문에 모델이 시공간 인코더에만 의존하여 시간 관련 특징을 처리하고 예측 작업을 수행하기 때문일 수 있습니다. 동시에, 공간 정보가 부족하면 공간 상관 관계를 포착하는 모델의 능력이 제한되어 다양한 지역의 시공간 패턴을 분석하기가 더 어려워집니다.

(2) 다중 데이터 세트 명령 미세 조정의 효과: 다중. 우리는 NYC-taxi 데이터 세트에서만 모델을 훈련합니다. 다른 도시 지표에 대한 정보가 부족하면 도시의 시공간 역학을 드러내는 모델의 능력이 제한됩니다. 따라서 모델의 성능이 좋지 않습니다. 다양한 도시의 다양한 시공간 데이터를 통합함으로써 모델은 다양한 지리적 위치에서 시공간 패턴의 고유한 특성과 진화를 보다 효과적으로 포착할 수 있습니다.

(3) 시공간 인코더의 역할: STE. 시공간 인코더가 모델에서 제거되면 결과는 이러한 부재가 시공간 예측 작업에서 대규모 언어 모델의 예측 능력을 크게 감소시킨다는 것을 보여줍니다. 이는 모델 예측 성능을 향상시키는 데 있어 시공간 인코더의 핵심 역할을 강조합니다.

(4) 명령 미세 조정의 회귀 계층: T2P. UrbanGPT에 예측 결과를 텍스트 형식으로 직접 출력하도록 지시합니다. 모델의 낮은 성능은 주로 훈련 과정에서 최적화를 위해 다중 클래스 손실 함수에 의존하기 때문에 발생합니다. 이로 인해 모델 출력의 확률 분포와 시공간 예측 작업에 필요한 연속 값 분포가 일치하지 않게 됩니다. 이 문제를 해결하기 위해 모델에 회귀 예측기를 도입하여 회귀 작업에서 보다 정확한 수치 예측을 생성하는 모델의 능력을 크게 향상시켰습니다.

그림 5: UrbanGPT 절제 실험

모델 견고성 연구

이 섹션에서는 다양한 시공간 패턴 시나리오를 처리할 때 UrbanGPT의 안정성을 평가합니다. 특정 기간 동안 가치(택시 교통량 등)의 변화 정도를 기준으로 지역을 구분합니다. 분산이 작을수록 일반적으로 해당 지역이 안정적인 시간적 패턴을 가지고 있음을 의미하고, 분산이 클수록 해당 지역이 상업적으로 활동하는 지역이나 인구 밀도가 높은 지역에서 흔히 볼 수 있는 보다 다양한 시공간 패턴을 가지고 있음을 의미합니다.

그림 6에서 볼 수 있듯이 대부분의 모델은 분산이 낮은 영역에서 잘 수행됩니다. 왜냐하면 이러한 영역의 시공간 패턴이 더 일관되고 예측 가능하기 때문입니다. 그러나 기본 모델은 분산이 더 높은 영역, 특히 분산이 (0.75, 1.0] 간격에 있는 영역에서 제대로 수행되지 않습니다. 이는 기본 모델이 이러한 영역의 복잡한 시공간 패턴을 정확하게 추론하는 데 어려움이 있기 때문일 수 있습니다. 제로 샘플 시나리오에서는 교통 신호 제어, 보안 파견 등 인구 밀집 지역이나 번화한 지역에 대한 정확한 예측이 중요하며 UrbanGPT는 (0.75, 1.0] 구간에서 상당한 성능 향상을 보여 제로 샘플에서의 성능을 입증합니다. . 강력한 시나리오 예측 능력.

그림 6: 모델 견고성 연구

사례 연구

사례 연구는 제로 샘플 시공간 예측 시나리오에서 다양한 대규모 언어 모델의 효율성을 평가하고 결과는 표 3에 나와 있습니다. 연구 결과에 따르면 다양한 유형의 LLM이 제공된 지침을 기반으로 예측을 생성할 수 있으며 이는 프롬프트 설계의 효율성을 검증합니다.

특히 ChatGPT는 예측할 때 시간적 또는 공간적 데이터를 예측 모델에 명시적으로 통합하지 않고 과거 평균에 주로 의존합니다. 특정 기간과 지역을 분석할 수 있었지만 Llama-2-70b는 수치 시계열의 종속성을 처리하는 데 어려움을 겪었고, 이는 예측의 정확성에 영향을 미쳤습니다.

이와 대조적으로 Claude-2.1은 피크 시간 패턴과 관심 지점을 활용하여 과거 데이터를 보다 효과적으로 요약하고 분석하여 보다 정확한 교통 추세 예측을 달성할 수 있습니다.

우리가 제안한 UrbanGPT는 시공간 명령어 미세 조정을 통해 시공간 컨텍스트 신호와 대규모 언어 모델의 추론 기능을 밀접하게 결합하여 수치 및 시공간 추세 예측의 정확도를 크게 향상시킵니다. 이러한 발견은 보편적인 시공간 패턴을 포착하여 제로 샘플 시공간 예측을 가능하게 하는 UrbanGPT의 잠재력과 효율성을 강조합니다.

표 3: 다양한 LLM에 의한 뉴욕시의 자전거 교통량에 대한 제로 샘플 예측 사례

요약 및 전망

본 연구에서는 다양한 도시 환경에서 일반화 능력이 뛰어난 시공간적 대규모 언어 모델인 UrbanGPT를 제안한다. 시공간 문맥 신호와 LLM(대형 언어 모델)의 원활한 통합을 달성하기 위해 본 논문에서는 혁신적인 시공간 명령어 미세 조정 방법을 제안합니다. 이 접근 방식을 통해 UrbanGPT는 다양한 도시 데이터에서 보편적이고 전송 가능한 시공간 패턴을 학습할 수 있습니다. 광범위한 실험 분석을 통해 UrbanGPT 아키텍처와 핵심 구성 요소의 효율성과 효과가 입증되었습니다.

현재의 결과는 고무적이지만 향후 연구에서는 여전히 극복해야 할 몇 가지 과제가 있습니다. 첫째, 더 다양한 도시 컴퓨팅 분야에서 UrbanGPT의 적용 역량을 강화하기 위해 더 많은 유형의 도시 데이터를 적극적으로 수집할 것입니다. 둘째, UrbanGPT의 의사결정 메커니즘을 이해하는 것도 똑같이 중요합니다. 모델이 성능 측면에서는 좋은 성능을 발휘하지만, 모델 예측에 대한 해석성을 제공하는 것도 향후 연구의 핵심 방향입니다. 향후 작업은 UrbanGPT가 예측 결과를 설명할 수 있도록 지원하여 투명성과 사용자 신뢰를 높이는 데 전념할 것입니다.

참고자료:

https://arxiv.org/abs/2403.00813