noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nuevo informe de sabiduría

Editor: LRST

[Introducción a la Nueva Sabiduría] UrbanGPT es un innovador modelo de lenguaje espaciotemporal a gran escala que combina un codificador de dependencia espaciotemporal y tecnología de ajuste fino de instrucciones para demostrar excelentes capacidades de generalización y precisión de predicción en una variedad de tareas urbanas. Esta tecnología rompe con la dependencia de los modelos tradicionales de grandes cantidades de datos etiquetados, proporciona predicciones precisas incluso cuando los datos son escasos y proporciona un poderoso apoyo para la gestión y planificación urbanas.

La tecnología de predicción espaciotemporal se dedica al análisis y la predicción en profundidad de entornos urbanos dinámicos. No solo presta atención a los cambios en el tiempo, sino que también considera la distribución espacial. La tecnología tiene como objetivo revelar tendencias y patrones futuros en diversos aspectos de la vida urbana, incluido el tráfico, la migración y las tasas de criminalidad. Aunque muchos estudios se centran en el uso de redes neuronales para mejorar la precisión de la predicción de datos espaciotemporales, estos métodos generalmente requieren grandes cantidades de datos de entrenamiento para generar características espaciotemporales confiables.

Sin embargo, en escenarios reales de seguimiento urbano, los datos suelen ser insuficientes, especialmente en algunos casos, donde resulta muy difícil recopilar datos etiquetados, lo que agrava aún más el desafío. Por lo tanto, es particularmente crítico desarrollar un modelo que pueda adaptarse a diferentes contextos espaciotemporales y que tenga fuertes capacidades de generalización.

Inspirados por el progreso significativo de los modelos de lenguaje grande (LLM) en múltiples campos, investigadores de la Universidad de Hong Kong, la Universidad Tecnológica del Sur de China y otras instituciones lanzaron un nuevo modelo de lenguaje grande espaciotemporal UrbanGPGT, que combina codificadores dependientes espaciotemporales e instrucción fina. Combinados, el objetivo es desarrollar un modelo de lenguaje espaciotemporalmente grande que pueda ser ampliamente aplicable a tareas urbanas.

Enlace del proyecto: https://urban-gpt.github.io/

Enlace del código: https://github.com/HKUDS/UrbanGPT

Enlace del artículo: https://arxiv.org/abs/2403.00813

Visualización de vídeo: https://www.bilibili.com/video/BV18K421v7ut

Esta combinación permite que el modelo obtenga una comprensión profunda de las relaciones complejas en el tiempo y el espacio y proporcione predicciones más completas y precisas cuando los datos son limitados.

Para probar la efectividad de este enfoque, llevamos a cabo experimentos extensos en múltiples conjuntos de datos públicos que involucran una variedad de tareas de predicción espaciotemporal. Los resultados experimentales muestran consistentemente que UrbanGPT supera consistentemente a los mejores modelos existentes en rendimiento. Estos resultados demuestran el gran potencial de aprovechar modelos de lenguaje grandes para el aprendizaje espaciotemporal cuando los datos están menos etiquetados.

Descripción general

Desafíos existentes

C1. Escasez de datos etiquetados y alto coste de reciclaje:Aunque las redes neuronales espaciotemporales existentes funcionan bien en términos de precisión de predicción, dependen en gran medida de grandes cantidades de datos etiquetados.

En entornos reales de monitoreo urbano, la escasez de datos es un obstáculo importante. Por ejemplo, implementar sensores en toda una ciudad para monitorear el flujo de tráfico o la calidad del aire no es práctico debido a preocupaciones de costos. Además, los modelos existentes a menudo carecen de capacidades de generalización suficientes cuando se enfrentan a nuevas tareas de predicción regional o urbana y necesitan ser reentrenados para generar características espaciotemporales efectivas.

C2. Los modelos de lenguaje grande y los modelos espaciotemporales existentes tienen capacidades de generalización insuficientes en escenarios de muestra cero: Como se muestra en la Figura 2, el modelo de lenguaje grande LLaMA es capaz de inferir patrones de tráfico basados ​​en el texto de entrada. Sin embargo, a veces sufre errores de predicción cuando se trata de datos de series temporales numéricas con dependencias espaciotemporales complejas.

Al mismo tiempo, si bien los modelos de referencia previamente entrenados funcionan bien en la codificación de dependencias espaciotemporales, pueden funcionar mal en escenarios de tiro cero debido al sobreajuste del conjunto de datos de origen.

C3. Ampliar las capacidades de razonamiento de grandes modelos lingüísticos al campo de la predicción espaciotemporal: Existe una diferencia significativa entre la naturaleza única de los datos espaciotemporales y el conocimiento codificado en grandes modelos lingüísticos. Cómo reducir esta diferencia y luego construir un modelo de lenguaje espaciotemporal a gran escala con una excelente capacidad de generalización en una amplia gama de tareas urbanas es una cuestión importante que debe resolverse.

Figura 1: En comparación con LLM y la red neuronal de gráficos espaciotemporales, UrbanGPT tiene un mejor rendimiento de predicción en escenarios de muestra cero

Desafíos existentes

(1) Hasta donde sabemos, este es el primer intento de crear un modelo de lenguaje espaciotemporalmente grande capaz de predecir diversos fenómenos urbanos en múltiples conjuntos de datos, especialmente con datos de entrenamiento limitados.

(2) Este artículo presenta un marco de predicción espaciotemporal llamado UrbanGPT, que permite que los modelos de lenguaje grandes comprendan en profundidad las complejas conexiones entre el tiempo y el espacio. Al combinar estrechamente el codificador de dependencia espaciotemporal con la tecnología de ajuste fino de la instrucción, la información espaciotemporal se integra efectivamente en el modelo de lenguaje.

(3) Amplios experimentos en conjuntos de datos del mundo real verifican las excelentes capacidades de generalización de UrbanGPT en entornos de aprendizaje espacio-temporal de disparo cero. Estos resultados no sólo demuestran la eficiencia del modelo a la hora de predecir y comprender patrones espaciotemporales, sino que también demuestran su capacidad para proporcionar predicciones precisas a pesar de la falta de muestras.

método

Figura 2: Marco general de UrbanGPT

codificador de dependencia espaciotemporal

Aunque los grandes modelos lingüísticos han logrado un éxito notable en el procesamiento de textos lingüísticos, todavía presentan desafíos a la hora de analizar cambios temporales y patrones dinámicos en datos espaciotemporales.

Para abordar este problema, este estudio propone un enfoque innovador mediante la integración de codificadores de dependencia espaciotemporal para mejorar la capacidad de los modelos de lenguaje grandes para capturar dependencias de secuencia temporal en un contexto espaciotemporal.

Específicamente, el codificador espaciotemporal que diseñamos consta de dos componentes principales: uno es una capa de convolución de difusión cerrada y el otro es una capa de inyección de correlación de múltiples niveles.

La fórmula anterior es la incrustación espacio-temporal de inicialización, obtenida a partir de los datos espacio-temporales originales. Er' es una porción de Er, que se utiliza para realizar operaciones residuales para aliviar la desaparición del gradiente.

Usamos convoluciones de difusión unidimensionales para codificar correlaciones temporales.

La función de activación sigmoidea δ se utiliza para controlar el grado de retención de información en operaciones de convolución multicapa.

Después del procesamiento mediante capas convolucionales cerradas y dilatadas en el tiempo, podemos capturar con precisión las dependencias de series temporales dentro de múltiples pasos de tiempo consecutivos, generando así representaciones ricas de características temporales. Estas representaciones cubren múltiples niveles de dependencias temporales, revelando patrones de evolución temporal en diferentes niveles de granularidad.

Para preservar completamente esta información temporal, introducimos una capa de inyección de correlación multinivel diseñada específicamente para capturar e integrar las interconexiones entre diferentes niveles:

Entre ellos se encuentra el núcleo de convolución del formulario. Después del proceso de codificación de la capa L, utilizamos una capa lineal simple para integrar la salida de la capa de convolución de difusión cerrada y la capa de inyección de correlación multinivel, y finalmente generamos la dependencia espaciotemporal. representación de características para

Para hacer frente a situaciones complejas que pueden surgir en diversas escenas urbanas, el codificador espaciotemporal diseñado en este artículo no se basa en una estructura gráfica específica al procesar la correlación espacial. Esto se debe a que en un entorno de predicción de tiro cero, las conexiones espaciales entre entidades a menudo son desconocidas o difíciles de predecir. Este diseño permite a UrbanGPT mantener su aplicabilidad y flexibilidad en una amplia gama de escenarios de aplicaciones urbanas.

Marco de ajuste de comandos espaciotemporales

Alineación espaciotemporal de datos y texto

Para permitir que los modelos de lenguaje comprendan profundamente la dinámica espaciotemporal, es clave garantizar la coherencia del contenido del texto y los datos espaciotemporales. Esta coherencia permite que el modelo integre múltiples tipos de datos y genere representaciones de datos más ricas. Al combinar contenido de texto con características contextuales en el dominio espaciotemporal, el modelo no solo puede capturar información complementaria, sino también extraer características semánticas de mayor nivel y más expresivas.

Para lograr esto, este artículo adopta un módulo de alineación liviano para proyectar la representación de dependencia espaciotemporal.

La operación de proyección se realiza utilizando parámetros de capa lineal, donde dL representa la dimensión oculta comúnmente utilizada en modelos de lenguaje grandes. La proyección resultante está representada por marcadores especiales en la instrucción: , ,..., , . Aquí, y hay símbolos especiales que se utilizan para marcar el comienzo y el final de la información espaciotemporal. Se pueden incorporar a modelos de lenguaje grandes ampliando el vocabulario.

El marcador de posición representa la etiqueta espaciotemporal, que corresponde al vector H en la capa oculta. Utilizando esta técnica, el modelo es capaz de identificar dependencias espaciotemporales, lo que mejora significativamente su capacidad para realizar tareas de predicción espaciotemporal en entornos urbanos.

Instrucciones rápidas de tiempo y espacio.

Al realizar predicciones espaciotemporales, tanto los datos temporales como los espaciales contienen información semántica clave, que es crucial para que el modelo capture los patrones espaciotemporales en situaciones específicas.

Por ejemplo, el flujo de tráfico cambia significativamente por la mañana y durante las horas pico, y los patrones de tráfico varían entre las áreas comerciales y residenciales. Por lo tanto, introducir información de tiempo y espacio como texto rápido en la tarea de predicción espaciotemporal puede mejorar significativamente el efecto de predicción del modelo. Aprovechamos la experiencia de grandes modelos lingüísticos en la comprensión de textos para procesar esta información.

En la arquitectura de UrbanGPT, integramos datos temporales y detalles espaciales de diferentes granularidades como entrada de instrucción para modelos de lenguaje grandes. La información horaria cubre fechas y puntos temporales específicos de una semana, mientras que la información espacial incluye áreas de la ciudad, divisiones administrativas y puntos de interés (PDI) circundantes, como se muestra en la Figura 3.

Al integrar estos diversos elementos, UrbanGPT puede identificar y comprender en profundidad la dinámica espacio-temporal de diferentes regiones y períodos de tiempo en entornos espacio-temporales complejos, mejorando así sus capacidades de razonamiento en situaciones de muestra cero.

Figura 3: Instrucciones de indicaciones espaciotemporales que codifican información de tiempo y ubicación

Ajuste de la instrucción espaciotemporal para modelos de lenguaje grandes

Existen dos desafíos principales al utilizar instrucciones para ajustar modelos de lenguaje grandes (LLM) para generar descripciones de texto predichas espaciotemporalmente. Por un lado, la predicción espaciotemporal suele basarse en datos numéricos cuyas estructuras y patrones son diferentes de las relaciones semánticas y sintácticas en las que son buenos los modelos lingüísticos en el procesamiento del lenguaje natural.

Por otro lado, los LLM suelen utilizar funciones de pérdida de clasificación múltiple para predecir palabras en la etapa de preentrenamiento, lo que da como resultado la generación de distribuciones de probabilidad de palabras, mientras que las tareas de predicción espaciotemporal requieren la salida de valores continuos.

Para superar estos problemas, UrbanGPT adopta un enfoque innovador. No predice directamente valores espaciotemporales futuros, pero genera marcadores de predicción auxiliares. Luego, estos marcadores se procesan a través de una capa de regresión que transforma la representación de la capa oculta del modelo en predicciones más precisas. Este enfoque permite a UrbanGPT realizar predicciones espaciotemporales de manera más eficiente.

La representación oculta de la marca de predicción en la fórmula anterior se expresa mediante , donde la marca de predicción se puede introducir ampliando el vocabulario de LLM. W1, W2 y W3 son las matrices de peso de la capa de regresión y [⋅,⋅] es la operación de empalme.

experimento

Rendimiento de predicción de muestra cero

Predicciones para áreas invisibles dentro de la misma ciudad.

En el pronóstico entre regiones, utilizamos datos de ciertas áreas dentro de la misma ciudad para predecir condiciones futuras en otras áreas que no han sido tocadas por el modelo. A través de un análisis en profundidad del desempeño del modelo en tales tareas de predicción entre regiones, observamos:

(1) Excelente capacidad de predicción de muestra cero. Los datos de la Tabla 1 demuestran el excelente desempeño del modelo propuesto más allá del modelo de referencia en tareas de regresión y clasificación en diferentes conjuntos de datos. El excelente desempeño de UrbanGPT se atribuye principalmente a dos elementos centrales.

i) Alineación espaciotemporal datos-texto. Alinear las señales contextuales espaciotemporales con las capacidades de comprensión de texto del modelo de lenguaje es fundamental para el éxito del modelo. Esta integración permite que el modelo haga pleno uso de la información dinámica urbana codificada a partir de señales espaciotemporales, al mismo tiempo que la combina con la comprensión profunda del contexto textual de grandes modelos lingüísticos, ampliando así las capacidades predictivas del modelo en escenarios de muestra cero.

ii) Ajuste de instrucciones espaciotemporales. A través del ajuste adaptativo, los LLM pueden absorber de manera más efectiva información clave en las instrucciones y mejorar su comprensión de la compleja relación entre los factores de espacio y tiempo. Al combinar el ajuste fino de instrucciones espaciotemporales y codificadores de dependencia espaciotemporal, UrbanGPT retiene con éxito el conocimiento espaciotemporal universal y transferible y logra predicciones precisas en escenarios de muestra cero.

(2) Comprensión profunda de la semántica urbana. La semántica urbana proporciona conocimientos profundos sobre las propiedades del espacio y el tiempo. Al entrenar el modelo en múltiples conjuntos de datos, se mejora su comprensión de la dinámica espaciotemporal en diferentes períodos de tiempo y ubicaciones geográficas.

Por el contrario, los modelos de referencia tradicionales suelen centrarse más en codificar dependencias espaciotemporales, ignorando las diferencias semánticas entre regiones, períodos y tipos de datos. Al incorporar información semántica rica en UrbanGPT, mejoramos significativamente su capacidad para realizar predicciones precisas de tiro cero en regiones invisibles.

(3) Mejorar el rendimiento de la predicción en entornos de datos escasos. Predecir patrones espaciotemporales en entornos con escasos puntos de datos es un desafío, principalmente porque los modelos tienden a sobreajustarse en tales situaciones. Por ejemplo, en escenarios como la predicción de delitos, los datos suelen ser escasos, lo que hace que el modelo de referencia tenga un rendimiento deficiente en tareas de predicción interregionales y tenga una tasa de recuperación baja, lo que sugiere que puede haber un problema de sobreajuste.

Para abordar este desafío, nuestro modelo adopta una estrategia innovadora que combina el aprendizaje espaciotemporal con un modelo de lenguaje grande y lo optimiza a través de un método eficaz de ajuste de la instrucción espaciotemporal. Este enfoque mejora la capacidad del modelo para comprender y representar datos espaciotemporales mediante la integración de información semántica rica, lo que le permite manejar datos dispersos de manera más efectiva y mejorar significativamente la precisión de la predicción.

Tabla 1: Comparación del desempeño del escenario de predicción de muestra cero entre regiones

Tareas de predicción entre ciudades

Para probar la capacidad predictiva del modelo en diferentes ciudades, seleccionamos el conjunto de datos de taxis de Chicago para verificación experimental. (Tenga en cuenta que este conjunto de datos no se utilizó en la fase de capacitación). Como se muestra en la Figura 4, los resultados de la prueba muestran que el modelo muestra un mejor rendimiento que los métodos comparativos en todos los momentos, lo que demuestra la eficacia de UrbanGPT en la transferencia de conocimiento entre ciudades.

Al combinar el codificador espaciotemporal con la tecnología de ajuste fino de instrucciones espaciotemporales, el modelo puede capturar las leyes espaciotemporales que coexisten con la universalidad y la particularidad, realizando así predicciones más precisas. Además, el modelo puede conectar patrones espaciotemporales en diferentes áreas funcionales y períodos históricos al considerar de manera integral diferentes ubicaciones geográficas, factores temporales y transferencia de conocimientos aprendidos. Esta comprensión espaciotemporal integral proporciona información clave para predicciones precisas de tiro cero en escenarios transurbanos.

Figura 4: Comparación del rendimiento del escenario de predicción de muestra cero entre ciudades

Tareas típicas de predicción supervisada

Este capítulo se centra en el rendimiento de UrbanGPT en un entorno de predicción totalmente supervisado. Específicamente, evaluamos el efecto del modelo en tareas de predicción espaciotemporal a largo plazo mediante el uso de un conjunto de datos de prueba con un gran lapso de tiempo. Por ejemplo, el modelo se entrena con datos de 2017 y se prueba con datos de 2021.

Los resultados de las pruebas muestran que UrbanGPT supera significativamente al modelo de referencia en tareas de predicción de períodos de tiempo a largo plazo, lo que resalta su excelente capacidad de generalización cuando se trata de predicciones a largo plazo. Esta característica reduce la necesidad de reentrenamiento frecuente o actualizaciones incrementales, lo que hace que el modelo sea más adecuado para escenarios de aplicaciones prácticas. Además, los resultados experimentales también confirman que la introducción de información de texto adicional no solo no afecta el rendimiento del modelo, sino que tampoco introduce ruido, lo que demuestra aún más la eficacia del uso de modelos de lenguaje grandes para mejorar las tareas de predicción espaciotemporal.

Tabla 2: Evaluación del desempeño de la predicción en un entorno supervisado de un extremo a otro

experimento de ablación

(1) La importancia del contexto espaciotemporal: STC. Cuando se eliminó la información espaciotemporal del texto de instrucciones, el rendimiento del modelo disminuyó. Esto puede deberse a la falta de información temporal, lo que hace que el modelo solo dependa del codificador espaciotemporal para procesar características relacionadas con el tiempo y realizar tareas de predicción. Al mismo tiempo, la falta de información espacial también limita la capacidad del modelo para capturar correlaciones espaciales, lo que dificulta el análisis de patrones espaciotemporales en diferentes regiones.

(2) El efecto del ajuste fino de instrucciones de conjuntos de datos múltiples: Multi. Entrenamos el modelo solo en el conjunto de datos de taxis de Nueva York. La falta de información sobre otros indicadores urbanos limita la capacidad del modelo para revelar la dinámica espaciotemporal urbana. Por tanto, el modelo funciona mal. Al integrar diferentes datos espaciotemporales de diferentes ciudades, el modelo puede capturar de manera más efectiva las características únicas y la evolución de los patrones espaciotemporales en diferentes ubicaciones geográficas.

(3) El papel del codificador espacio-temporal: STE. Cuando se elimina el codificador espaciotemporal del modelo, los resultados muestran que esta ausencia reduce significativamente el poder predictivo de los modelos de lenguaje grandes en tareas de predicción espaciotemporal. Esto destaca el papel clave de los codificadores espaciotemporales en la mejora del rendimiento de la predicción del modelo.

(4) Capa de regresión en el ajuste fino de instrucciones: T2P. Le indicamos a UrbanGPT que genere directamente sus resultados de predicción en formato de texto. El bajo rendimiento del modelo se debe principalmente a la dependencia de funciones de pérdida multiclase para la optimización durante el proceso de entrenamiento, lo que conduce a una falta de coincidencia entre la distribución de probabilidad de la salida del modelo y la distribución de valor continuo requerida para las tareas de predicción espaciotemporal. Para resolver este problema, introdujimos un predictor de regresión en el modelo, que mejora significativamente la capacidad del modelo para generar predicciones numéricas más precisas en tareas de regresión.

Figura 5: Experimento de ablación UrbanGPT

Estudio de robustez del modelo.

En esta sección, evaluamos la estabilidad de UrbanGPT en el manejo de diferentes escenarios de patrones espaciotemporales. Distinguimos regiones según la magnitud de los cambios en los valores (como el tráfico de taxis) durante un período de tiempo específico. Una variación menor generalmente significa que la región tiene un patrón temporal estable, mientras que una variación mayor implica que la región tiene un patrón espaciotemporal más diverso, lo cual es común en áreas comercialmente activas o áreas densamente pobladas.

Como se muestra en la Figura 6, la mayoría de los modelos funcionan bien en regiones con menor varianza porque los patrones espaciotemporales en estas regiones son más consistentes y predecibles. Sin embargo, el modelo de referencia funciona mal en áreas con mayor varianza, especialmente en áreas donde la varianza está en el intervalo (0,75, 1,0), lo que puede deberse a que el modelo de referencia tiene dificultades para inferir con precisión los patrones espaciotemporales complejos en estas áreas bajo el En el escenario de muestra cero en la gestión urbana, como el control de señales de tráfico y el despacho de seguridad, la predicción precisa de áreas prósperas o densamente pobladas es crucial, UrbanGPT muestra una mejora significativa en el rendimiento en el intervalo (0,75, 1,0), lo que demuestra su rendimiento en muestras cero. Potente capacidad para predecir escenarios.

Figura 6: Estudio de robustez del modelo

caso de estudio

El estudio de caso evalúa la efectividad de diferentes modelos lingüísticos a gran escala en escenarios de predicción espaciotemporal de muestra cero, y los resultados se muestran en la Tabla 3. Los resultados de la investigación muestran que varios tipos de LLM pueden generar predicciones basadas en las instrucciones proporcionadas, lo que verifica la efectividad del diseño del mensaje.

Específicamente, ChatGPT se basa principalmente en promedios históricos al realizar predicciones, sin incorporar explícitamente datos temporales o espaciales en su modelo de predicción. Aunque era capaz de analizar períodos y regiones de tiempo específicos, Llama-2-70b encontró desafíos en el manejo de dependencias en series de tiempo numéricas, lo que afectó la precisión de sus predicciones.

Por el contrario, Claude-2.1 puede resumir y analizar datos históricos de manera más efectiva, aprovechando los patrones de las horas pico y los puntos de interés para lograr predicciones de tendencias de tráfico más precisas.

El UrbanGPT que propusimos combina estrechamente las señales de contexto espaciotemporal con las capacidades de razonamiento de modelos de lenguaje grandes a través del ajuste fino de la instrucción espaciotemporal, lo que mejora significativamente la precisión de la predicción de valores numéricos y tendencias espaciotemporales. Estos hallazgos resaltan el potencial y la eficacia de UrbanGPT para capturar patrones espaciotemporales universales, lo que hace posible la predicción espaciotemporal de muestra cero.

Tabla 3: Caso de predicción de muestra cero del tráfico de bicicletas en la ciudad de Nueva York por diferentes LLM

Resumen y perspectivas

Este estudio propone UrbanGPT, un modelo de lenguaje espaciotemporal a gran escala con buena capacidad de generalización en diversos entornos urbanos. Para lograr una integración perfecta de señales de contexto espaciotemporal y modelos de lenguaje grande (LLM), este artículo propone un método innovador de ajuste de instrucción espaciotemporal. Este enfoque le da a UrbanGPT la capacidad de aprender patrones espaciotemporales universales y transferibles en diversos datos urbanos. Mediante un extenso análisis experimental, se demuestra la eficiencia y eficacia de la arquitectura UrbanGPT y sus componentes principales.

Aunque los resultados actuales son alentadores, todavía quedan algunos desafíos que deben superarse en futuras investigaciones. En primer lugar, recopilaremos activamente más tipos de datos urbanos para mejorar las capacidades de aplicación de UrbanGPT en una gama más amplia de campos de la informática urbana. En segundo lugar, es igualmente importante comprender el mecanismo de toma de decisiones de UrbanGPT. Aunque el modelo funciona bien en términos de rendimiento, proporcionar interpretabilidad de las predicciones del modelo también es una dirección clave para futuras investigaciones. El trabajo futuro se dedicará a permitir que UrbanGPT explique sus resultados de predicción, aumentando así su transparencia y confianza de los usuarios.

Referencias:

https://arxiv.org/abs/2403.00813