noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

La columna AIxiv es una columna donde Machine Heart publica contenido académico y técnico. En los últimos años, la columna Heart of the Machine AIxiv ha recibido más de 2.000 informes, que cubren los mejores laboratorios de las principales universidades y empresas de todo el mundo, promoviendo eficazmente los intercambios y la difusión académicos. Si tiene un trabajo excelente que desea compartir, no dude en contribuir o contactarnos para informarnos. Correo electrónico de envío: [email protected]; [email protected];

Este trabajo fue completado conjuntamente por un equipo de académicos que incluye a Rui Zhang, Yixin Su, Bayu Distiawan Trisedya, Xiaoyan Zhao, Min Yang, Hong Cheng y Jianzhong Qi de la Universidad de Tsinghua, la Universidad de Melbourne, la Universidad China de Hong Kong y la Universidad de Academia china de ciencias. El equipo se centra en la investigación de modelos grandes, gráficos de conocimiento, búsqueda recomendada, procesamiento de lenguaje natural, big data y otras direcciones.

Como importante portador de conocimiento estructurado, los gráficos de conocimiento se utilizan ampliamente en muchos campos, como la recuperación de información, el comercio electrónico y el razonamiento para la toma de decisiones. Sin embargo, debido a que los gráficos de conocimiento construidos por diferentes instituciones o métodos tienen diferencias en los métodos de representación, cobertura, etc., cómo integrar efectivamente diferentes gráficos de conocimiento para obtener un sistema de conocimiento más completo y rico se ha convertido en una cuestión importante para mejorar la cobertura y la cobertura de Gráficos de conocimiento La importante cuestión de la precisión es el desafío principal que debe resolver la tarea de Alineación del gráfico de conocimiento.

Los métodos tradicionales de alineación de gráficos de conocimiento deben depender de la anotación manual para alinear algunas entidades y predicados como pares de entidades semilla. Estos métodos son caros, ineficientes y proporcionan una mala alineación. Académicos de la Universidad de Tsinghua, la Universidad de Melbourne, la Universidad China de Hong Kong y la Universidad de la Academia de Ciencias de China propusieron conjuntamente un método de alineación de gráficos de conocimiento totalmente automático basado en modelos grandes: AutoAlign. AutoAlign no requiere anotaciones manuales de entidades semilla alineadas o pares de predicados. En cambio, realiza la alineación completamente a través de la comprensión del algoritmo de la estructura y la semántica de las entidades, lo que mejora significativamente la eficiencia y la precisión.

AutoAlign: alineación de gráficos de conocimiento completamente automática y eficaz habilitada por modelos de lenguaje grandes, 36 (6) TKDE 2024

Enlace del artículo: https://arxiv.org/abs/2307.11772

Enlace de código: https://github.com/ruizhang-ai/AutoAlign

Introducción del modelo

AutoAlign consta principalmente de dos partes:

Se utiliza para alinear predicados.Módulo de incrustación de predicados(Módulo de incrustación de predicados).

La parte de aprendizaje de incorporación de entidades para alinear entidades incluye dos módulos:Módulo de incrustación de propiedades(Módulo de incrustación de atributos)Módulo estructural integrado（Módulo de incrustación de estructura）。

El proceso general se muestra en la siguiente figura:

Módulo de incrustación de predicados : El módulo de incrustación de predicados tiene como objetivo alinear predicados que representan el mismo significado en dos gráficos de conocimiento. Por ejemplo, alinee "is_in" y "location_in". Para lograr este objetivo, el equipo de investigación creó un gráfico de proximidad de predicados, fusionando los dos gráficos de conocimiento en uno y reemplazando las entidades que contiene con sus tipos correspondientes (tipo de entidad). Este método se basa en la siguiente suposición: los mismos (o similares) predicados, sus tipos de entidad correspondientes también deben ser similares (por ejemplo, los tipos de entidad de destino de "is_in" y "location_in" tienen una alta probabilidad de pertenecer a una ubicación o ciudad). La comprensión semántica de tipos a través de grandes modelos de lenguaje alinea aún más estos tipos, mejorando la precisión del aprendizaje triplete. Finalmente, el gráfico vecino de predicados se aprende mediante métodos de codificación de gráficos (como TransE), de modo que los mismos (o similares) predicados tengan incrustaciones similares, logrando así la alineación de predicados.

En términos de implementación específica, el equipo de investigación primero construyó un gráfico de proximidad de predicados. Un gráfico de proximidad de predicados es un gráfico que describe las relaciones entre tipos de entidades. Los tipos de entidad representan categorías amplias de entidades y pueden vincular automáticamente diferentes entidades. Incluso si las formas superficiales de algunos predicados son diferentes (por ejemplo, “lgd:is_in” y “dbp:located_in”), sus similitudes se pueden identificar efectivamente aprendiendo el gráfico de proximidad de predicados. Los pasos para construir un gráfico de proximidad de predicados son los siguientes:

Extracción de tipo de entidad : El equipo de investigación extrajo el tipo de entidad obteniendo el valor del predicado rdfs:type de cada entidad en el gráfico de conocimiento. Normalmente, cada entidad tiene varios tipos. Por ejemplo, la entidad de Alemania puede tener varios tipos en el gráfico de conocimiento, como "cosa", "lugar", "ubicación" y "país". En el gráfico de proximidad de predicados, reemplazan las entidades de cabeza y cola de cada triplete con un conjunto de tipos de entidades.

tipo de alineación : Dado que los tipos de entidades en diferentes gráficos de conocimiento pueden usar diferentes formas de superficie (por ejemplo, "persona" y "personas"), el equipo de investigación necesita alinear estos tipos. Con este fin, el equipo de investigación aprovecha modelos de lenguajes grandes de última generación, como ChatGPT y Claude, para alinear automáticamente estos tipos. Por ejemplo, un equipo de investigación puede utilizar Claude2 para identificar pares de tipos similares en dos gráficos de conocimiento y luego alinear todos los tipos similares en una representación unificada. Con este fin, el equipo de investigación diseñó un conjunto de indicaciones automatizadas (indicaciones) que pueden obtener automáticamente palabras de alineación basadas en diferentes gráficos de conocimiento.

Para capturar la similitud de predicados, es necesario agregar varios tipos de entidades. El equipo de investigación propuso dos métodos de agregación: funciones ponderadas y basadas en atención. En experimentos, descubrieron que las funciones basadas en la atención funcionaban mejor. Específicamente, calculan el peso de atención de cada tipo de entidad y obtienen la incrustación final del pseudotipo mediante suma ponderada. A continuación, el equipo de investigación entrenó incorporaciones de predicados minimizando la función objetivo para que predicados similares tuvieran representaciones vectoriales similares.

Módulo de incrustación de propiedades y módulo de incrustación de estructuras. : Tanto el módulo de incrustación de atributos como el módulo de incrustación de estructura se utilizan para la alineación de entidades. Sus ideas son similares a la incrustación de predicados, es decir, para la misma (o similar) entidad, el predicado en el triplete correspondiente y otra entidad también deben ser similares. Por lo tanto, en el caso de alineación de predicados (a través del módulo de incrustación de predicados) y alineación de atributos (a través del método de incrustación de caracteres de atributos), podemos permitir que entidades similares aprendan incrustaciones similares a través de TransE. Específicamente:

Aprendizaje de incorporación de atributos : El módulo de incrustación de atributos establece la relación entre la entidad del encabezado y el valor del atributo codificando la secuencia de caracteres del valor del atributo. El equipo de investigación propuso tres funciones de combinación para codificar valores de atributos: función de combinación de suma, función de combinación basada en LSTM y función de combinación basada en N-gramas. A través de estas funciones, podemos capturar la similitud entre los valores de los atributos, de modo que los atributos de la entidad en los dos gráficos de conocimiento puedan alinearse.

aprendizaje de integración estructural : El módulo de incrustación de estructuras se ha mejorado basándose en el método TransE y aprende la incrustación de entidades dando diferentes pesos a diferentes vecinos. Los predicados alineados e implícitamente alineados recibirán ponderaciones más altas, mientras que los predicados no alineados se consideran ruido. De esta manera, el módulo de incrustación estructural es capaz de aprender de triples alineados de manera más eficiente.

entrenamiento conjunto : Los tres módulos, el módulo de incrustación de predicados, el módulo de incrustación de atributos y el módulo de incrustación de estructuras, se pueden entrenar alternativamente, influirse entre sí a través del aprendizaje alternativo y lograr el óptimo general en la representación de cada estructura optimizando la incrustación. Después del entrenamiento, el equipo de investigación obtuvo representaciones integradas de entidades, predicados, atributos y tipos. Finalmente, comparamos la similitud de entidades (como la similitud de coseno) en los dos gráficos de conocimiento y encontramos los pares de entidades con alta similitud (deben ser superiores a un umbral) para la alineación de entidades.

Resultados experimentales

El equipo de investigación realizó experimentos con el último conjunto de datos de referencia DWY-NB (Rui Zhang, 2022), y los resultados principales se muestran en la siguiente tabla.

AutoAlign ha mejorado significativamente el rendimiento de la alineación del gráfico de conocimiento, especialmente en ausencia de semillas de anotaciones manuales. Sin anotaciones humanas, es casi imposible alinear eficazmente los modelos existentes. Sin embargo, AutoAlign aún puede lograr un rendimiento excelente en tales condiciones. En ambos conjuntos de datos, AutoAlign logra mejoras significativas con respecto a los mejores modelos de referencia existentes (incluso con anotación manual) sin anotación manual de semillas. Estos resultados demuestran que AutoAlign no solo supera a los métodos existentes en precisión de alineación, sino que también presenta grandes ventajas en tareas de alineación totalmente automatizadas.

referencias:

Rui Zhang, Bayu D. Trisedya, Miao Li, Yong Jiang y Jianzhong Qi (2022). Un estudio comparativo y exhaustivo sobre la alineación de entidades de gráficos de conocimiento mediante el aprendizaje de representaciones. VLDB Journal, 31 (5), 1143–1168, 2022.