notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

A coluna AIxiv é uma coluna onde a Machine Heart publica conteúdo acadêmico e técnico. Nos últimos anos, a coluna Heart of the Machine AIxiv recebeu mais de 2.000 relatórios, abrangendo os principais laboratórios das principais universidades e empresas de todo o mundo, promovendo efetivamente o intercâmbio e a divulgação acadêmica. Se você tem um trabalho excelente que deseja compartilhar, sinta-se à vontade para contribuir ou entre em contato conosco para reportar. E-mail de envio: [email protected]; [email protected];

Este trabalho foi concluído em conjunto por uma equipe de acadêmicos, incluindo Rui Zhang, Yixin Su, Bayu Distiawan Trisedya, Xiaoyan Zhao, Min Yang, Hong Cheng e Jianzhong Qi da Universidade de Tsinghua, Universidade de Melbourne, Universidade Chinesa de Hong Kong e Universidade de Academia Chinesa de Ciências. A equipe se concentra na pesquisa de grandes modelos, gráficos de conhecimento, pesquisa recomendada, processamento de linguagem natural, big data e outras áreas.

Como um importante transportador de conhecimento estruturado, os gráficos de conhecimento são amplamente utilizados em muitos campos, como recuperação de informação, comércio eletrônico e raciocínio de tomada de decisão. No entanto, uma vez que os gráficos de conhecimento construídos por diferentes instituições ou métodos têm diferenças nos métodos de representação, cobertura, etc., como integrar eficazmente diferentes gráficos de conhecimento para obter um sistema de conhecimento mais abrangente e rico tornou-se uma questão importante na melhoria da cobertura e cobertura de gráficos de conhecimento A importante questão da precisão é o principal desafio a ser resolvido pela tarefa de alinhamento do gráfico de conhecimento.

Os métodos tradicionais de alinhamento de gráficos de conhecimento devem contar com anotação manual para alinhar algumas entidades e predicados como pares de entidades iniciais. Tais métodos são caros, ineficientes e proporcionam um alinhamento deficiente. Estudiosos da Universidade de Tsinghua, da Universidade de Melbourne, da Universidade Chinesa de Hong Kong e da Universidade da Academia Chinesa de Ciências propuseram em conjunto um método de alinhamento de gráfico de conhecimento totalmente automático baseado em grandes modelos - AutoAlign. O AutoAlign não requer anotação manual de entidades iniciais alinhadas ou pares de predicados. Em vez disso, ele executa o alinhamento inteiramente por meio da compreensão do algoritmo da semântica e da estrutura da entidade, melhorando significativamente a eficiência e a precisão.

Autor: AutoAlign: Alinhamento de gráfico de conhecimento totalmente automático e eficaz habilitado por grandes modelos de linguagem, 36 (6) TKDE 2024

Link do artigo: https://arxiv.org/abs/2307.11772

Link do código: https://github.com/ruizhang-ai/AutoAlign

Introdução do modelo

O AutoAlign consiste principalmente em duas partes:

Usado para alinhar predicadosMódulo de incorporação de predicado（Módulo de incorporação de predicados）。

A parte de aprendizagem de incorporação de entidades para alinhamento de entidades inclui dois módulos:Módulo de incorporação de propriedade（Módulo de incorporação de atributos） eMódulo Estrutural Embutido（Módulo de Incorporação de Estrutura）。

O processo geral é mostrado na figura abaixo:

Módulo de incorporação de predicado : O módulo de incorporação de predicados visa alinhar predicados que representam o mesmo significado em dois gráficos de conhecimento. Por exemplo, alinhe "is_in" e "localed_in". Para atingir esse objetivo, a equipe de pesquisa criou um Gráfico de Proximidade de Predicados, mesclando os dois gráficos de conhecimento em um gráfico e substituindo as entidades nele contidas pelos seus tipos correspondentes (Tipo de Entidade). Este método é baseado na seguinte suposição: os mesmos predicados (ou semelhantes), seus tipos de entidade correspondentes também devem ser semelhantes (por exemplo, os tipos de entidade alvo de "is_in" e "located_in" têm uma alta probabilidade de pertencer a location ou cidade). A compreensão semântica dos tipos por meio de grandes modelos de linguagem alinha ainda mais esses tipos, melhorando a precisão do aprendizado de trigêmeos. Finalmente, o grafo vizinho do predicado é aprendido por meio de métodos de codificação de grafos (como TransE), de modo que os mesmos predicados (ou similares) tenham incorporações semelhantes, alcançando assim o alinhamento do predicado.

Em termos de implementação específica, a equipe de pesquisa construiu primeiro um gráfico de proximidade de predicados. Um gráfico de proximidade de predicado é um gráfico que descreve relacionamentos entre tipos de entidade. Os tipos de entidade representam categorias amplas de entidades e podem vincular automaticamente diferentes entidades. Mesmo que as formas de superfície de alguns predicados sejam diferentes (por exemplo, “lgd:is_in” e “dbp:located_in”), suas semelhanças podem ser efetivamente identificadas aprendendo um gráfico de proximidade de predicado. As etapas para construir um gráfico de proximidade de predicado são as seguintes:

Extração de tipo de entidade : A equipe de pesquisa extraiu o tipo de entidade obtendo o valor do predicado rdfs:type de cada entidade no gráfico de conhecimento. Normalmente, cada entidade possui vários tipos. Por exemplo, a entidade Alemanha pode ter vários tipos no gráfico de conhecimento, como “coisa”, “lugar”, “local” e “país”. No gráfico de proximidade de predicados, eles substituem as entidades iniciais e finais de cada triplo por um conjunto de tipos de entidades.

alinhamento de tipo : Como os tipos de entidade em diferentes gráficos de conhecimento podem usar diferentes formas de superfície (por exemplo, “pessoa” e “pessoas”), a equipe de pesquisa precisa alinhar esses tipos. Para esse fim, a equipe de pesquisa utiliza grandes modelos de linguagem de última geração, como ChatGPT e Claude, para alinhar automaticamente esses tipos. Por exemplo, uma equipe de pesquisa pode usar Claude2 para identificar pares de tipos semelhantes em dois gráficos de conhecimento e depois alinhar todos os tipos semelhantes em uma representação unificada. Para tanto, a equipe de pesquisa projetou um conjunto de prompts automatizados (prompts) que podem obter automaticamente palavras de alinhamento com base em diferentes gráficos de conhecimento.

Para capturar a similaridade de predicados, vários tipos de entidade precisam ser agregados. A equipe de pesquisa propôs dois métodos de agregação: funções ponderadas e funções baseadas em atenção. Em experimentos, eles descobriram que as funções baseadas na atenção tinham melhor desempenho. Especificamente, eles calculam o peso de atenção de cada tipo de entidade e obtêm a incorporação final do pseudotipo por meio de soma ponderada. Em seguida, a equipe de pesquisa treinou incorporações de predicados minimizando a função objetivo para que predicados semelhantes tivessem representações vetoriais semelhantes.

Módulo de incorporação de propriedade e módulo de incorporação de estrutura : tanto o módulo de incorporação de atributos quanto o módulo de incorporação de estrutura são usados ​​para alinhamento de entidade. Suas ideias são semelhantes à incorporação de predicados, ou seja, para a mesma entidade (ou semelhante), o predicado no trio correspondente e outra entidade também devem ser semelhantes. Portanto, no caso de alinhamento de predicados (por meio do módulo de incorporação de predicados) e alinhamento de atributos (por meio do método Attribute Character Embeding), podemos permitir que entidades semelhantes aprendam embeddings semelhantes por meio de TransE. Especificamente:

Aprendizado de incorporação de atributos : O módulo de incorporação de atributos estabelece o relacionamento entre a entidade do cabeçalho e o valor do atributo codificando a sequência de caracteres do valor do atributo. A equipe de pesquisa propôs três funções de combinação para codificar valores de atributos: função de combinação de soma, função de combinação baseada em LSTM e função de combinação baseada em N-gram. Através dessas funções, conseguimos capturar a semelhança entre os valores dos atributos, para que os atributos da entidade nos dois gráficos de conhecimento possam ser alinhados.

aprendizagem de incorporação estrutural : O módulo de incorporação de estrutura é aprimorado com base no método TransE e aprende a incorporação de entidades atribuindo pesos diferentes a vizinhos diferentes. Predicados alinhados e implicitamente alinhados receberão pesos mais altos, enquanto predicados não alinhados serão considerados ruído. Desta forma, o módulo de incorporação estrutural é capaz de aprender com triplos alinhados de forma mais eficiente.

treinamento conjunto : Os três módulos do módulo de incorporação de predicados, módulo de incorporação de atributos e módulo de incorporação de estrutura podem ser treinados alternadamente, influenciar-se mutuamente por meio de aprendizagem alternativa e atingir o ideal geral na representação de cada estrutura otimizando a incorporação. Após o treinamento, a equipe de pesquisa obteve representações incorporadas de entidades, predicados, atributos e tipos. Finalmente, comparamos a similaridade da entidade (como a similaridade do cosseno) nos dois gráficos de conhecimento e encontramos os pares de entidades com alta similaridade (precisam ser superiores a um limite) para o alinhamento da entidade.

Resultados experimentais

A equipe de pesquisa conduziu experimentos no último conjunto de dados de benchmark DWY-NB (Rui Zhang, 2022), e os principais resultados são mostrados na tabela abaixo.

O AutoAlign melhorou significativamente o desempenho do alinhamento do gráfico de conhecimento, especialmente na ausência de sementes de anotação manual. Sem anotação humana, os modelos existentes são quase impossíveis de alinhar de forma eficaz. No entanto, o AutoAlign ainda é capaz de atingir um desempenho excelente nessas condições. Em ambos os conjuntos de dados, o AutoAlign alcança melhorias significativas em comparação com os melhores modelos de linha de base existentes (mesmo com anotação manual) sem anotação manual de sementes. Esses resultados demonstram que o AutoAlign não apenas supera os métodos existentes em termos de precisão de alinhamento, mas também apresenta fortes vantagens em tarefas de alinhamento totalmente automatizadas.

referências:

Rui Zhang, Bayu D. Trisedya, Miao Li, Yong Jiang e Jianzhong Qi (2022). Uma Pesquisa de Referência e Abrangente sobre Alinhamento de Entidades de Grafos de Conhecimento por meio de Aprendizado de Representação. VLDB Journal, 31 (5), 1143–1168, 2022.