notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Relatório do coração da máquina

Editor: Xiao Zhou, Chen Chen

Os resultados da Universidade Tsinghua são excelentes.

A 47ª Conferência da Association for Computing Machinery on Information Retrieval (ACM SIGIR) será realizada em Washington, DC, EUA, de 14 a 18 de julho de 2024. Esta conferência é a principal conferência acadêmica na área de recuperação de informação.

Agora há pouco, a conferência anunciou o prêmio de melhor artigo, vice-campeão de melhor artigo, prêmio de menção honrosa de melhor artigo e prêmio de teste de tempo.

Entre eles, a Universidade Tsinghua, a Escola Hillhouse de Inteligência Artificial da Universidade Renmin da China e a equipe Xiaohongshu ganharam os melhores pesquisadores da Universidade de Glasgow e da Universidade de Pisa ganharam o prêmio de menção honrosa para os melhores; o artigo foi concedido à Universidade de Shandong (Qingdao), à Universidade de Leiden e à Universidade de Amsterdã; o Time Test Award foi concedido a pesquisadores da Universidade de Tsinghua e da Universidade da Califórnia, em Santa Cruz.

A seguir, vejamos o conteúdo específico do artigo vencedor.

melhor papel

Tese: Leis de escala para recuperação densa

Autores do artigo: Fang Yan, Jingtao Zhan, Ai Qingyao, Mao Jiaxin, Weihang Su, Jia Chen, Liu Yiqun

Instituições: Universidade Tsinghua, Escola Hillhouse de Inteligência Artificial da Universidade Renmin da China, Xiaohongshu

Link do artigo: https://dl.acm.org/doi/abs/10.1145/3626772.3657743

Introdução ao artigo : Os pesquisadores observaram leis de escala em uma ampla gama de tarefas, especialmente na geração de linguagem. A investigação mostra que o desempenho de grandes modelos de linguagem segue padrões previsíveis em todos os tamanhos de modelos e conjuntos de dados, o que ajuda a conceber estratégias de formação de forma eficaz e eficiente, especialmente à medida que a formação em grande escala se torna cada vez mais intensiva em recursos. Contudo, na recuperação densa, a lei de expansão não foi totalmente explorada.

Este estudo explora como o dimensionamento afeta o desempenho de modelos de recuperação densos. Especificamente, a equipe de pesquisa implementou modelos de recuperação densos com diferentes números de parâmetros e os treinou usando diferentes quantidades de dados anotados. Este estudo usa entropia contrastiva como métrica de avaliação. Em comparação com métricas de classificação discreta, a entropia contrastiva é contínua e, portanto, pode refletir com precisão o desempenho do modelo.

Os resultados experimentais mostram que o desempenho de modelos de recuperação densos segue uma escala exata da lei de potência com o tamanho do modelo, bem como com o número de anotações.

Além disso, o estudo também mostra que a lei de escalonamento ajuda a otimizar o processo de formação, como resolver problemas de alocação de recursos sob restrições orçamentárias.

Este estudo contribui muito para a compreensão dos efeitos de escala de modelos de recuperação densos e fornece orientação significativa para pesquisas futuras.

Vice-campeão de melhor artigo

O vice-campeão de melhor artigo no ACM SIGIR deste ano foi concedido ao artigo "A Reproducibility Study of PLAID". Os autores do artigo incluem Sean MacAvaney da Universidade de Glasgow e Nicola Tonellotto da Universidade de Pisa.

Endereço do artigo: https://arxiv.org/pdf/2404.14989

Resumo do artigo : o algoritmo PLAID do ColBERTv2 usa representações de termos agrupados para recuperar e eliminar progressivamente documentos para obter a pontuação final do documento. Este artigo reproduz e preenche as lacunas faltantes no texto original. Ao estudar os parâmetros introduzidos pelo PLAID, os pesquisadores descobriram que seu limite de Pareto é formado pelo equilíbrio entre três parâmetros. O desvio das configurações recomendadas pode aumentar significativamente a latência sem necessariamente melhorar sua eficácia.

Com base nesta descoberta, este artigo compara o PLAID a uma importante linha de base que falta no artigo: reordenar o sistema lexical. Verifica-se que a aplicação do ColBERTv2 como um reordenador no topo do conjunto de resultados BM25 inicial fornece uma melhor compensação eficiência-eficácia em configurações de baixa latência. Este trabalho destaca a importância da seleção cuidadosa de linhas de base relevantes ao avaliar a eficiência do motor de recuperação.

Prêmio Menção Honrosa de Melhor Artigo

O prêmio de menção honrosa para o melhor artigo nesta conferência foi ganho por pesquisadores da Universidade de Shandong (Qingdao), da Universidade de Leiden e da Universidade de Amsterdã. O artigo vencedor é "Generative Retrieval as Multi-Vector Dense Retrieval".

Autores do artigo: Wu Shiguang, Wei Wenda, Zhang Mengqi, Chen Zhumin, Ma Jun, Ren Zhaochun, Maarten de Rijke, Ren Pengjie

Endereço do artigo: https://arxiv.org/pdf/2404.00684

Resumo do artigo : Este artigo mede a relevância das consultas de documentos demonstrando que a recuperação generativa e a recuperação densa multivetorial compartilham a mesma estrutura. Especificamente, eles estudaram a camada de atenção e a cabeça de predição da recuperação generativa, revelando que a recuperação generativa pode ser entendida como um caso especial de recuperação densa multivetorial. Ambos os métodos calculam a correlação calculando a soma dos produtos do vetor de consulta e do vetor do documento com a matriz de alinhamento.

Os pesquisadores então exploraram como essa estrutura pode ser aplicada na recuperação generativa, usando diferentes estratégias para calcular vetores de tokens de documentos e matrizes de alinhamento. Experimentos são conduzidos para verificar as conclusões, mostrando que ambos os paradigmas apresentam pontos em comum na correspondência de termos em suas matrizes de alinhamento.

Prêmio Testado pelo Tempo

O prêmio ACM SIGIR Time Test deste ano foi concedido à pesquisa sobre recomendação explicável publicada no SIGIR 2014 há 10 anos. O artigo foi "Modelos de fator explícito para recomendação explicável com base na análise de sentimento em nível de frase".

Autores do artigo: Zhang Yongfeng, Lai Guokun, Zhang Min, Yi Zhang, Liu Yiqun, Ma Shaoping

Instituição: Universidade Tsinghua, Universidade da Califórnia, Santa Cruz

Link do artigo: https://www.cs.cmu.edu/~glai1/papers/yongfeng-guokun-sigir14.pdf

Esta pesquisa definiu pela primeira vez o problema da "recomendação interpretável" e propôs métodos de análise de sentimento correspondentes para resolver este desafio técnico, e tem desempenhado um papel de liderança em campos relacionados.

Resumo do artigo : Algoritmos de recomendação baseados em filtragem colaborativa (CF), como modelos de fator latente (LFM), apresentam bom desempenho em termos de precisão de previsão. No entanto, as características subjacentes dificultam a explicação dos resultados da recomendação aos utilizadores.

Felizmente, à medida que as avaliações de usuários on-line continuam a crescer, as informações disponíveis para sistemas de recomendação de treinamento não estão mais limitadas às classificações numéricas de estrelas ou às características do usuário/item. Ao extrair as opiniões explícitas dos utilizadores sobre vários aspectos de um produto a partir das avaliações, é possível obter uma compreensão mais detalhada daquilo que interessa aos utilizadores, o que revela ainda a possibilidade de fazer recomendações explicáveis.

Este artigo propõe EFM (Modelo de Fator Explícito) para gerar recomendações interpretáveis, mantendo alta precisão de previsão.

Os pesquisadores primeiro extraem recursos explícitos do produto e opiniões dos usuários, realizando análises de sentimento em nível de frase nas avaliações dos usuários e, em seguida, geram recomendações e desrecomendações com base em recursos específicos do produto de interesse do usuário e recursos latentes aprendidos. Além disso, explicações intuitivas em nível de recurso sobre por que um item é recomendado ou não recomendado são geradas a partir do modelo.

Resultados experimentais off-line em vários conjuntos de dados do mundo real mostram que a estrutura proposta neste estudo supera algoritmos de linha de base concorrentes em tarefas de previsão de classificação e recomendação top-K. Experimentos online mostram que explicações detalhadas tornam as recomendações e não recomendações mais influentes no comportamento de compra dos usuários.

Prêmio Jovem Acadêmico

O Prêmio ACM SIGIR Young Scholar visa reconhecer pesquisadores que desempenharam um papel importante na pesquisa de recuperação de informação, construção de comunidade acadêmica e promoção da equidade acadêmica. É obrigatório ser concedido a jovens pesquisadores que tenham recebido seu doutorado dentro de 7 anos. Ai Qingyao, professor assistente do Departamento de Ciência da Computação da Universidade de Tsinghua, e Wang Xiang, professor e supervisor de doutorado da Escola de Segurança Cibernética e Escola de Big Data da Universidade de Ciência e Tecnologia da China, venceram o SIGIR 2024 Young Prêmio Acadêmico.

Ai Qing Yao

Ai Qingyao é professor assistente no Departamento de Ciência da Computação da Universidade de Tsinghua. Suas principais áreas de pesquisa concentram-se em recuperação de informação, aprendizado de máquina e processamento de linguagem natural. A principal direção de pesquisa é a pesquisa e design de sistemas inteligentes de recuperação de informação, incluindo aprendizagem de representação de informação, teoria de otimização de classificação e aplicação de grandes modelos de linguagem em pesquisa e recomendação na Internet e justiça inteligente.

Wang Xiang

Wang Xiang é professor e supervisor de doutorado na Escola de Segurança do Ciberespaço e na Escola de Big Data da Universidade de Ciência e Tecnologia da China. Os interesses de pesquisa do professor Wang Xiang incluem recuperação de informações, mineração de dados e inteligência artificial confiável e explicável, especialmente sistemas de recomendação, aprendizado de gráficos e análise de mídias sociais.