noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Informe del corazón de la máquina

Editor: Xiao Zhou, Chen Chen

Los resultados de la Universidad de Tsinghua son sobresalientes.

La 47ª Conferencia de la Asociación de Maquinaria de Computación sobre Recuperación de Información (ACM SIGIR) se llevará a cabo en Washington, DC, EE. UU., del 14 al 18 de julio de 2024. Esta conferencia es la conferencia académica más importante en el campo de la recuperación de información.

Hace un momento, la conferencia anunció el premio al mejor artículo, el segundo puesto al mejor artículo, el premio a la mención honorífica al mejor artículo y el premio Time Test.

Entre ellos, la Universidad de Tsinghua, la Escuela de Inteligencia Artificial Hillhouse de la Universidad Renmin de China y el equipo de Xiaohongshu ganaron el mejor trabajo de investigadores de la Universidad de Glasgow y la Universidad de Pisa ganaron el segundo lugar; el artículo se otorgó a la Universidad de Shandong (Qingdao), la Universidad de Leiden y la Universidad de Ámsterdam; el premio Time Test se otorgó a investigadores de la Universidad de Tsinghua y la Universidad de California, Santa Cruz.

A continuación, veamos el contenido específico del artículo ganador.

mejor papel

Tesis: Leyes de escala para una recuperación densa

Autores del artículo: Fang Yan, Jingtao Zhan, Ai Qingyao, Mao Jiaxin, Weihang Su, Jia Chen, Liu Yiqun

Instituciones: Universidad de Tsinghua, Escuela Hillhouse de Inteligencia Artificial de la Universidad Renmin de China, Xiaohongshu

Enlace del artículo: https://dl.acm.org/doi/abs/10.1145/3626772.3657743

Introducción al artículo : Los investigadores han observado leyes de escala en una amplia gama de tareas, especialmente la generación de lenguaje. Las investigaciones muestran que el rendimiento de los modelos de lenguaje grandes sigue patrones predecibles en todos los tamaños de modelos y conjuntos de datos, lo que ayuda a diseñar estrategias de capacitación de manera efectiva y eficiente, especialmente a medida que la capacitación a gran escala requiere cada vez más recursos. Sin embargo, en una recuperación densa, la ley de expansión no se ha explorado por completo.

Este estudio explora cómo el escalamiento afecta el rendimiento de modelos de recuperación densos. Específicamente, el equipo de investigación implementó modelos de recuperación densos con diferentes números de parámetros y los entrenó utilizando diferentes cantidades de datos anotados. Este estudio utiliza la entropía contrastiva como métrica de evaluación. En comparación con las métricas de clasificación discreta, la entropía contrastiva es continua y, por lo tanto, puede reflejar con precisión el rendimiento del modelo.

Los resultados experimentales muestran que el rendimiento de los modelos de recuperación densos sigue una escala exacta de ley de potencia con el tamaño del modelo y el número de anotaciones.

Además, el estudio también muestra que la ley de escalamiento ayuda a optimizar el proceso de capacitación, como resolver problemas de asignación de recursos bajo restricciones presupuestarias.

Este estudio contribuye en gran medida a comprender los efectos de escala de los modelos de recuperación densos y proporciona una guía significativa para futuras investigaciones.

Subcampeón al Mejor Artículo

El segundo puesto al mejor artículo en el ACM SIGIR de este año lo obtuvo el artículo "Un estudio de reproducibilidad de PLAID". Los autores del artículo incluyen a Sean MacAvaney de la Universidad de Glasgow y Nicola Tonellotto de la Universidad de Pisa.

Dirección del artículo: https://arxiv.org/pdf/2404.14989

Resumen de papel : El algoritmo PLAID de ColBERTv2 utiliza representaciones de términos agrupados para recuperar y podar progresivamente documentos para obtener la puntuación final del documento. Este artículo reproduce y completa los vacíos que faltan en el texto original. Al estudiar los parámetros introducidos por PLAID, los investigadores descubrieron que su límite de Pareto está formado por el equilibrio entre tres parámetros. La desviación de la configuración recomendada puede aumentar significativamente la latencia sin mejorar necesariamente su eficacia.

Con base en este hallazgo, este artículo compara PLAID con una línea de base importante que falta en el artículo: reordenar el sistema léxico. Se ha descubierto que la aplicación de ColBERTv2 como reordenador además del grupo de resultados inicial de BM25 proporciona una mejor compensación entre eficiencia y eficacia en entornos de baja latencia. Este trabajo destaca la importancia de una selección cuidadosa de líneas de base relevantes al evaluar la eficiencia del motor de recuperación.

Premio Mención Honorífica al Mejor Trabajo

El premio de mención honorífica al mejor artículo de esta conferencia lo ganaron investigadores de la Universidad de Shandong (Qingdao), la Universidad de Leiden y la Universidad de Ámsterdam. El artículo ganador es "Recuperación generativa como recuperación densa multivectorial".

Autores del artículo: Wu Shiguang, Wei Wenda, Zhang Mengqi, Chen Zhumin, Ma Jun, Ren Zhaochun, Maarten de Rijke, Ren Pengjie

Dirección del artículo: https://arxiv.org/pdf/2404.00684

Resumen de papel : Este artículo mide la relevancia de las consultas de documentos demostrando que la recuperación generativa y la recuperación densa multivectorial comparten el mismo marco. Específicamente, estudiaron la capa de atención y el cabezal de predicción de la recuperación generativa, revelando que la recuperación generativa puede entenderse como un caso especial de recuperación densa multivectorial. Ambos métodos calculan la correlación calculando la suma de los productos del vector de consulta y el vector de documento con la matriz de alineación.

Luego, los investigadores exploraron cómo se puede aplicar este marco en la recuperación generativa, utilizando diferentes estrategias para calcular vectores de tokens de documentos y matrices de alineación. Se realizan experimentos para verificar las conclusiones, mostrando que ambos paradigmas exhiben puntos en común en la coincidencia de términos en sus matrices de alineación.

Premio probado en el tiempo

El premio ACM SIGIR Time Test Award de este año se otorgó a la investigación sobre recomendaciones explicables publicada en SIGIR 2014 hace 10 años. El artículo fue "Modelos de factores explícitos para recomendaciones explicables basados ​​​​en análisis de sentimiento a nivel de frase".

Autores del artículo: Zhang Yongfeng, Lai Guokun, Zhang Min, Yi Zhang, Liu Yiqun, Ma Shaoping

Institución: Universidad de Tsinghua, Universidad de California, Santa Cruz

Enlace del artículo: https://www.cs.cmu.edu/~glai1/papers/yongfeng-guokun-sigir14.pdf

Esta investigación definió por primera vez el problema de la "recomendación interpretable" y propuso los métodos de análisis de sentimiento correspondientes para resolver este desafío técnico, y ha desempeñado un papel de liderazgo en campos relacionados.

Resumen de papel : Los algoritmos de recomendación basados ​​en filtrado colaborativo (CF), como los modelos de factores latentes (LFM), funcionan bien en términos de precisión de predicción. Sin embargo, las características subyacentes dificultan explicar los resultados de las recomendaciones a los usuarios.

Afortunadamente, a medida que las opiniones de los usuarios en línea continúan creciendo, la información disponible para los sistemas de recomendación de capacitación ya no se limita a calificaciones numéricas de estrellas o características de usuario/artículo. Al extraer de las reseñas las opiniones explícitas de los usuarios sobre diversos aspectos de un producto, es posible obtener una comprensión más detallada de lo que les importa a los usuarios, lo que revela aún más la posibilidad de hacer recomendaciones explicables.

Este artículo propone EFM (modelo de factores explícitos) para generar recomendaciones interpretables manteniendo una alta precisión de predicción.

Los investigadores primero extraen características explícitas del producto y opiniones de los usuarios realizando un análisis de sentimiento a nivel de frase en las reseñas de los usuarios, y luego generan recomendaciones y no recomendaciones basadas en características específicas del producto de interés del usuario y características latentes aprendidas. Además, a partir del modelo se generan explicaciones intuitivas a nivel de características sobre por qué se recomienda o no un artículo.

Los resultados experimentales fuera de línea en múltiples conjuntos de datos del mundo real muestran que el marco propuesto en este estudio supera a los algoritmos de referencia competitivos tanto en la predicción de calificaciones como en las tareas de recomendación top-K. Los experimentos en línea muestran que las explicaciones detalladas hacen que las recomendaciones y las no recomendaciones sean más influyentes en el comportamiento de compra de los usuarios.

Premio Joven Académico

El Premio ACM SIGIR Young Scholar tiene como objetivo reconocer a los investigadores que han desempeñado un papel importante en la investigación de recuperación de información, la construcción de comunidades académicas y la promoción de la equidad académica. Debe otorgarse a investigadores jóvenes que hayan recibido su doctorado en un plazo de 7 años. Ai Qingyao, profesor asistente del Departamento de Ciencias de la Computación de la Universidad de Tsinghua, y Wang Xiang, profesor y supervisor doctoral de la Escuela de Seguridad del Ciberespacio y la Escuela de Big Data de la Universidad de Ciencia y Tecnología de China, ganaron el SIGIR 2024 Young Premio Académico.

Ai Qingyao

Ai Qingyao es profesor asistente en el Departamento de Ciencias de la Computación de la Universidad de Tsinghua. Sus principales áreas de investigación se centran en la recuperación de información, el aprendizaje automático y el procesamiento del lenguaje natural. La dirección clave de la investigación es la investigación y el diseño de sistemas inteligentes de recuperación de información, incluido el aprendizaje de representación de información, la teoría de optimización de clasificaciones y la aplicación de grandes modelos de lenguaje en la búsqueda y recomendación de Internet y la justicia inteligente.

Wang Xiang

Wang Xiang es profesor y supervisor de doctorado en la Escuela de Seguridad del Ciberespacio y la Escuela de Big Data de la Universidad de Ciencia y Tecnología de China. Los intereses de investigación del profesor Wang Xiang incluyen la recuperación de información, la extracción de datos y la inteligencia artificial confiable y explicable, especialmente los sistemas de recomendación, el aprendizaje de gráficos y el análisis de redes sociales.