소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

편집자: Xiao Zhou, Chen Chen

칭화대학교의 결과는 훌륭합니다.

제47회 정보검색에 관한 컴퓨팅 기계 협회 컨퍼런스(ACM SIGIR)가 2024년 7월 14일부터 18일까지 미국 워싱턴 DC에서 개최됩니다. 본 컨퍼런스는 정보검색 분야 최고의 학술 컨퍼런스입니다.

방금 컨퍼런스에서는 최우수 논문상, 최우수 논문 준우승자, 최우수 논문 명예상, 타임 테스트상을 발표했습니다.

그 중 칭화대학교, 중국 런민대학교 힐하우스 인공지능학교, Xiaohongshu 팀이 최우수 논문을 수상했으며, 글래스고대학교와 피사대학교의 연구자들이 최우수상을 수상했습니다. 논문은 Shandong University (Qingdao), Leiden University 및 University of Amsterdam에 수여되었으며 Time Test Award는 Tsinghua University 및 University of California, Santa Cruz의 연구자에게 수여되었습니다.

다음으로, 당선 논문의 구체적인 내용을 살펴보겠습니다.

최고의 종이

논문: 밀집 검색을 위한 확장 법칙

논문 저자: Fang Yan, Jingtao Zhan, Ai Qingyao, Mao Jiaxin, Weihang Su, Jia Chen, Liu Yiqun

기관: 칭화대학교, 중국 인민대학교 힐하우스 인공지능 학교, Xiaohongshu

논문 링크: https://dl.acm.org/doi/abs/10.1145/3626772.3657743

논문 소개 : 연구원들은 광범위한 작업, 특히 언어 생성에서 확장 법칙을 관찰했습니다. 연구에 따르면 대규모 언어 모델의 성능은 모델 및 데이터 세트 크기 전반에 걸쳐 예측 가능한 패턴을 따르며, 이는 특히 대규모 교육이 점점 더 리소스 집약적이 됨에 따라 교육 전략을 효과적이고 효율적으로 설계하는 데 도움이 되는 것으로 나타났습니다. 그러나 조밀 검색에서는 확장 법칙이 완전히 탐색되지 않았습니다.

이 연구에서는 스케일링이 밀집 검색 모델의 성능에 어떤 영향을 미치는지 살펴봅니다. 구체적으로 연구팀은 다양한 수의 매개변수를 사용하여 밀집된 검색 모델을 구현하고 다양한 양의 주석이 달린 데이터를 사용하여 학습했습니다. 본 연구에서는 평가 지표로 대조 엔트로피를 사용합니다. 이산 순위 지표와 비교하여 대조 엔트로피는 연속적이므로 모델의 성능을 정확하게 반영할 수 있습니다.

실험 결과에 따르면 밀집 검색 모델의 성능은 모델 크기 및 주석 수에 따른 정확한 거듭제곱 법칙을 따릅니다.

또한 이 연구에서는 규모 조정 법칙이 예산 제약 하에서 자원 할당 문제를 해결하는 등 훈련 프로세스를 최적화하는 데 도움이 된다는 사실도 보여줍니다.

본 연구는 밀집 검색 모델의 스케일링 효과를 이해하는 데 크게 기여하고 향후 연구에 의미 있는 지침을 제공합니다.

최우수 논문 준우승

올해 ACM SIGIR에서 최우수 논문 준우승자는 'A Reproducibility Study of PLAID' 논문에 선정되었습니다. 논문의 저자로는 글래스고 대학의 Sean MacAvaney와 피사 대학의 Nicola Tonellotto가 있습니다.

논문 주소: https://arxiv.org/pdf/2404.14989

종이 개요 : ColBERTv2의 PLAID 알고리즘은 클러스터된 용어 표현을 사용하여 문서를 검색하고 점진적으로 정리하여 최종 문서 점수를 얻습니다. 이 글은 원문의 누락된 공백을 재현하고 채웁니다. 연구자들은 PLAID에 의해 도입된 매개변수를 연구함으로써 파레토 경계가 세 매개변수 간의 균형에 의해 형성된다는 사실을 발견했습니다. 권장 설정에서 벗어나면 효율성이 반드시 향상되지 않고도 대기 시간이 크게 늘어날 수 있습니다.

이 발견을 바탕으로 이 논문은 PLAID를 논문에서 누락된 중요한 기준선인 어휘 시스템 재정렬과 비교합니다. 초기 BM25 결과 풀 위에 재정렬기로 ColBERTv2를 적용하면 대기 시간이 짧은 설정에서 더 나은 효율성-효과 절충이 제공되는 것으로 나타났습니다. 이 작업은 검색 엔진 효율성을 평가할 때 관련 기준선을 신중하게 선택하는 것이 중요하다는 점을 강조합니다.

최우수 논문 Honorable Mention 상

이번 학회에서 최우수 논문에 대한 Honorable Mention Award는 산둥대학교(칭다오), 라이덴대학교, 암스테르담대학교의 연구자들이 수상했습니다. 우승 논문은 "Multi-Vector Dense Retrieval로서의 생성 검색(Generative Retrieval as Multi-Vector Dense Retrieval)"입니다.

논문 저자: Wu Shiguang, Wei Wenda, Zhang Mengqi, Chen Zhumin, Ma Jun, Ren Zhaochun, Maarten de Rijke, Ren Pengjie

논문 주소: https://arxiv.org/pdf/2404.00684

종이 개요 : 본 논문은 생성 검색과 다중 벡터 밀집 검색이 동일한 프레임워크를 공유한다는 것을 보여줌으로써 문서 쿼리의 관련성을 측정합니다. 구체적으로 그들은 생성 검색의 어텐션 레이어와 예측 헤드를 연구하여 생성 검색이 다중 벡터 밀집 검색의 특별한 경우로 이해될 수 있음을 밝혔습니다. 두 방법 모두 정렬 행렬을 사용하여 쿼리 벡터와 문서 벡터의 곱의 합을 계산하여 상관 관계를 계산합니다.

그런 다음 연구원들은 문서 토큰 벡터와 정렬 행렬을 계산하기 위한 다양한 전략을 사용하여 이 프레임워크를 생성 검색에 적용할 수 있는 방법을 조사했습니다. 결론을 검증하기 위해 실험을 수행하여 두 패러다임 모두 정렬 행렬의 용어 일치에 있어 공통점을 나타냄을 보여줍니다.

시간 테스트를 거친 상

올해 ACM SIGIR Time Test Award는 10년 전 SIGIR 2014에서 발표된 설명 가능한 추천에 관한 연구인 "Explicit Factor Models for explainable Recommendation based on Phrase-level Sentiment Analysis"에 선정되었습니다.

논문 저자: Zhang Yongfeng, Lai Guokun, Zhang Min, Yi Zhang, Liu Yiqun, Ma Shaoping

소속: 청화대학교, 캘리포니아대학교, 산타크루즈

논문 링크: https://www.cs.cmu.edu/~glai1/papers/yongfeng-guokun-sigir14.pdf

본 연구는 '해석 가능한 추천'이라는 문제를 최초로 정의하고, 이러한 기술적 난제를 해결하기 위한 이에 상응하는 감성 분석 방법을 제안하며, 관련 분야에서 선도적인 역할을 담당해 왔다.

종이 개요 : LFM(Latent Factor Model)과 같은 CF(Collaborative Filtering) 기반 추천 알고리즘은 예측 정확도 측면에서 좋은 성능을 보입니다. 그러나 근본적인 특성으로 인해 추천 결과를 사용자에게 설명하기가 어렵습니다.

다행스럽게도 온라인 사용자 리뷰가 계속 증가함에 따라 교육 추천 시스템에 사용할 수 있는 정보는 더 이상 숫자 별 평점이나 사용자/항목 특성에 국한되지 않습니다. 리뷰를 통해 제품의 다양한 측면에 대한 사용자의 명시적인 의견을 추출함으로써 사용자가 무엇에 관심을 갖고 있는지 더 자세히 이해할 수 있으며, 이는 설명 가능한 추천의 가능성을 더욱 드러냅니다.

본 논문에서는 높은 예측 정확도를 유지하면서 해석 가능한 추천을 생성하기 위한 EFM(Explicit Factor Model)을 제안합니다.

연구원들은 먼저 사용자 리뷰에 대한 구문 수준 감정 분석을 수행하여 명시적인 제품 기능과 사용자 의견을 추출한 다음 사용자 관심의 특정 제품 기능과 학습된 잠재 기능을 기반으로 권장 사항과 비추천을 생성합니다. 또한 항목이 권장되거나 권장되지 않는 이유에 대한 직관적인 기능 수준 설명이 모델에서 생성됩니다.

여러 실제 데이터 세트에 대한 오프라인 실험 결과는 이 연구에서 제안된 프레임워크가 등급 예측 및 Top-K 추천 작업 모두에서 경쟁 기준 알고리즘보다 성능이 우수하다는 것을 보여줍니다. 온라인 실험에 따르면 자세한 설명은 추천과 비추천이 사용자의 구매 행동에 더 큰 영향을 미치는 것으로 나타났습니다.

젊은학자상

ACM SIGIR Young Scholar Award는 정보 검색 연구, 학자 커뮤니티 구축 및 학문적 형평성 증진에 중요한 역할을 한 연구자를 표창하는 것을 목표로 하며, 박사 학위를 받은 지 7년 이내에 젊은 연구자에게 수여되어야 합니다. 칭화대학교 컴퓨터과학과 조교수 Ai Qingyao와 중국 과학기술대학교 사이버공간 보안 및 빅데이터 스쿨 교수 겸 박사 지도교수 Wang Xiang이 SIGIR 2024 Young 상을 수상했습니다. 학자상.

아이 칭야오

Ai Qingyao는 칭화대학교 컴퓨터공학과의 조교수입니다. 그의 주요 연구 분야는 정보 검색, 기계 학습 및 자연어 처리에 중점을 두고 있습니다. 주요 연구 방향은 정보 표현 학습, 순위 최적화 이론, 인터넷 검색 및 추천 및 스마트 정의에 대한 대규모 언어 모델 적용을 포함한 지능형 정보 검색 시스템의 연구 및 설계입니다.

왕샹

Wang Xiang은 중국 과학 기술 대학교 사이버 공간 보안 학교와 빅 데이터 학교의 교수이자 박사 과정 지도교수입니다. Wang Xiang 교수의 연구 관심 분야는 정보 검색, 데이터 마이닝, 신뢰할 수 있고 설명 가능한 인공 지능, 특히 추천 시스템, 그래프 학습 및 소셜 미디어 분석입니다.