Minhas informações de contato
Correspondênciaadmin@informação.bz
2024-08-15
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Relatório do coração da máquina
Departamento Editorial de Coração de Máquina
Os colaboradores ganharam muito com esta conferência ACL.
O ACL 2024 de seis dias será realizado em Bangkok, Tailândia.
ACL é a principal conferência internacional na área de linguística computacional e processamento de linguagem natural. É organizada pela Associação Internacional de Linguística Computacional e é realizada anualmente. ACL sempre foi classificada em primeiro lugar em influência acadêmica na área de PNL e também é uma conferência recomendada pelo CCF-A.
A conferência ACL deste ano é a 62ª e recebeu mais de 400 trabalhos de ponta na área de PNL. Ontem à tarde, a conferência anunciou o melhor artigo e outros prêmios. Desta vez, foram concedidos 7 Best Paper Awards (dois inéditos), 1 Best Theme Paper Award e 35 Outstanding Paper Awards.
A conferência também concedeu 3 prêmios de recursos, 3 prêmios de impacto social e 2 prêmios de teste de tempo.
Além disso, o prêmio pelo conjunto de sua obra nesta conferência foi concedido a Ralph Grishman, professor do Departamento de Ciência da Computação da Universidade de Nova York.
A seguir estão informações específicas sobre o prêmio.
melhor papel
Artigo 1: Missão: Modelos de Linguagem Impossíveis
Introdução ao artigo: Chomsky e outros acreditam que a capacidade de aprendizagem de grandes modelos de línguas (LLM) é a mesma para línguas que podem ou não ser aprendidas por humanos. No entanto, há pouca evidência experimental publicada para apoiar esta afirmação.
O estudo desenvolveu um conjunto de línguas sintéticas de complexidade variada, cada uma projetada pela alteração sistemática de dados em inglês usando ordem de palavras e regras gramaticais não naturais, com o objetivo de sintetizar línguas que seriam impossíveis de serem aprendidas por humanos.
O estudo conduziu extensos experimentos de avaliação para avaliar a capacidade do modelo pequeno GPT-2 de aprender essas “linguagens impossíveis” e conduziu essas avaliações em diferentes estágios ao longo do treinamento para comparar o processo de aprendizagem de cada idioma. A principal conclusão do estudo é que o GPT-2 é difícil de aprender “línguas impossíveis” em comparação com o inglês, desafiando as afirmações de Chomsky e outros.
Mais importante ainda, o estudo espera que a sua abordagem abra uma linha de investigação frutífera, permitindo que diferentes arquitecturas LLM sejam testadas numa variedade de "linguagens impossíveis" para compreender como o LLM pode ser usado como uma ferramenta de investigação cognitiva e tipológica.
Artigo 2: Por que as funções sensíveis são difíceis para transformadores?
Resumo: Estudos experimentais identificaram uma série de vieses e limitações de aprendizagem dos transformadores, como a dificuldade persistente em aprender a computar linguagens formais simples, como PARITY, e um viés para funções de baixo grau. Contudo, a compreensão teórica permanece limitada e as teorias de representação existentes sobrestimam ou subestimam as capacidades de aprendizagem realistas.
Este estudo demonstra que na arquitetura do transformador, o cenário de perdas é limitado pela sensibilidade do espaço de entrada: transformadores cujas saídas são sensíveis a muitas partes da cadeia de entrada estão localizados em pontos isolados no espaço de parâmetros, resultando em polarização de baixa sensibilidade em generalização.
Este estudo mostra teórica e experimentalmente que a teoria unifica extensas observações experimentais sobre habilidades e vieses de aprendizagem de transformadores, como seu viés de generalização para baixa sensibilidade e grau, e a dificuldade de generalização por comprimento de paridade. Isto sugere que a compreensão dos vieses indutivos de um transformador requer o estudo não apenas de sua expressividade em princípio, mas também de seu cenário de função de perda.
Artigo 3: Decifrando a linguagem Oracle Bone com modelos de difusão
Introdução ao artigo: Oracle Bone Script (OBS) originado na Dinastia Shang da China, cerca de 3.000 anos atrás. É a pedra angular da história da linguagem e é anterior a muitos sistemas de escrita estabelecidos. Embora milhares de inscrições tenham sido descobertas, um grande número de ossos de oráculos permanece indecifrado, envolvendo esta língua antiga com um manto de mistério. O surgimento da tecnologia moderna de IA abriu novos campos para a decifração Oracle, colocando desafios aos métodos tradicionais de PNL que dependem fortemente de grandes corpora de texto.
Este artigo apresenta um novo método usando tecnologia de geração de imagens para desenvolver um modelo de difusão otimizado para decifração Oracle, Oracle Bone Script Decipher (OBSD). Utilizando a estratégia de difusão condicional, o OBSD gerou pistas importantes para a decifração do Oracle e abriu uma nova direção para a análise de línguas antigas assistida por IA. Para verificar a eficácia, os pesquisadores realizaram extensos experimentos no conjunto de dados Oracle, e os resultados quantitativos comprovaram a eficácia do OBSD.
Artigo 4: Estimativa Causal de Perfis de Memorização
Introdução ao artigo: Compreender a memória em modelos de linguagem tem implicações práticas e sociais, como estudar a dinâmica de treinamento de modelos ou prevenir violações de direitos autorais. Pesquisas anteriores definem memória como a relação causal entre “treinamento usando uma instância” e “a capacidade do modelo de prever essa instância”. Esta definição baseia-se num contrafactual: a capacidade de observar o que teria acontecido se o modelo não tivesse visto a instância. Os métodos existentes lutam para fornecer estimativas computacionalmente eficientes e precisas de tais contrafactuais. Além disso, esses métodos normalmente estimam a memória da arquitetura do modelo, em vez da memória de instâncias específicas do modelo.
Este artigo preenche uma lacuna importante ao propor uma abordagem nova, baseada em princípios e eficiente para estimar a memória com base em um projeto econométrico de diferença em diferença. Com esse método, os pesquisadores observam apenas o comportamento do modelo em um pequeno número de instâncias durante todo o processo de treinamento para descrever o perfil de memória do modelo, ou seja, sua tendência de memória durante o processo de treinamento. Em experimentos usando o conjunto de modelos Pythia, eles descobriram que a memória (i) é mais forte e mais persistente em modelos maiores, (ii) é determinada pela ordem dos dados e pela taxa de aprendizagem, e (iii) é estável em diferentes tendências de modelos, portanto. as memórias no modelo maior podem ser previstas a partir do modelo menor.
Artigo 5: Modelo Aya: um modelo de linguagem multilíngue de acesso aberto e com instruções ajustadas
Introdução ao artigo: Avanços recentes em grandes modelos de linguagem (LLMs) concentraram-se em um pequeno número de linguagens ricas em dados. Como os caminhos para avanços podem ser expandidos para além de outras línguas? A pesquisa apresenta o Aya, um modelo de linguagem generativa multilíngue em grande escala que segue instruções para 101 idiomas, mais de 50% dos quais são considerados de poucos recursos. Aya supera mT0 e BLOOMZ na maioria das tarefas, ao mesmo tempo que cobre o dobro de idiomas.
Além disso, a investigação introduz um extenso conjunto de novas avaliações, alargando o estado da arte em avaliação multilingue a 99 línguas. Finalmente, o estudo fornece uma investigação detalhada da composição ideal da mistura ajustada, remoção de dados e toxicidade, viés e segurança do modelo.
Artigo 6: Reconstrução de protolinguagem neural semissupervisionada
Motivo do prêmio: Esta pesquisa inovadora visa semiautomatizar a tarefa de reconstrução de protótipos de linguagem em linguística histórica, propondo uma nova arquitetura semissupervisionada. Este método supera os métodos supervisionados anteriores, introduzindo um processo de reflexão "protótipo-língua nativa" na reconstrução "língua nativa-protótipo". Este artigo é um bom exemplo de como modelos computacionais modernos, como codificadores e decodificadores neurais, podem contribuir para a linguística.
Artigo 7: Satisfiabilidade da Linguagem Natural: Explorando a Distribuição de Problemas e Avaliando Modelos de Linguagem Baseados em Transformadores (não publicado)
Motivo do prêmio: Este artigo descreve claramente um conjunto de dados de avaliação sintético para inferência lógica. Isto é um bom complemento para grandes conjuntos de dados de inferência onde não está claro quais habilidades estão sendo medidas. Teoricamente, existem de facto razões para esperar que alguns subconjuntos sejam mais difíceis do que outros, e estas expectativas são validadas no artigo. Dentro de cada categoria, os autores prestam especial atenção à amostragem dos casos verdadeiramente desafiadores.
Prêmio Testado pelo Tempo
O ACL Time Test Award premia trabalhos honorários que tiveram impacto de longo prazo nas áreas de processamento de linguagem natural e linguística computacional. Ele é dividido em dois prêmios: 10 anos atrás (2014) e 25 anos atrás (1999). de dois trabalhos são premiados a cada ano.
Artigo 1: GloVe: Vetores globais para representação de palavras
Introdução: Métodos para aprender representações de palavras em espaço vetorial têm tido sucesso na captura de regras semânticas e sintáticas refinadas usando aritmética vetorial, mas as regras sintáticas permanecem opacas. Este estudo analisa e esclarece quais propriedades o modelo precisa ter para que regras sintáticas apareçam em vetores de palavras.
Este estudo propõe um novo modelo de regressão linear logarítmica global - GloVe, projetado para aprender representações vetoriais de palavras. Este modelo combina as vantagens da fatoração de matriz global e dos métodos de janela de contexto local.
GloVe obteve o melhor desempenho de 75% na tarefa de analogia de palavras e superou os modelos relacionados na tarefa de similaridade de palavras e reconhecimento de entidade nomeada.
Motivo do prêmio: A incorporação de palavras foi a base dos métodos de aprendizagem profunda para processamento de linguagem natural (PNL) de 2013 a 2018 e continua a exercer uma influência significativa. Eles não apenas melhoram o desempenho das tarefas de PNL, mas também têm um impacto significativo na semântica computacional, como similaridade e analogia de palavras. Os dois métodos de incorporação de palavras mais influentes são provavelmente skip-gram/CBOW e GloVe. Comparado com o skip-gram, o GloVe foi proposto posteriormente. Sua vantagem relativa reside em sua simplicidade conceitual, otimizando a similaridade do espaço vetorial diretamente com base nas características de distribuição entre palavras, ao invés de indiretamente como um conjunto de parâmetros a partir de uma perspectiva simplificada de modelagem de linguagem.
Artigo 2: Medidas de Similaridade Distribucional
Introdução do artigo: O autor estuda medidas de similaridade de distribuição com o objetivo de melhorar as estimativas de probabilidade de eventos de co-ocorrência não vistos. A sua contribuição é tripla: uma comparação empírica de uma vasta gama de medidas; uma classificação de funções de similaridade com base na informação que contêm e a introdução de uma nova função que é superior na avaliação das distribuições dos agentes subjacentes;
Prêmio pelo conjunto de sua obra
O prêmio ACL pelo conjunto de sua obra foi entregue a Ralph Grishman. Ralph Grishman é professor do Departamento de Ciência da Computação da Universidade de Nova York, com foco em pesquisas na área de processamento de linguagem natural (PNL). É o fundador do Projeto Proteus, que fez contribuições significativas para a extração de informação (IE) e promoveu o desenvolvimento da área.
Ele também desenvolveu o Java Extraction Toolkit (JET), uma ferramenta de extração de informações amplamente utilizada que fornece vários componentes de análise de linguagem, como segmentação de frases, anotação de entidade nomeada, anotação e normalização de expressão temporal, marcação de parte do discurso, análise de parte e co- análise Refere-se à análise. Esses componentes podem ser combinados em pipelines de acordo com diferentes aplicações, que podem ser usados para análise interativa de frases únicas ou análise em lote de documentos inteiros. Além disso, o JET fornece ferramentas simples para anotação e exibição de documentos e inclui um processo completo para extrair entidades, relacionamentos e eventos de acordo com a especificação ACE (Automatic Content Extraction).
O trabalho do Professor Grishman cobre múltiplas questões centrais da PNL e teve um impacto profundo na moderna tecnologia de processamento de linguagem.
35 artigos pendentes
Prêmio de Melhor Artigo Temático
Tese: OLMo: Acelerando a Ciência dos Modelos de Linguagem
Citação: Este trabalho é um passo importante em direção à transparência e reprodutibilidade no treinamento de grandes modelos de linguagem, um passo à frente nos esforços da comunidade para progredir (ou pelo menos para permitir que outros pesquisadores que não são gigantes da indústria contribuam com urgência).
Prêmio Artigo de Recursos
3 artigos ganharam o Resource Paper Award.
Artigo 1: Latxa: um modelo de linguagem aberta e conjunto de avaliação para o basco
Instituição: Universidade do País Basco, Espanha
Razões para a premiação: Este artigo descreve detalhadamente os detalhes da coleta do corpus e avaliação do conjunto de dados. Embora relevante para a investigação da língua basca, esta metodologia pode ser estendida à construção de grandes modelos para outras línguas de poucos recursos.
Artigo 2: Dolma: um corpus aberto de três trilhões de tokens para pesquisa de pré-treinamento de modelos de linguagem
Motivo da concessão: Este artigo demonstra a importância do gerenciamento de dados na preparação de conjuntos de dados para o treinamento de grandes modelos de linguagem. Isso fornece insights muito valiosos para uma ampla gama de pessoas na comunidade.
Documento 3: AppWorld: um mundo controlável de aplicativos e pessoas para avaliação comparativa de agentes de codificação interativa
Razões da premiação: Esta pesquisa é um trabalho muito importante e surpreendente na construção de simulação e avaliação de ambientes interativos. Isso incentivará todos a produzir benchmarks dinâmicos mais rígidos para a comunidade.
Prêmio Impacto Social
3 trabalhos ganharam o Prêmio Impacto Social.
论文 1：Como Johnny pode persuadir LLMs a fazer o jailbreak deles: repensando a persuasão para desafiar a segurança da IA humanizando LLMs
Motivo da premiação: Este artigo explora o tema segurança de IA – jailbreak, estudando um método desenvolvido no campo da pesquisa em ciências sociais. A pesquisa é muito interessante e tem potencial para ter um impacto significativo na comunidade.
Artigo 2: DIALECTBENCH: Um benchmark de PNL para dialetos, variedades e idiomas intimamente relacionados
Motivo do prêmio: A variação dialetal é um fenômeno pouco estudado nas áreas de PNL e inteligência artificial. No entanto, do ponto de vista da linguagem e da sociedade, a sua investigação é de altíssimo valor e tem implicações importantes para as aplicações. Este artigo propõe uma referência muito nova para estudar este problema na era LLM.
Artigo 3: Tomando cerveja depois da oração? Medindo o preconceito cultural em grandes modelos de linguagem
Razões para o prêmio: Este artigo demonstra uma questão importante na era do LLM: o preconceito cultural. Este artigo estuda a cultura árabe e o ambiente linguístico e os resultados mostram que precisamos considerar as diferenças culturais ao projetar LLMs. Portanto, o mesmo estudo pode ser replicado em outras culturas para generalizar e avaliar se outras culturas também são afetadas por este problema.
Colete e organize as informações mais recentes e torne-as gratuitas para que todos possam verificar.
Correspondênciaadmin@informação.bz