uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Kalojen ja lampaiden länsituuli on peräisin Aofein temppelistä
Qubits |. Julkinen tili QbitAI

Suuri mallipiiri paljasti jälleen Daguan plagioinnin, tällä kertaa,"Syytetty" on edelleen kuuluisa Google DeepMind。

"Kantaja" huusi suoraan vihaisesti:He juuri pesivat teknisen raporttimme！

Erityisesti:

Google DeepMind -paperi, joka hyväksyttiin uuden sukupolven CoLM 2024 -konferenssiin, hylättiin. Omistaja huomautti, että se plagioi arXiviin vuosi sitten julkaistun tutkimuksen. Avoimen lähdekoodin tyyppi.

Molemmissa kirjoissa tutkitaan menetelmää mallitekstin luomisen rakenteen formalisoimiseksi.

Ongelma on siinä, että Google DeepMind -paperissa mainitaan selvästi "kantaja" -paperi.

Vaikka lainaukset mainittaisiinkin, "kantaja"-paperin kaksi kirjoittajaa, Brandon T. Willard (Brandon) ja R'emi Louf (Remy), väittävät silti, että Google plagioi, ja uskovat, että:

Googlen kuvaus näiden kahden eroista on "yksinkertaisesti naurettava".

Monet netilaiset herättivät hitaasti kysymysmerkin luettuaan paperin: Kuinka CoLM arvioi käsikirjoituksen?

Ainoa ero on, että konseptia on muutettu?

Katso nopeasti paperivertailu...

Kahden paperin vertailu

Katsotaanpa nopeasti näiden kahden paperin abstraktia vertailua.

Google DeepMindin artikkelissa sanotaan, että tokenointi aiheuttaa ongelmia rajoitetun kielimallin tuottamiseen. He esittelivät automaatioteorian näiden ongelmien ratkaisemiseksi.

Tämän menetelmän tarvitsee vain saada käsiksi kunkin tunnuksen dekoodattu looginen arvo, ja laskenta on riippumaton kielimallin koosta. Se on tehokas ja helppokäyttöinen lähes kaikissa kielimalliarkkitehtuureissa.

"Kantajan" lausunto on suunnilleen:

Tehokas viitekehys ehdotetaan parantamaan huomattavasti rajoitetun tekstin luomisen tehokkuutta rakentamalla indeksi kielimallin sanastoon.Yksinkertaisesti sanottuna se onVältä kaikkien loogisten arvojen läpikulkua indeksoinnin kautta。

Myös "ei riipu tietystä mallista".

Suuntaero on todellakin suuri, joten katsotaanpa tarkemmin.

Käytimme Google Gemini 1.5 Prota yhteenvedon tekemiseen näiden kahden paperin pääsisällöstä ja pyysimme Geminiä vertaamaan näiden kahden yhtäläisyyksiä ja eroja.

Mitä tulee "vastaavaan" Google-paperiin, Gemini tiivisti menetelmänsä seuraavastiMääritä detokenointi uudelleen äärellisen tilan muuntajan (FST) toiminnoksi。

Yhdistä tämä FST automaattiseen, joka edustaa kohdekieltä, joka voidaan esittää säännöllisellä lausekkeella tai kielioppilla.

Yllä olevan yhdistelmän avulla luodaan token-pohjainen automaatti, jota käytetään rajoittamaan kielimallia dekoodausprosessin aikana sen varmistamiseksi, että sen tulosteksti vastaa ennalta asetettuja muodollisia kielimäärityksiä.

Lisäksi Google-lehti teki myös sarjan säännöllisten lausekkeiden laajennuksia, jotka kirjoitettiin erityisesti nimetyillä sieppausryhmillä parantamaan merkittävästi järjestelmän tehokkuutta ja ilmaisukykyä tekstin käsittelyssä.

Mitä tulee "kantaja" -paperiin, Gemini tiivisti lähestymistapansa ytimen seuraavastiMuotoile tekstin luontiongelma uudelleen muunnoksiksi äärellisten tilakoneiden (FSM) välillä。

"Kantajan" erityinen menetelmä on:

• Luo FSM:itä käyttämällä säännöllisiä lausekkeita tai yhteydettömiä kielioppeja ja käytä niitä ohjaamaan tekstin luontiprosessia.
• Tunnista oikeat sanat tehokkaasti jokaisessa vaiheessa ja vältä koko sanaston läpikulkua rakentamalla sanastohakemisto.

Gemini listaa näiden kahden paperin väliset yhteiset piirteet.

Mitä tulee eroon näiden kahden välillä, se on vähän kuten edellinen nettimies sanoi. Yksinkertainen yhteenveto on: Google määrittelee sanaston FST:ksi.

Kuten aiemmin mainittiin, Google listasi kantajan paperin "oleelliseksi" työksi "Aiheeseen liittyvät työt":

Merkittävin tutkimus on Outlines (Willard & Louf, 2023), joka käyttää rajoitteina myös äärellisen tilan automaatteja (FSA) ja pushdown-automaatteja (PDA) - menetelmämme kehitettiin itsenäisesti vuoden 2023 alussa.

Google uskoo, että ero näiden kahden välillä on se, että Outlinesin menetelmä perustuu erityisesti suunniteltuun "indeksointiin", joka vaatii manuaalista laajentamista uusiin sovellusskenaarioihin. Sitä vastoin Google määritteli kokonaan uudelleen koko prosessin käyttämällä automaatioteoriaa, mikä helpotti FSA:n soveltamista ja yleistämistä kämmenmikroihin.

Toinen ero on se, että Google on määrittänyt laajennuksia tukemaan jokerimerkkien hakua ja parantamaan käytettävyyttä.

Google mainitsi Outlinesin myös esitellessään seuraavat kaksi toisiinsa liittyvää teosta.

Yksi niistä on se, että Yin et al. (2024) laajensivat Outlinesia lisäämällä mahdollisuuden "pakkata" tekstisegmenttejä esipopulaatioon.

Toinen on Ugare et al (2024) äskettäin ehdottama järjestelmä nimeltä SynCode. Se käyttää myös FSA:ta, mutta käyttää LALR- ja LR-jäsentimiä PDA:n sijaan kieliopin käsittelyyn.

Kuten Outlines, tämä menetelmä perustuu mukautettuihin algoritmeihin.

Mutta ihmiset, jotka syövät melonia, eivät tietenkään osta sitä kovin paljon:

CoLM-arvostelijoiden tulee ottaa huomioon. Minusta nämä eivät näytä erillisiltä "samanaikaisilta ponnisteluilta".

Netizen: Tämä ei ole harvinaista...

Heti kun tämä tapaus paljastui, monet nettikäyttäjät olivat vihaisia, että plagiointi oli häpeällistä, puhumattakaan "tämä ei ole ensimmäinen kerta, kun teknologiajätti on plagioinut pienen tiimin työtä".

Muuten, sekä Brandon että Remy työskentelivät etänä vuonna 2022 perustetussa AI Infra -yrityksessä Normal Computingissa, kun he julkaisivat kantajan artikkelin.

Muuten, osa Normal Computingin perustajatiimistä tuli Google Brainista...

Lisäksi Brandon ja Remy ovat nyt aloittaneet yhdessä yrityksen. Ja virallisella verkkosivustolla listattu GitHubin kotisivu on Outlines-varasto.

Palatakseni nettiläisiin, kaikki saa vielä enemmän vihaiseksi se, että "tästä tilanteesta on tullut yleinen".

Delftin teknillisen yliopiston postdoc Alankomaista jakoi kokemuksensa:

Saimme valmiiksi työn viime lokakuussa, ja siellä oli äskettäin hyväksytty paperi, joka käytti samoja ideoita ja käsitteitä, mutta ei edes lainannut paperiamme.

Yhdysvalloissa on myös eräs vanha mies Northeastern Universitystä, joka on vielä pahempi Hän on kohdannut tämän tilanteen kahdesti, ja tekijät olivat aina sama ryhmä. Ja ensimmäinen kirjoittaja vastapäätä myös lisäsi tähden GitHubiin...

Jotkut nettiläiset ilmaisivat kuitenkin erilaisia ​​mielipiteitä:

Jos blogikirjoituksen tai arvioimattoman esipainetun paperin julkaiseminen lasketaan huijaukseksi, niin kaikki pettävät, eikö niin?

Vastauksena Remy sanoi vihaisesti:

Hei kaverit, esipainetun paperin ja avoimen lähdekoodin julkaiseminen = tilanteen hyödyntäminen;
Kirjoita matematiikkapaperi, joka ei edes vaadi pseudokoodia = hyvä työ? ? ?

Veli Brandon sanoi myös Yuelle:

Avoimen lähdekoodin kirjoittaminen ja siihen liittyvien artikkeleiden kirjoittaminen on "toisten hyväksikäyttöä", mutta toisten töiden kopioiminen ja sanominen "Minulla oli tämä idea aikaisemmin" ja sen lähettäminen konferenssiin ei ole oikein? Kuinka vastenmielistä.

Syödään ensin meloni, mitä mieltä olet tästä? Voit halutessasi jatkaa keskustelua kommenttialueella~

Napsauta tätä saadaksesi kaksi paperia:
Google DeepMind -paperi: https://arxiv.org/abs/2407.08103v1
Kantajan asiakirja: https://arxiv.org/abs/2307.09702

Viitelinkit:
[1]https://x.com/remilouf/status/1812164616362832287?s=46
[2]https://x.com/karan4d/status/1812172329268699467?s=46
[3]https://x.com/brandontwillard/status/1812163165767053772?s=46