meidän on oltava varuillaan tekoälyn "mallin romahtamisen" riskin suhteen
2024-10-01
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
kuvan lähde: "theweek" yhdysvalloissa
【tämän päivän näkökulma】
◎reportterimme zhang jiaxin
tekoäly (ai) on vaikuttanut edistymiseen monilla alueilla asiakaspalvelusta sisällöntuotantoon. mutta kasvava ongelma, joka tunnetaan nimellä "mallin romahdus", voi tehdä tyhjäksi kaikki tekoälyn saavutukset.
"mallin romahtaminen" on ongelma, joka tuotiin esille brittiläisessä nature-lehdessä tämän vuoden heinäkuussa julkaistussa tutkimuspaperissa. se viittaa tekoälyn luomien tietojoukkojen käyttämiseen tulevien sukupolvien koneoppimismallien kouluttamiseen, mikä saattaa vakavasti "saastuttaa" niiden tulosteen.
useat ulkomaiset tiedotusvälineet kertoivat, että tämä ei ole vain tekninen ongelma, josta tietotieteilijöiden on huolehdittava. jos "mallin romahtaminen" jätetään huomiotta, sillä voi olla syvällinen vaikutus yrityksiin, teknologiaan ja koko digitaaliseen ekosysteemiin. professori xiong deyi, tianjinin yliopiston luonnollisen kielen käsittelylaboratorion johtaja, selitti "mallin romahtamisen" ammatillisesta näkökulmasta science and technology daily -lehden toimittajan haastattelussa.
mitä tapahtuu "mallin romahtamiseen"?
useimmat tekoälymallit, kuten gpt-4, on koulutettu suurille tietomäärille, joista suurin osa tulee internetistä. aluksi nämä tiedot ovat ihmisten tuottamia ja heijastavat ihmisten kielen, käyttäytymisen ja kulttuurin monimuotoisuutta ja monimutkaisuutta. tekoäly oppii näistä tiedoista ja käyttää sitä uuden sisällön luomiseen.
tekoäly kuitenkin etsii verkosta uutta dataa kouluttaakseen seuraavan sukupolven mallia, tekoäly todennäköisesti absorboi osan luomastaan sisällöstä ja luo palautesilmukan, jossa yhden tekoälyn tulos tulee syötteeksi toinen. kun generatiivista tekoälyä koulutetaan omalla sisällöllään, sen tuotos voi myös poiketa todellisuudesta. se on kuin useiden kopioiden tekeminen asiakirjasta, jolloin jokainen versio menettää osan alkuperäisistä yksityiskohdista ja päätyy epäselvään, epätarkempaan tulokseen.
new york times raportoi, että kun tekoäly erotetaan ihmisen syöttämästä sisällöstä, sen tulosteen laatu ja monimuotoisuus heikkenevät.
xiong deyi selitti: "ihmisen todellisen kielen datan jakautuminen noudattaa yleensä zipfin lakia, eli sanojen tiheys on kääntäen verrannollinen sanojen järjestykseen. zipfin laki paljastaa, että ihmiskielidatassa on pitkähäntä-ilmiö, joka on , on olemassa suuri määrä matalataajuista ja monipuolista sisältöä."
xiong deyi selitti edelleen, että virheiden, kuten likimääräisen näytteenoton, takia todellisen jakauman long tail -ilmiö katoaa vähitellen mallin tuottamasta tiedosta todellinen jakelu, ja monimuotoisuus vähenee, mikä johtaa "mallin romahtamiseen".
onko tekoäly "kannibalisoida" itsensä huono asia?
mitä tulee "mallin romahtamiseen", amerikkalainen "theweek"-lehti julkaisi äskettäin artikkelin, jossa kommentoitiin, että tämä tarkoittaa, että tekoäly "kannibalisoi" itseään.
xiong deyi uskoo, että tämän ilmiön ilmaantumisen myötä mitä suurempi mallin tuottaman tiedon osuus on myöhemmässä mallin iteratiivisessa koulutuksessa, sitä enemmän seuraava malli menettää tietoa todellisesta tiedosta, mikä vaikeuttaa mallin koulutusta.
ensi silmäyksellä "mallin romahtaminen" näyttää olevan markkinarakoongelma, josta vain tekoälytutkijat tarvitsevat tällä hetkellä huolta laboratoriossa, mutta sen vaikutus on kauaskantoinen ja pitkäkestoinen.
amerikkalaisen atlantic monthly -lehden artikkelissa huomautettiin, että kehittyneempien tekoälytuotteiden kehittämiseksi teknologiajättiläisten on ehkä toimitettava ohjelmille synteettistä dataa eli tekoälyjärjestelmien tuottamaa simuloitua dataa. koska joidenkin generatiivisten tekoälyjen tuotos on kuitenkin täynnä harhaa, disinformaatiota ja absurdia sisältöä, ne siirretään ai-mallin seuraavaan versioon.
yhdysvaltain "forbes"-lehti raportoi, että "mallin romahtaminen" voi myös pahentaa tekoälyn harha- ja epätasa-arvoongelmia.
tämä ei kuitenkaan tarkoita, että kaikki synteettiset tiedot olisivat huonoja. new york times sanoi, että joissakin tapauksissa synteettiset tiedot voivat auttaa tekoälyä oppimaan. esimerkiksi kun suuren tekoälymallin tulosta käytetään pienemmän mallin kouluttamiseen tai kun oikea vastaus voidaan varmistaa, kuten matemaattisen ongelman ratkaisu tai paras strategia peleihin, kuten shakkiin, goon jne.
valtaako tekoäly internetin?
uusien tekoälymallien koulutuksen ongelma saattaa tuoda esiin suuremman haasteen. "scientific american" -lehti totesi, että tekoälysisältö valtaa internetin ja suurten kielimallien luoma teksti tulvii satoja verkkosivustoja. verrattuna ihmisen luomaan sisältöön tekoälysisältöä voidaan luoda nopeammin ja suurempia määriä.
openai:n toimitusjohtaja sam altman sanoi tämän vuoden helmikuussa, että yritys tuottaa päivittäin noin 100 miljardia sanaa, mikä vastaa miljoonan romaanin tekstiä, joista suuri osa virtaa internetiin.
internetin runsas tekoälysisältö, mukaan lukien bot-tweetit, naurettavat kuvat ja valekommentit, on lisännyt negatiivista käsitystä. "forbes"-lehti totesi, että "dead internet theory" uskoo, että suurin osa internetin liikenteestä, viesteistä ja käyttäjistä on korvattu roboteilla ja tekoälyn luomalla sisällöllä, eivätkä ihmiset voi enää määrittää internetin suuntaa. ajatus levisi alun perin vain online-foorumeilla, mutta on viime aikoina saanut lisää vetoa.
onneksi asiantuntijat sanovat, että "dead internet theory" -teoria ei ole vielä tullut todeksi. "forbes"-lehti huomautti, että valtaosa laajalti levitetyistä viesteistä, mukaan lukien syvälliset mielipiteet, terävä kielenkäyttö, terävät havainnot ja uusien asioiden määritelmät uusissa yhteyksissä, eivät ole tekoälyn luomia.
xiong deyi kuitenkin painotti edelleen: "suurten mallien laajalle levinneessä tekoälyn synteettisen datan osuus internet-tiedoista voi kasvaa ja kasvaa. suuri määrä heikkolaatuista tekoälyn synteettistä dataa ei ainoastaan hyödynnä internet-dataa myöhemmin. koulutusmallit tulee jonkinasteinen ”mallin romahtaminen”, ja sillä on myös kielteisiä vaikutuksia yhteiskuntaan, kuten syntyy virheellistä tietoa, joka johtaa joitakin ihmisiä harhaan. siksi tekoälyn tuottama sisältö ei ole vain tekninen ongelma, vaan myös sosiaalinen ongelma, jota on hoidettava turvallisesti tehokas vastaus kahdesta näkökulmasta tekoälyteknologian avulla.
(lähde: science and technology daily)
