Tutkimus: ChatGPT on kehno kertomaan vitsejä, kierrättää samoja vitsejä aina vain uudestaan

Petteri Pyyny
10. kesäkuuta, 2023 14:17

Tietysti tätäkin on pitänyt tutkia. Kaksi saksalaista tutkijaa on testannut ChatGPT:n ilmaisversion käyttämän GPT-3.5-kielimallin kykyä ymmärtää ja tuottaa huumoria.
Tutkimuksessa selvisi, että ChatGPT:n kyky tuottaa vitsejä on perin kehno, sillä tekoälyä pyydettiin kertomaan vitsi 1008 kertaa ja testatuista kerroista 90 prosentissa tapauksissa vitsi oli aina yksi kahdestakymmenestäviidestä samasta vitsistä.

Tutkijat päätyivät tulokseen, että ChatGPT on todennäköisesti oppinut vitsinsä opetusvaiheessa eikä se niinkään osaa luoda uutta huumoria valtavan opetusmateriaalinsa pohjalta. Tilanne on tietysti voinut muuttua GPT-4 -kielimallin osalta, joka otettiin käyttöön ChatGPT:n maksullisessa versiossa keväällä 2023.
Testi toteutettiin englanniksi, koska ChatGPT:n kielimallin suurin opetukseen käytetty materiaalilähde on englanniksi. Tekoälyn suosikkivitsiksi, eli vitsiksi, jota se tarjoili käyttäjille useimmin, osoittautui sanaleikki, joka ei käänny suoraan suomeksi:

Kysymys: Why did the scarecrow win an award?

Vastaus: Because he was outstanding in his field.

Pienen pieni osa tarjotuista vitseistä oli kuitenkin uusia - tai ainakaan ne eivät toistuneet testin aikana. Niissä tutkijoiden mukaan vaikutti siltä, että ChatGPT yhdisteli aiemmin oppimiensa vitsien elementtejä yhteen ja luotti siihen, että lopputulos toimii yhtä hyvin kuin sen alunperin oppimat vitsit.

Lisäksi mielenkiintoisena huomiona tutkijat havaitsivat, että ChatGPT pitää erityisen paljon tomaatteihin liittyvistä vitseistä (jotka nekään eivät aina täysin käänny suomeksi).

Yhteenvetona voitaneen todeta, että ChatGPT on yhtä luova huumorintajussaan kuin jokaisesta suvusta löytyvä setä, joka kierrättää samoja vitsejä vuodesta toiseen, tilanteesta riippumatta. Kenties tekoälyn seuraavassa kehitysvaiheessa kiskaistaan tässä suhteessa selkeä ero ihmiskunnan ja tekoälyn välille.