ChatGPT on hyvä, mutta se pohjautuu GPT-3 -malliin - GPT-4 on jo tulossa ja tätä se tarkoittaa
Järisyttävin teknologiauutuus vuosikausiin on ollut marraskuun lopulla julkistettu ChatGPT -tekoäly. Sen kyky vastailla sujuvalla suomella, englannilla - tai oikeastaan millä tahansa kielellä - lähes mihin tahansa kysymykseen on ihastuttanut ja myös säikäyttänyt ihmisiä ympäri maailmaa. Siinä missä se osaa vastata yksinkertaisiin kysymyksiin, se osaa myös olla omalla tavallaan luova. ChatGPT osaa vaikkapa selittää neuroverkon toiminnasta rap-kappaleen lyriikoilla, maailmankaikkeuden synnystä runomitalla - ja on se pistetty tekemään myös lukemattomia romaanien aloituksiakin.
Monet ovat kuitenkin hymähdelleet ChatGPT:lle siksi, että sen vastaukset ovat toisinaan väärässä - ja joskus jopa pelottavan pahasti väärässä. Mutta taustalla on tietysti sen rajallisuus, miten paljon pohjatietoa siihen on ladattu ja kuinka paljon erilaisia parametrejä se käsittelee muodostaessaan saatavilla olevasta tiedosta vastauksia.
ChatGPT pohjautuu OpenAI -yhtiön kehittämään GPT3 -tekoälymalliin. GPT3 on käytännössä kielimalli, joka sisältää syväoppimisen algoritmeja, joiden pohjalta se osaa "ymmärtää" sen mitä siltä kysytään - ja muodostaa myös vastauksensa sujuvana ja selkeänä kielenä. Se käyttää 175 miljardia parametria päättelyidensä tekemiseen ja pelkästään pohjalla oleva tekoälymalli vaatii noin 800 gigatavua tallennustilaa.
GPT3 julkaistiin vuoden 2020 toukokuussa ja se oli suora seuraaja OpenAI:n edelliselle mallille, GPT-2:lle. Pelkästään numerot auttanevat ymmärtämään loikan suuruutta, joka GPT-2:n ja GPT-3:n välillä tehtiin: GPT-2:n malli käytti 1,5 miljardia parametria tekstin ja sisällön "ymmärtämiseen" ja luomiseen - eli loikka kahden tekoälymallin välillä parametreissa mitattuna oli satakertainen.
GPT-3 on siis ChatGPT:n taustalla hyrräävä "kone", johon ChatGPT:n toiminta pohjautuu. Samaan malliin pohjautuu myös DALL-E joka osaa tuottaa kuvia käyttäjän kirjoittaman tekstin pohjalta. Eli GPT-3 on enemmän kuin pelkästään se mitä ChatGPT:stä näkyy ulospäin, vaan sitä voidaan käyttää moneen muuhunkin käyttötarkoitukseen. Jo ennen ChatGPT:n luomista useat lehdet olivat julkaisseet koemielessä GPT-3:n kirjoittamia artikkeleita - osoittaen sitä, miten pelottavan hyvää jälkeä GPT-3 osaa luoda.
Mutta tämäkin on tietysti vasta alkua. OpenAI on jo kehittämässä GPT-4 -tekoälymallia.
Mitä GPT-4 tuo tullessaan?
Kaikki GPT-4:een liittyvä tieto on pitkälti huhujen, vähäisten julkaistujen tietojen ja valistuneiden arvausten varassa. Kaikki kehitystyöhön perehtyneet ovat joutuneet allekirjoittamaan OpenAI:n kanssa vaitiolosopimuksen, joten mitään konkreettista tietoa tulevasta mallista ei tiedetä.
OpenAI started to train GPT-4. Release is planned for Dec-Feb.
— Igor Baikov 💙💛 (@Killa_ru) September 2, 2022
Siitä ollaan kuitenkin kohtuullisen varmoja, että GPT-4 on jo lähes valmis. Useimmat tekoälyalaa seuraavat veikkaavat GPT-4 -mallin julkaisun tapahtuvan alkuvuodesta 2023.
Se, miten paljon se parantaa tasoaan nykyiseen GPT-3 -malliin nähden, on mahdotonta sanoa. Mutta tietyt kehitystyöhön liittyvät huhut väittävät, että GPT-4 -malli käyttäisi 100 biljoonaa parametria päättelyiden tekemiseen. Eli kun hyppäys oli satakertainen GPT-2:sta GPT-3:een siirryttäessä, tällä kertaa loikka olisi tuhatkertainen.
Mielenkiintoinen kulma on myös se, että GPT-4 -mallia voidaan käyttää muullakin tavalla kuin syöttämällä sinne tekstiä. Se osaisi "ymmärtää" myös sille syötettyjä videoita, kuvia ja ääntä. Se myös osaa käyttää ääntä ja videota tietolähteenään. Eli sille voitaisiin antaa tehtäväksi katso puolestani Fight Club ja kirjoita minulle siitä kolmen sivun essee, jossa pohditaan elokuvan yhteiskunnallisia teemoja - ja vastaus putkahtaisi valmiiksi.
Samoin tietysti eri tyyppisten sisältöjen yhdistely onnistuu. Tipauta GPT-4 -mallille viime viikonloppuinen baarikeskustelun ääninauhoite ja pyytä referoimaan siitä tärkeimmät kohdat ranskalaisilla viivoilla. Onnistuu.
Jotain luottamuksesta tulevaan kertonee myös OpenAI:n toimitusjohtajan Sam Altmanin marraskuussa julkaisema twiitti:
-- Sam Altman (@sama) November 9, 2022
GPT-4:kään ei tule olemaan vielä "yleispätevä/yleinen tekoäly" (AGI eli Artificial General Intelligence), vaan ainoastaan askel kohti yleistä tekoälyä. AGI on tekoälytutkimuksen saralla se maali, johon tutkimuksessa käytännössä tähdätään: AGI olisi itsenäisesti ajatteleva tekoäly, joka pystyy oppimaan, keksimään täysin uutta ja ratkaisemaan tilanteita joihin sisältyy suuria epävarmuustekijöitä.
TÄMÄN UUTISEN KOMMENTOINTI ON PÄÄTTYNYT