Tekoälyn historian suurin läpimurto “Transformer” johti GPT-kielimalliin, johon jokainen moderni kielimalli perustuu

Electric Blue – loving it

8.11.2023. S-käyrän avulla voidaan kuvata oikeastaan minkä tahansa uuden innovaation teknologista kehitystä – ja toki myös käsi kädessä sen kanssa kulkevaa hypeä. Jatkuvista pienistä kehitysaskeleista huolimatta vielä ennen vuotta 2017 tekoälykehitys oli tyssännyt S-käyrän mukaisesti seinään, jonka murtaminen vaatisi uusia läpimurtoja. Geneeristä tekoälyä pidettiin käyttökelpoisen fuusioreaktorin kaltaisena haaveena, joka on aina 30–40 vuoden päässä tulevaisuudessa. Nykypäivänä jotkut kuvaavat aikaa ennen 2017 tekoälyn pimeänä keskiaikana (”Dark ages of AI”).

Koska tekoäly ei ollut käytännön tasolla vielä saavuttanut laajempia läpimurtoja, oli (kuten muillakin jämähtäneillä tieteenaloilla) eri koulukuntia, joilla oli omat argumenttinsa ja jotka kiistelivät keskenään oikeasta lähestymistavasta ongelmaan. Tekoälyjä kehitettiin räätälöidysti erilaisilla lähestymistavoilla eri käyttötarkoituksiin, kuten tekstin, kuvan tai äänen analysointiin. Yksi marginaalinen koulukunta oli lähestyä tekoälyä neuroverkkojen avulla, sillä neuroverkot vastaavat lähinnä ihmisaivojenkin toimintaa – miksi keinotekoinen neuroni olisi erilainen kuin biologiset neuronit? Neuroverkkojen ongelma kuitenkin tiedepiireissä oli, että niitä ei pystytä kuvaamaan matematiikan keinoin ja kaikessa tieteessä on (osin ihan tervekin) taipumus marginalisoida tällainen tutkimus.

Vuonna 2017 tapahtui kuitenkin läpimurto, kun eräät sitkeät tutkijat julkaisivat paperin ”Attention is all you need”. Julkaisu sai kyllä ison huomion heti tekoäly-yhteisössä, mutta jäi vähemmälle huomiolle useissa medioissa, sillä siitä oli ehkä hankalaa tehdä nopeasti klikkiotsikkoa tai oli veropäivä. Paperissa esitelty ”Transformer” -malli (tai -neuroverkkoarkkitehtuuri) loi loppujen lopuksi niin hyvän pohjan, että miltei käyttötarkoituksesta huolimatta, voitiin alkaa käyttämään samanlaista lähestymistapaa tekoälykehityksessä – esimerkkinä eri kielimallit, konenäkö tai äänentunnistus. Tämän yksittäisen läpimurron sekä tutkijoiden uskon neuroverkkoihin ratkaisuna lisäksi on tärkeää myös ainakin mainita samaan aikaan tapahtunut laskentatehon kasvu*, mikä mahdollisti suurempien neuroverkkojen analysoinnin.

OpenAI:n tutkijat ottivat ensimmäiseksi projektikseen Transformer -mallia käyttäen testata tekoälyään ja uutta kielimalliaan Dota 2 -pelissä. Dota 2 on haastava ja erittäin kilpailtu reaaliaikainen 5v5 -joukkueissa pelattava strategiapeli, jossa yhdistyy strateginen, taktinen, operatiivinen ja mekaaninen taito. Tutkijoiden tekemä tekoäly voitti rajatuissa olosuhteissa käydyn ottelusarjan silloisia maailmanmestareita vastaan, josta rohkaistuneena tutkijat jatkoivat kohti vielä haastavampia tosimaailman olosuhteita. Kyseinen ”saavutus” oli luonnollisesti vielä haastavampi suoritus, kuin noin 3 vuotta tätä aiemmin ehkä enemmän julkisuuttakin saanut Deepmindin tekemän AlphaGo-tekoälyn voitto Go:n maailmanmestarista.

Kesäkuussa 2018 OpenAI julkaisi Transformer-malliin perustuvan ensimmäisen Generative Pre-trained Transformer (GPT),-kielimallin (Large Language Model, LLM), joka toimi ensimmäisenä runkona generatiiviselle tekoälylle (GenAI). Käytännössä jokainen moderni kielimalli perustuu nykyään samaan GPT-teknologiaan. OpenAI:n alkoi tämän jälkeen kehittää noin vuosittain yksi toisensa parempia GPT -perusmalleja (foundation model)

GPT-teknologioiden ja “deep learning” -arkkitehtuuri “syvien neuroverkkojen” (deep neural network) kehitys johti siihen, että 2020-luvun alussa moni generatiivinen tekoäly alkoi hyväksyä luonnollisen kielen “prompteja” syötteenään.

GPT-3.5 -perusmalliin pohjautunut OpenAI:n ChatGPT julkaistiin marraskuussa 2022, josta voi varmaan sanoa, että nykyinen ”hype” sai eniten alkunsa, jos mitataan käyttäjämäärien mukaan. Muita samoihin aikoihin julkaistuja LLM chatbot:eja olivat muun muassa Microsoftin Copilot, Googlen Bard, Metan LLaMA, ja Anthropicin Claude sekä teksti-kuva -tekoälymallit Stable Diffusion, Midjourney, sekä DALL-E. Maaliskuussa 2023 uusin julkistettu GPT-4 -perusmalli tuli saataville maksulliseen ChatGPT Plus -versioon.

Nyt ehkä aika vetää henkeä blogin alun jälkeen ja hetken breikki julkaisemiseen (ainakin mun osalta) ja seuraavassa osassa yritän naputella yleisön pyynnöstä hieman eettisestä näkökulmasta tekoälykehitykseen ja mitä kehityksen kohteita on juuri tässä hetkessä tärkeää seurata siitä näkökulmasta.

*Yleensä teknologinen murros vaatiikin itse asiassa monta samanaikaista murrosta tapahtuakseen, kuten oli älypuhelimen tai sähköautonkin kohdalla.

Avatar
Timo Nieminen
https://selko.ai

Leave a Reply