Salainen kaava tekoälyn kehittymiselle viimeiset 20 vuotta

7.1.2024. Tämä kirjoitus pohjustaa toivottavasti max paria seuraavaa tähänastista tekoälykehitystä käsittelevää tekstiä. Tekisi mieli kirjoittaa lähinnä siitä, mitä juttuja pitäisi tehdä seuraavaksi 2024, mutta tilikirjat on sulkematta ja EU AI Act:in mukainen avoin, läpinäkyvä, kaikille saatavilla oleva ja toivottavasti edes jotenkin selkokielinen raportti vuoden 2023 tekoälykehityksen osalta on hoidettava kunnialla. Voin sen verran spoilata 2024 osalta, että toisin kuin useimmat olettivat, edellisen lauseen ”pitäisi tehdä” ei viitannut itseeni kuin pieneltä osin kaikesta tekemisestä.

Jos mennään otsikkoon, niin se ei ole edes ihan täysin klikkiotsikko, sillä tekoälyn kehittymiselle ainakin sinnepäin on ollut kokoajan kaava. Ei ehkä salainen, mutta veikkaan, että sen mukaan menemällä pääsi ehkä tsägällä 1 % joukkoon tutkijoista, futuristeista tai mistä vain ennustajista – joten sen luulisi olevan melko piilossa pidetty. Myös allekirjoittanut on betsannut jo about 20 vuotta sitten sen puolesta, että todennäköisesti tekoälyn suhteen alkaa tapahtua viimeistään 2020-luvulla konkreettisia ja isompia juttuja. Mitään hajua (kuten ei kellään) toki ollut tästä tavasta saavuttaa läpimurto generatiivisen tekoälyn kautta. Mutta ihan jos uskoi Moore’n lain kautta eksponentiaalisen laskentatehon kasvun jatkuvan, sen näki lähestyvän 2020 tienoilla ihmisaivojen laskentatehoa ja siten oli ihan loogista olettaa asioita alkavan silloin tapahtua tekoälyn suhteen. Tätä ei pidä sotkea tekoälyn tietoisuuteen, mikä onkin sitten jo vaikeampi homma ainakin itse lähteä veikkaamaan, vaikka joillekin filosofeille sekin lienee simppeliä. Toisaalta sitten kun tekoäly ylittää ihmisen kyvykkyyden, ei liene viisasta olettaa sen olevan ainakaan vähemmän tietoinen. Mutta käydään läpi alkuun hieman eksponentiaalista kasvua.

Eksponentiaalinen kasvu on nähtävissä Moore’n lain lisäksi esimerkiksi biologiassa siinä miten mikro-organismit lisääntyvät tai virukset leviävät. Muita esimerkkejä ovat muun muassa talouskasvu ja korkoa korolle -efekti, ydinreaktion eteneminen tai vaikka memejen leviäminen sosiaalisessa mediassa. Nämä kaikki ovat tunnettuja esimerkkejä, mutta oikeasti eksponentiaalista kasvua tapahtuu hyvin monessa asiassa. Uuden, oleellisen teknologian käyttöönotto globaalisti on esimerkiksi eksponentiaalista, vaikka ennusteet ovat lähes aina lineaarisia. En muista vielä analyytikkoa, joka olisi uskaltanut ennustaa muuta kuin lineaarista kasvua (tai tietenkin negistellä koko homman olevan hypeä), joten en seuraa heitä, kuin ehkä huumorilla.

ChatGPT:n tekoälymallit kehittyivät moninkertaisesti eksponentiaalisesti jo aiemmin, mutta pitää huomioida vielä monta muutakin vaikuttavaa tekijää. ChatGPT:n käyttäjämäärän kasvu oli eksponentiaalista ja se osaltaan paransi tekoälymallia eksponentiaalisesti. Itse asiassa käyttäjät parantavat tekoälymallia eksponentiaalisesti, vaikka käyttäjämäärä pysyisi samana, sillä malli oppii käyttäjiltä aina enemmän. Lisäksi se antoi OpenAI:n eksponentiaalisen valuaation kasvun kautta eksponentiaalisesti rahaa tuotekehitykseen ja laskentatehoon. Tekoälytutkijoiden määrä on todennäköisesti kasvanut eksponentiaalisesti aina 2018 lähtien teknologisen läpimurron vuoksi. Tekoälykehittäjien määrä myös. Ja nyt käytännössä viimeisen vuoden aikana on mahdollistunut kenelle tahansa kehittää omia tekoälyjä, mikä kiihdyttää edelleen kehitystä.

Isot muutokset tai transformaatiot tapahtuvat yleensä aina samalla tavalla S-käyrää noudattaen, sillä isoihin muutoksiin liittyy nykyään aina monta yhtäaikaista, eksponentiaalisesti kehittyvää teknologiaa. Energiapuolella esimerkiksi vastaavia transformaatioita nähdään nyt esimerkiksi akkujen tehon ja aurinkovoiman osalta.

Näyttää selvältä, että modernin tekoälykehityksen osalta tuskin ollaan enää early adoptionissa (vaikka ei voi poissulkea), vaan kyse siitä, missä kohtaa ”growth”-vaihetta ollaan. Jotkut meistä toki ennustavat joka ikinen päivä, että nyt ollaan ”maturity point”:ssa tai hypekäyrän huipulla – ja joku päivä he tulevat myös olemaan oikeassa! Vaikka toki eivät tiedä sitä sen enempää kuin sen esimerkiksi 2000 päivän aikana, kun olivat väärässä. Mutta myöhemmin voi ottaa ilon irti, kuinka ennusti oikein laskupisteen ja alkaakin jo ennustaa päivittäin seuraavan ison teknologian laskua – tai siis toki sitä ennen vielä sen täysin failaamista, tyyliin sähköautot 😊

  • Laskentatehon kasvu on ollut eksponentiaalista jatkuvasti eikä ole syytä odottaa sen loppuvan
  • Teknologinen kehitys on yleensä luonteeltaan eksponentiaalista, Mooren laki ei ole poikkeus
  • Uuden teknologian käyttöönotto on luonteeltaan eksponentiaalista
  • Teknologiainnovaatioiden kehitys noudattaa S-käyrää, joita on todennäköisesti monta peräkkäin
  • Parhaat mahdollisuudet uusille yhtiöille syntyvät, kun monta eri teknologiaa samanaikaisesti tulee riittävän halvaksi – monien eri teknologioiden kustannuskäyrien seuraaminen, ennustaminen ja hyödyntäminen hyvällä risk/reward -suhteella on avain onneen, esimerkkeinä vaikka kaikille tutut älypuhelin sekä sähköauto

Yhtenä mun ajatteluun ainakin hieman vaikuttaneena tekijänä on syytä mainita opiskeluajoilta ainakin 2005 julkaistu Ray Kurzweilin ”Singularity is Near” sekä toki osin Kurzweilin muu tuotanto. En ollut kaikesta lainkaan samaa mieltä, mutta pääpointtinaan Kurzweil ymmärsi eksponentiaalisen laskentatehon kasvun Mooren lain kautta oikein. En ole itse ikinä nähnyt mitään syytä epäillä Mooren lakia, joka on osoittanut, että kestää paradigman muutokset myös.

Kurzweil oli lopulta täysin oikeassa Mooren lain osalta aina tähän päivään asti ja veikkaisin itse, että tulee myös olemaan vielä 2045, kun ennusti lopulta singulariteetin tapahtuvan. Kurzweil sovelsi samaa eksponentiaalista kasvua vain vähän liian suureen määrään eri aloja, kuten esimerkiksi aivojen toiminnan ymmärtämiseen, mitä itse en osta vieläkään. Toisin kuin DNA:lla pystytään selittämään elämää, en ole ihan varma löydetäänkö ikinä sellaista neuronien yhdistelmää, mikä selittäisi esimerkiksi jonkun monimutkaisen tunteen liittyen moneen eri henkilöön. Eli että ymmärrettäisiin tietoisuutta.

Erityisesti kirjassa mainittu ”Law of accelerating returns” on kestänyt ainakin osittain aikaa. Kurzweil tuntui olevan ainakin tuohon aikaan (ja tod näk vieläkin) yksi harvoista,joka ymmärsi ylipäänsä eksponentiaalisen kasvun, mutta lisäksi mikä sen vaikutus on laskentatehon kautta tekoälyn kehitykseen ja milloin tekoäly ohittaa mahdollisesti ihmisen älykkyyden. Tulevaisuuden ennustaminen on vaikeaa. Nyt 20 v myöhemmin voi sanoa, että tutkijoista ja ”asiantuntijoista” Kurzweil oli erittäin poikkeuksellinen siinä, että hän oli edes osittain käryllä homman etenemisestä. Pelkästään se, jos ymmärsi laskentatehon kasvavan eksponentiaalisesti, eikä ennustanut sen taantuvan tai muuttuvan lineaariseksi, pääsi varmaan heittämällä top 5 % tulevaisuuden ennustajista, ehkä top 1 %. Kukaan ei kuitenkaan lopulta pystynyt ennustamaan tekoälyläpimurron tapahtuvan tekstin sanojen painoarvoa laskevaan ja sen kautta seuraavaa sanaa ennustavan, generatiivisen neuroverkkoarkkitehtuurin kautta.

Kurzweil ei tehnyt kovin monia suoria ennustuksia tulevaisuudesta (koska ne ovat yhtä järkeviä kuin business case arvioitaessa asioita pitkällä aikavälillä), mutta ennusti singulariteetin tapahtuvan noin vuonna 2045 ja tekoälyn läpäisevän Turingin testin vuonna 2029. Turingin testiä ei pidetä enää tänä päivänä kovin järkevänä mittarina tekoälyn kehitykselle, mutta GPT-4 kyllä biittaa sen nyt vuonna 2023 ja tulkitsijan mukaan varmaan jo GPT-3.5 vuonna 2022. Eli näyttäisi siltä, että vaikka Kurzweilin ennustuksia pidettiin tietenkin suurimmaksi osaksi päättöminä tai utopistisina, ainakin tekoälyn osalta hän oli pikemminkin liian konservatiivinen. Mä voin ihan rehellisesti sanoa, että mun mielestä Kurzweilin ennusteet kuulostivat järkeviltä tekoälyn suhteen jo tuolloin. Vähän ehkä hauska yhteensattuma, että nykyaikaiset tekoälymallit alkoivat olemaan älykkäitä juuri siinä vaiheessa, kun niiden neuroverkoissa oli noin 100 miljardia parametria, kun aivoissa on noin 86 miljardia neuronia.

Vuodesta 2010 Googlella töissä ollut Kurzweil sai tietenkin eniten osakseen tietenkin kritiikkiä. En perusta omaa maailmankuvaa häneen tai kehenkään muuhunkaan ja en suosittele sitä muillekaan. Yhdenkään kirjan, tubettajan, linkkaripostaajan tai twitteristin ei kannattaisi antaa vaikuttaa omaan ajatteluun tiettyä määrää enempää. Paitsi tietysti ajan kautta voi antaa tietyille henkilöille tai konsepteille enemmän painoarvoa. Tähän on syytäkin, muutenhan olisi jo kieltäytynyt oppimasta lisää ja se on ollut harvalle avain onneen tässä maailmassa. Tykkään itse kuunnella enemmän heitä, ketkä ovat olleet aiemmin oikeassa tai pitkällä aikavälillä edes vähän oikeassa, mutta nää on tietenkin ihan makuasioita. Kurzweil oli oikeassa Moore’n lain kehityksen osalta ja teki siitä ihan järkeviä päätelmiä tekoälyn suhteen – sekä ymmärsi eksponentiaalisen kasvun. Vaikkei uskoisi, niin jostain syystä näitä konsepteja ei oikein ymmärrä tänäkään päivänä silti juuri kukaan analyytikko.

Tarinan opetus ei ole siis siinä, että alkaa uskomaan random ennustajia tai futuristeja. Vaan, että käyttää omaa järkeään ja jos haluaa yrittää ymmärtää jotain asiaa, kannattaa lukea aina suoraan tilastoja uutisten jne sijasta. Uutisten analyytikot ja muut asiantuntijat tekevät lineaarisia ennusteita lähes aina, vaikka läheskään aina ei pitäisi. Tavallaan ymmärrän tämän, sillä on tuulimyllyjä vastaan taistelemista (vähän kuin nämä kehityshommat) perustella eksponentiaalista kasvua ennustava käyränsä jollekin uutistoimiston vastaavalle -lineaarisella kun saisi olla rauhassa (kuten yleensä jos ei kehitä). Helpompi sanoa: ”Vaikka kasvu onkin tähän asti näyttänyt nopealta, tulevaisuus tulee jatkumaan tästä eteenpäin aina lineaarisena”. Erityisesti, kun katsojakin on jo tottunut lineaarisiin käyriin ja ennusteisiin – saaden mitä haluaa. Win-win, molemmat osapuolet ovat tyytyväisiä.

Laitetaan loppuun vielä huumoriarvoksi pari käppyrää kuvastamaan yllä olevaa ilmiötä. Never trust an analyst.

Mikäli et lukenut vielä blogin (pitkähköä) esittelyosaa, luethan sen ja disclaimerit ensin täältä. Suositan myös tarvittaessa tutustumaan karkeaan, jatkuvasti päivittyvään listaan keskeisestä terminologiasta.

  • Arkistojen todellinen yllätyspommi: esittelyssä Raideliikennelain Ratkaisija

    No huhhuh. Kaikkea sitä löytääkin. Olin aidosti unohtanut täysin, että mun on pitänyt tehdä joskus juttu ilmeisesti “Raideliikennelain Ratkaisijasta”, jonka oon aikaleimojen mukaan kyhännyt joskus helmikuun alussa – tää olikin varmaan ihan viimeisiä mitä enää GPT Builderilla tuli tehtyä. Katselin jostain syystä luonnollisesti tiedostotyypin mukaan lajiteltua** .docx kansiotani dokumenttikansiossa ja luulin huomaavani nimeltään tän blogin…

  • Taantumakauden loppuun myytinmurto: “kaikkihan osaavat säästää,..”

    Kirjoitan tän poikkeuksellisesti suomeksi ja koska ei liity kovin paljon tekoälyyn suoraan, tein uuden kategoriankin tälle “leadership”. Kirjoitan suomeksi siksi, että Suomi on niin älyttömän postsyklinen talouden suhteen, että täällä firmoilla on vielä täysi säästömoodi, kun esimerkiksi jenkeissä en edes muista kuinka kauan siitä on, kun alkoi posia näkymään. Vaikken hirveästi seuraa uutisia, niin tällä…

  • Ilya Sutskever and Jan Leike gone

    Have to write a quick update, as just today two main figures I mentioned in November in my post “Who decides the values of the coming superintelligence” left OpenAI. “Paljon tästä kaikesta lepää yksittäisten ihmisten ja heidän tiimiläistensä harteilla, joista on syytä mainita vähintään OpenAI:n Chief Scientist Ilya Sutskever sekä Head of Alignment Jan Leike.” Ilya was obvious…

Avatar
Timo Nieminen
https://selko.ai

Leave a Reply