ChatGPT en AI als het (on)heil voor onze tijd

30 jaar geleden

30 jaar geleden trainde ik al neurale netwerken op mijn 80386. Dat deed ik met de trage voorganger van ChatGPT, Open AI en vele ander klonen die ondertussen hun krachten meten op internet. Hoewel de resultaten van die systemen onze verwachtingen ver lijken te overtreffen, is er fundamenteel niets veranderd in die tijd. De algoritmes zijn nog steeds gebaseerd op statistische methodes en modellen.

Maar net als alles is ook AI groter, sneller en complexer geworden. En dat veroorzaakt navenant grotere problemen; zag ik in De prijs van AI (een uitzending van VPRO’s Tegenlicht). Zo kritisch als die documentaire ben ik niet over ChatGPT. Maar het mag van mij wel wat kritischer worden benaderd dan ik nu om me heen meestal zie gebeuren. Hieronder heb ik dat voor mezelf op een rij gezet. Want wat is de prijs die we met z’n allen betalen voor het heil dat ChatGPT ons ook brengt?

Luister naar deze blog op Spotify of Anchor

Hallucinerende ChatGPT en Open AI

Tot vandaag las ik alleen mee met heel veel mensen die allerlei vragen stelden aan AI. Zelf gebruikte ik tot op heden nog geen AI-chatbots (echt waar!). Vandaag heb ik die ban voor heel even gebroken. Ik las dat AI soms ook hallucineerde en zag er voorbeelden van. Ik las bijvoorbeeld dat de prompt ’tent en kampvuur op een bergtop in de schemering’ soms vreemde resultaten opleverde. En inderdaad: verschillende bots toonden me een vergelijkbaar hallucinerend resultaat. Het voorbeeld hierboven kreeg ik via Microsoft Bing op een presenteerblaadje aangeboden door Open AI.

Het plaatje lijkt realistisch en het duurt even voordat je ziet wat er niet klopt. Maar al bij een eerste blik voel je aan dat AI er met dit plaatje een potje van heeft gemaakt. Begrijpt AI eigenlijk wel wat het produceert?

Begrijpt ChatGPT wel wat het leest?

In 1994 verdiepte ik me voor mijn afstuderen in de vraag of computers kunnen denken. Toen kwam ik al tot de conclusie dat je die vraag pas kunt beantwoorden als je definieert wat denken is. En verschillende definities voor denken, leren en begrijpen leiden tot verschillende antwoorden op de vraag naar denkende computers.

Eén van de vragen waarmee ik me destijds bezighield was of computers begrijpen wat jij typt. In mijn zoektocht stuitte ik al snel op het artikel over de Chinese Kamer van John R. Searle. Voor de echte geïnteresseerden is dat artikel nog steeds terug te vinden op https://web-archive.southampton.ac.uk/cogprints.org/7150/1/10.1.1.83.5248.pdf (Searle, J., 1980, ‘Minds, Brains and Programs’, Behavioral and Brain Sciences, 3: 417–57).

De Chinese Kamer is een gedachtenexperiment. Stel dat we jou (tijdelijk) opsluiten in een ruimte: een Chinese Kamer. Stel verder dat wij ons laten helpen door een Chinees sprekende vriend. Via een lopende band schuiven wij een in het Chinees gestelde vraag naar binnen. Jij begrijpt die Chinese tekens niet. Toch? Maar je kunt je wel verdiepen in een dikke stapel Engelse boeken. En die boeken vertellen jou precies welke Chinese tekens je in welke volgorde naar buiten moet schuiven (als reactie op onze vraag). Onze Chinees sprekende vriend reageert verbaasd, want hoe kan die Chinese Kamer die vraag nou begrijpen? Aan jou de vraag of jij in die kamer het Chinees inderdaad begrijpt.

Hoe werken ChatGPT en Open AI?

Ik zei het net al: sinds 1994 is er niets fundamenteels veranderd. Het enige verschil zit ‘m erin dat de techies er eindelijk business in zagen. Het enige verschil? Vandaag kunnen zij ook nog eens gebruik maken van vele malen snellere en grotere computers. En daarmee rekenen ze vele malen complexere statistische modellen en methodes door. Wat in 1994 op mijn 80386 nog 24 uur kon duren kan nu bij wijze van spreken in een milliseconde.

OK. Statistiek. Maar hoe dan? Hoe doen Open AI en de andere systemen dat? Wat doet ChatGPT met mijn vraag naar kampvuur, tent en schemering? Plat gezegd hebben ze alle plaatje op het internet gekoppeld aan relevante sleutelwoorden. Daarna hebben ze die enorme berg met gegevens ingevoerd in Open AI. Met al die gegevens wordt het systeem (m.b.v. machine learning) getraind. Zo ontstaat een enorme stapel met boeken die Open AI vertellen hoe welke (stukjes van) plaatjes gekoppeld zijn aan welke sleutelwoorden. Tot zover de stapel met Engelse boeken die jou in de Chinese Kamer vertelden wat je moest doen.

Want ChatGPT is niet heel veel meer dan een zoekbox voor de Chinese Kamer waarin Open AI zich heeft opgesloten. In AI-termen een eeuwigheid geleden (vorig jaar nog) stelden we daarmee een vraag aan Google Search. Nu stellen wij die vraag in feite aan Open AI dat ons (op basis van statistische berekeningen) antwoord geeft op onze vraag. En met een beetje pech voelen we ons overdonderd door het resultaat. Dat ChatGPT dit kan…

Hoe relevant is die vraag van Searle vandaag?

En daarmee zijn we terug bij de vraag van Searle. Begrijpt Open AI de antwoorden die het geeft? Ik zou zeggen: nee! Maar dat zeg ik omdat ik beelden heb bij leren, begrijpen en weten (zie mijn afstudeerverslag uit 1994). Een ik-ben-mijn-brein-er (zoals Dick Swaab) zou een heel ander antwoord geven op die vraag. En samen komen we er niet echt uit. Want ook over de criteria voor een goed antwoord worden we het niet eens. Dus…

Het modernisme is op sterven na dood. Er wordt nog steeds modern gedacht, maar we worden het niet meer eens en dat hoeft ook niet meer. Want: leve het postmodernisme! Ken je dat begrip nog niet? Dat geeft helemaal niets, want Rikko Voorberg, Gerko Tempelman en Bart Kalkman leggen je het haarfijn uit. Ze schreven er het toegankelijke boek Onzeker weten, Inleiding in de radicale theologie over (Utrecht, 2022).

Maar terug naar de vraag van 30 jaar geleden (naar de hoofdvraag voor mijn afstuderen): begrijpt Open AI wat het produceert? na 30 jaar vind ik die vraag niet zo heel relevant meer. Tegenwoordig ben ik docent en pas in tweede instantie ICT-er. Als ik nu opnieuw zou moeten afstuderen, zou mijn vraag dan ook anders zijn. Dan zou ik de vraag naar de betrouwbaarheid van de antwoorden van Open AI veel belangrijker vinden. En nog belangrijker zou ik daaraan voorbij willen vragen: wie beoordeelt die betrouwbaarheid en wat heb je daarvoor nodig?

ChatGPT en Open AI in de praktijk van het onderwijs

En daarmee zitten we midden in de vragen waar we in het onderwijs al maanden mee worstelen. En eigenlijk weten we nog niet goed wat we ermee moeten. Als studenten de uitwerking van hun opdrachten inleveren, beoordeel ik waarschijnlijk niet hun werk, maar dat van ChatGPT. De vraag is dus niet of, maar hoe ze dat doen. 1,5 miljoen Nederlanders gebruiken ChatGPT (of een variant daarvan). En dat waren cijfers van alweer ‘heel lang geleden’ (maart 2023). Mijn studenten gebruiken het dus ook; als ondersteuning bij hun werk of om het resultaat van ChatGPT 1:1 te kopiëren. En zacht gezegd ben ik niet heel erg onder de indruk van het resultaat. Bij een groot deel van de studenten gaat dat namelijk ten kosten van de kwaliteit van hun ingeleverde werk.

Mijn peers vertellen mij dat de antwoorden van ChatGPT vergelijkbaar zouden zijn met die van een 2de-jaars BSc-student. Maar op basis van de beperkte empirische gegevens die ik persoonlijk tot mijn beschikking heb moet ik andere conclusies trekken.

In ICT-land gebruiken we vaak het gezegde ‘garbage in: garbage out‘. Studenten stellen óf niet de goede vragen aan ChatGPT óf ze kunnen de betrouwbaarheid van het resultaat niet beoordelen. Hun ICT-antwoorden liggen dan in ieder geval maximaal op het niveau van bijvoorbeeld een 2de-jaars HRM-student. Maar wat ik ook zie is dat de betere studenten van 1 (zijzelf) + 1 (ChatGPT) 3 weten te maken.

ChatGPT en Open AI als uitdaging voor het onderwijs

Het onderwijs zal de komende jaren veranderen; zoals dat ook gebeurde in het wiskundeonderwijs toen de rekenmachine er ineens was. Om bijv. te kunnen programmeren zullen we ze andere vaardigheden moeten leren. Om de betrouwbaarheid van de antwoorden van ChatGPT te kunnen beoordelen zullen we ze nog steeds dezelfde basiskennis moeten leren. Maar dat zal niet meer voldoende zijn. We zullen ze ook moeten leren om de juiste vragen te stellen en samen met ChatGPT te programmeren.

Programmeren wordt een ander beroep. Prompten (het formuleren van goede vragen voor ChatGPT) wordt het vak van de toekomst. Ontwerpen (in welke vorm dan ook) en testen (ook samen met ChatGPT) zullen belangrijker worden; is mijn inschatting. We zullen hen dus anders moeten leren leren. Daarvoor zullen we nog intensiever gebruik moeten maken van de cognitieve inzichten waarover ik schreef in mijn blog over A Mind for Numbers van Barbara Oakley.

En in dat proces zullen we onder ogen moeten zien dat een aantal studenten hierin vaak verder is dan wij. Als we lef hebben kunnen we deze studenten inzetten om de omslag naar AI-vaardig onderwijs sneller te maken.

Maar mijn verantwoordelijkheid gaat veel verder

Maar daarmee zijn we er nog lang niet. Qua inzicht in de bruikbaarheid van ChatGPT lopen ze misschien voor op ons. Maar socialisatie en subjectificatie kunnen we niet aan henzelf overlaten (zie voor die begrippen mijn blog over Het prachtige risico van onderwijs van Gert Biesta). Ze hebben namelijk nog geen idee van wat er later van hen wordt verwacht.

Ze hebben er wel beelden bij. Maar die beelden zijn vaak niet veel meer dan een vertaling van hun wensdenken. Wat ze wel en niet leuk vinden op dit moment is daarvoor bepalend. Ze vragen zich nog niet af of dat past bij wat later van hen wordt verwacht (socialisatie).

Voor hen is het te vroeg om te beseffen welk beroep nu en later op hen wordt gedaan. Om verantwoord te leren handelen hebben ze rolmodellen nodig die bewuste keuzes maken; ook als het gaat om ChatGPT. En dat is precies de reden dat ik deze blog schrijf. Want Open AI en alle wannabees van dat systeem hebben ook duistere kanten. Je hoeft er de uitzending van VPRO’s Tegenlicht maar voor te bekijken. Big Tech heeft er geen belang bij dat wij dat weten. Maar het onheil hoort er net zo goed bij als het heil dat wij verwachten van ChatGPT.

Als we ze leren leren mogen we het niet alleen laten bij de werking van ChatGPT. Dan mogen we ook samen met hen op zoek naar hoe ze verantwoord kunnen handelen met deze tool. Misschien kunnen ze die tool (voorlopig) maar beter links laten liggen (zoals ik de afgelopen maanden heb gedaan)? Overmatig gebruik van ChatGPT maakt soms meer kapot dan je lief is. Het mag ook minder of niet. We mogen ze helpen om die keuzes goed te kunnen maken.

ChatGPT en Open AI moeten met checks and balances worden ingezet

Joseph Weizenbaum bouwde in de jaren ’70 de eerste chatbot. Hij zei: “Het gevaar van AI is niet dat machines steeds meer als mensen gaan denken, maar dat mensen steeds meer als machines gaan denken”. Gebruikers nemen de antwoorden van ChatGPT soms klakkeloos over, omdat ze geloven in de onfeilbaarheid van machines. Daardoor raken we van de postmoderne regen van de mogelijkheden toch weer in de moderne drup van de ene waarheid. En dat was precies waar we in de jaren ’60 zo klaar mee waren! De impact van AI wordt daardoor niet meer geëvalueerd en voor je het weet dicteert AI wat we moeten doen.

Maar wie is er eigenlijk eigenaar van wie? Ik heb instrumenteel leren denken over systemen. Ze helpen mij om creatief te denken en te handelen. Maar als zij de regie overnemen van mij, gebeurt er niet meer wat ik wil. De wereld met ChatGPT is dan overgeleverd aan statistische modellen en methodes. Dan wordt het afhankelijk van de bevooroordeelde data waarmee die modellen worden volgepompt. Garbage in is dan garbage out. En waar blijft in die nieuwe werkelijkheid mijn ruimte voor menselijke maat? En wat gebeurt er als mijn wensen en verlangens niet meer passen bij de conclusies van ChatGPT?

Ik heb ChatGPT de afgelopen maanden uit overtuiging gemeden

Mede daarom heb ik AI de afgelopen maanden gemeden. Om me heen zie ik gebeuren welke problemen de onbetrouwbare en hallucinerende AI veroorzaakt. Een paar weken geleden experimenteerden collega’s (echt slimmer dan een gemiddelde 2de-jaar BSc-student) wat met ChatGPT. Ze vroegen het systeem om 10 delers te noemen van een enorm getal van 46 cijfers. ChatGPT gaf zonder blikken of blozen antwoord. En ik zag hoe mijn collega’s in bewondering keken naar het scherm: “Dat kan’ie ook al”! Tot ik hen vroeg of ze de antwoorden al hadden gecontroleerd op een rekenmachine. En natuurlijk bleek geen van die getallen een echte deler van dat enorme getal. Op zo’n moment wil ik altijd Bill Clinton parafraseren: “It’s statistics, stupid!“.

Dat kleine voorbeeld laat haarfijn zien waarom het in de toeslagenaffaire misging. Als input voor het systeem gebruikten ze wantrouwen en ze vertrouwden blindelings op de uitkomsten van het systeem. Ik heb het nooit bevestigd gezien, maar daar moet ook al ergens AI bij betrokken zijn geweest. Dan kun je dus hele nare gevolgen creëren in de maatschappij.

De baten van ChatGPT en Open AI verdwijnen in de verkeerde zakken

Ik noem nog een belangrijk nadeel van het gebruik van AI. Dat komt de laatste weken steeds nadrukkelijker in het nieuws. De belasting van het milieu is onzichtbaar, maar ongekend. Er wordt o.a. kostbaar drinkwater verspild. En er worden enorme hoeveelheden stroom verbruikt (één trainingssessie van Open AI zou 500 ton CO2 uitstoten dat gelijk is aan duizend auto’s die duizend kilometer rijden).

Ondertussen verdient Big Tech bakken met geld. Of eigenlijk zou je het anders moeten zeggen: de extravagant rijke eigenaren van Big Tech worden er nog rijker van. Die hadden al dat geld al. Was de kloof tussen arm en rijk nog niet diep genoeg? Dat is niet zonder gevaar (zie mijn blog over Het land is moe van Tony Judt). Maar als de troep moet worden opgeruimd geven ze niet thuis en verplaatsen ze gewoon hun geld naar een andere plek. En wie draait daarvoor op? Juist: dat zijn jij en ik en wij krijgen samen steeds meer moeite om dat te moeten dragen.

En wat te denken van de slaven in Afrika die worden ingehuurd voor schandalig lage bedragen om de stuitende troep uit de trainingen te filteren? Kortom: de baten verdwijnen in de zakken van degenen die de lasten actief verschuiven naar anderen.

Als we het hebben over AI is dat de zwarte kant van de medaille. En alleen als beide kanten van de medaille worden bekeken is sprake van volledige subjectificatie. Het gaat er niet om dat dit ooit anders is geweest, want dat is helaas niet zo. Het gaat erom dat wij alleen verantwoording kunnen nemen voor wat we doen (ook met ChatGPT) als we samen leren om afgewogen keuzes te maken. Want alleen afgewogen keuzes leiden tot verantwoord burgerschap.

De uitzondering als regel

Als titel gaf ik mijn afstudeerverslag De uitzondering als regel mee. Dat klinkt postmodern en zo was het toen ook bedoeld. De grote systemen hadden hun tijd wat mij betreft wel gehad. De ruimte voor menselijke creativiteit en de daaruit volgende verhalen vond en vind ik belangrijker dan het volgen van regels en de dwang die machines ons soms lijken op te leggen. Telkens opnieuw dringt zich een uitzondering aan ons op (in het postmoderne denken ook wel event genoemd). Ik verlang naar ruimte voor menselijke uitzonderingen. Ik wil me niet neerleggen bij wat anderen (ook als dat machines zijn) mij opleggen. En ik hoop dat anderen ervaren dat ik open sta voor nieuwe mogelijkheden!

Mijn verantwoordelijkheid

Mijn kleine verhaal is al jaren dat ik zuinig om wil gaan met wat mij is toevertrouwd. Ik wil graag dat mijn kinderen ook een volwaardig leven kunnen leiden. En dat kan alleen als we de aarde en haar inwoners bewaren en liefhebben. Dat zeg ik in het besef dat ook ik dat doe met vallen en opstaan.

Dat geldt natuurlijk veel breder dan alleen voor het gebruik van ChatGPT. Daarom zie ik het als mijn roeping om ‘mijn’ studenten te leren goede vragen te stellen. Ik wil ze leren om de betrouwbaarheid van AI op het juiste moment te kunnen beoordelen op impact en waarde.

Maar daarnaast wil ik ze uitdagen. Ook zij kunnen verantwoordelijkheid nemen voor de aarde en haar inwoners en voor hun welbevinden. Niet alleen de rijken hoeven de mooie vruchten te plukken van ChatGPT. Wij hoeven de armen van deze aarde niet alleen met de wrange vruchten op te schepen.

Ik ben me er bewust van dat ik maar een klein radertje ben in dat verhaal. Meer verwacht ik er ook niet van. Maar als ik iets hoop te bereiken dan is het dat ‘mijn’ studenten zich bewust worden van de impact die zij hebben op hun omgeving. En heel misschien kruipt dan het besef naar binnen dat ze die impact ook kunnen veranderen; ook al is het maar een klein beetje; ook als ze gebruik maken van ChatGPT. Dat is wat ik hoop en ik hoop dat dit geen uitgestelde teleurstelling blijkt te zijn.