Zijn onze definities van "fout" zinvol als het gaat om Generative AI?
Zo niet, waarom niet?
Een opmerking over de publieke perceptie van AI (Arteficial Intelligence) leren zette ons aan het denken over de betekenis van fouten bij generatieve AI leren. En of wij denken dat modellen voor AI leren altijd “fouten zullen maken”. Mensen hebben een sterke neiging om Generative AI learning-modellen te "antropomorfiseren". Wanneer we communiceren met een AI-chatbot, passen we technieken toe op de opdrachten die we hebben geleerd door met andere mensen te communiceren: overreding, frasering, argumentatie, enz. Dit is echter vaak niet zo effectief en resulteert vaak in onbevredigende reacties.
Soortgelijke problemen worden ook opgemerkt met betrekking tot classificaties en regressiemodellen. Er wordt veel tijd en energie aan het helpen van klanten en collega's om te begrijpen dat AI learning niet perfect is (en dat in werkelijkheid ook nooit zal zijn). “Waarom zei het model X terwijl de waarheid Y bleek te zijn?” is een eeuwigdurend thema. Een terechte vraag, want in de bredere AI learning-gemeenschap is er nog niet perfect in geslaagd fundamentele AI-geletterdheid aan te leren.
Maar dit brengt een kernvraag naar voren, die meer onderzoek vergt voordat we dat alfabetiseringsprobleem echt kunnen oplossen:
Wat bedoelen men als men zegt, dat een model een fout heeft gemaakt, heeft gefaald, heeft gehallucineerd of heeft gelogen?
Voordat we daar een antwoord op kunnen geven, moeten we bij het begin beginnen.
Wat is een generatieve AI learning-model?
In zeer algemene zin is een machine learning-model een algoritme dat een bepaalde invoer of prompt accepteert en een antwoord retourneert dat probabilistisch bepaald is. Hoe het bepaalt wat de reactie moet zijn, kan dramatisch variëren: het kan een beslissingsboom gebruiken, of een neuraal netwerk, of een lineaire regressie, of een aantal andere soorten generatief leren.
Om een model te maken, beginnen we met voorbeeld data die de resultaten weerspiegelen waarnaar we op zoek zijn. De invoervoorbeelden kunnen van alles zijn: voor Generatieve AI kunnen het grote hoeveelheden door mensen geschreven tekst zijn, of muziek of afbeeldingen. Voor andere soorten AI kunnen het grote datasets zijn die zaken als objectkenmerken bevatten, of classificaties van zaken als afbeeldingen of teksten in categorieën, of nog veel meer.
Soms worden deze ‘gelabeld’ zodat het model leert welke wenselijk zijn of niet, of welke in een specifieke categorie vallen en welke andere niet. Andere keren leert het model patronen in de onderliggende voorbeelden en leidt het zijn eigen begrip van die patronen af, om de kenmerken van inputs te repliceren, tussen opties te kiezen, inputs in groepen te verdelen of andere activiteiten te ondernemen.
Manieren waarop generatieve AI-modellen worden getraind
De manier waarop generatieve modellen getraind worden is subjectief èn ingewikkelder dan het trainen van een model om de eenvoudige waarschijnlijkheid van één antwoord te schatten.
In plaats daarvan schatten deze modellen de waarschijnlijkheden van veel verschillende elementen in en voegen ze samen om hun reactie te creëren.
Hier vindt je een zeer eenvoudige uitleg van enkele manieren (dit zijn allemaal EXTREME simplificaties, dus vergeef a.u.b. het gebrek aan details en eventuele generalisaties.):
Wanneer we geluid of beeld genereren, kunnen we gebruik maken van Generative Adversarial Networks. Hier worden modellen tegen elkaar opgezet, waarbij het ene model nieuwe inhoud genereert en het andere model probeert te achterhalen of die inhoud van een model afkomstig is of niet, heen en weer. De twee modellen strijden om duizenden en duizenden gevallen, en worden gaandeweg steeds beter in hun taak. Uiteindelijk zal het genererende model inhoud kunnen produceren die bijna niet te onderscheiden is van wat de werkelijkheid zou produceren. (Het onderscheidende model kan als neveneffect ook heel goed vertellen wanneer een input door mensen is gegenereerd.)
Voor generative AI en het genereren van tekst, zoals de GPT-modellen, wordt gebruikt wat we "Transformers" noemen. Deze training houdt in dat het model leert begrijpen hoe de betekenissen van woorden zich tot elkaar verhouden, en hoe tekstinhoud kan worden geproduceerd die vrijwel niet te onderscheiden is van menselijke productie. De resultaten klinken zeer overtuigend omdat het model weet welke woorden waarschijnlijk bij elkaar passen (waarbij de waarschijnlijkheid gebaseerd is op hoe de echte menselijke taal die in de training wordt gebruikt, ze heeft samengevoegd).
Om afbeeldingen te genereren uit tekstinvoer, zoals Dall-E, wordt "Diffusion" gebruikt. In dit geval leert het model te berekenen welke kenmerken van een afbeelding hoogstwaarschijnlijk gewenst zijn op basis van de aangeleverde tekst. Het model begint in wezen met een afbeelding die alleen maar statisch is en op basis van uw tekst details/kleuren/kenmerken toepast. Dit is gebaseerd op wat het heeft geleerd over hoe tekst gewoonlijk overeenkomt met afbeeldingen via zijn trainingsdata.
Met behulp van deze technieken leren we modellen patronen in invoer te ontcijferen; soms kunnen we patronen niet eens zelf echt verklaren of detecteren (vooral bij deep learning. Dan is het model wèl in staat die patronen te interpreteren en toe te passen). Dit is allemaal wiskunde onder de oppervlakte, ook al kunnen de patronen in tekst, afbeeldingen of vele andere dingen voorkomen.
Nu we dit weten, kunnen we praten over wat de resultaten zijn en wat het betekent als de resultaten nìet zijn wat we wilden.
Resultaten
De resultaten die een machine learning-model oplevert, kunnen sterk variëren. Vooral generatieve AI produceert afbeeldingen, video, audio en tekst in alle denkbare soorten. Andere soorten modellen geven ons de waarschijnlijkheid van gebeurtenissen/verschijnselen, schattingen van onbekende waarden, vertalingen van tekst in verschillende talen, labels of groeperingen voor inhoud, en meer.
In al deze gevallen worden complexe wiskundige berekeningen gebruikt om de beste respons te schatten op basis van de gegeven invoer. "Beste" is echter iets heel subjectiefs. Tijdens het maken van het model heeft men aan het model aangegeven welk karakter de reacties ervan moeten hebben.
Tijdens het maken van het model heeft men aan het model aangegeven welk karakter de reacties ervan moeten hebben.
Wat betekent het als we iets krijgen wat we niet hadden verwacht?
Dit gaat net zo goed over ons als over het model. Het is in wezen zoals elk product in de technische ruimte. De productontwerpers en -makers stellen Epics samen, wanneer ze iets ontwikkelen om aan mensen te verkopen, en dit bestaat uit User Stories over wie dit product gaat gebruiken, hoe en waarom, en wat ze eruit willen halen.
Stel dat we bijvoorbeeld een spreadsheettool ontwerpen. We gebruikten gebruikersverhalen om na te denken over Anne, de accountant, en we praatten met accountants om te beslissen welke functies een accountant nodig heeft in zijn spreadsheetsoftware. Vervolgens dachten we aan Bob, de bedrijfsanalist, en praatten we met BI-analisten over wat hun functiebehoeften zouden zijn. We hebben deze allemaal op onze lijst gezet bij het plannen van de spreadsheettool en deze gebruikt als leidraad voor ons ontwerp.
Je snapt het idee.
Wie is de gebruiker van een AI learning-model?
Het hangt helemaal af van wat voor model het is. Als jouw model bijvoorbeeld de huizenprijzen voorspelt op basis van de kenmerken van onroerend goed, kunnen dit makelaars, hypotheekverstrekkers of huizenkopers zijn. Een relatief specifiek model met duidelijke, begrensde toepassingen is eenvoudig op maat te maken voor de gebruiker. Wij datawetenschappers kunnen ervoor zorgen dat dit model voldoet aan de verwachtingen van mensen die het gaan gebruiken.
Soms zal de voorspelling niet accuraat zijn, maar dat is een wiskundig probleem, en we kunnen waarschijnlijk ontcijferen waarom dat gebeurde.
Misschien hebben we het model verkeerde gegevens gegeven, of is dit huis uitzonderlijk om de een of andere reden die we het model bijvoorbeeld niet konden vertellen. Als het model nooit geleerd heeft om het effect van bijvoorbeeld een dierentuin op de huizenprijs te interpreteren, zal het geen manier hebben om die informatie te integreren.
Wat als er een huizenprijscrash heeft plaatsgevonden? Dat hebben we nog niet zo lang geleden gezien, en je kunt je voorstellen dat de patronen waar het model van vóór de crash van leerde, niet langer van toepassing zouden zijn.
In een geval als dit hebben we echter twee dingen:
Een duidelijk doel dat het model moet bereiken, waar de datawetenschappers en gebruikers zich allebei van bewust zijn; een kwantificeerbare manier om te meten of het model dichtbij zijn doel is gekomen of niet.
Dit betekent dat het duidelijk en eenvoudig is als we willen bepalen of het model succesvol was. Nadat we die vaststelling hebben gedaan, kunnen we onderzoeken waarom het model deed wat het deed. Dit wordt in het veld ‘modelverklaarbaarheid’ of ‘modelinterpreteerbaarheid’ genoemd.
Wat betekent dit voor zoiets als AI Learning?
Wie is de gebruiker voor ChatGPT? (Heb je zojuist in gedachten ‘iedereen’ gezegd?)
Wanneer de output van een model net zo complex en gevarieerd kan zijn als die van Generatieve AI, beginnen we vragen te krijgen.
Voor de datawetenschappers die generatieve AI-modellen hebben gebouwd, proberen we, hoewel ze verschillende trainingsmethoden kunnen gebruiken, over het algemeen altijd inhoud te creëren die zo dicht mogelijk bij de trainingsgegevens ligt, die meestal door mensen of door de natuur zijn gegenereerd. Om dat mogelijk te maken, wordt het model getraind op voorbeeldinhoud die mensen of de natuur WEL hebben geproduceerd. We doen ons best om het model een wiskundige manier te geven om te begrijpen hoe en waarom deze inhoud ‘echt’ aanvoelt, zodat het dat kan repliceren. Dit is hoe een generatief AI-model efficiëntie kan creëren en bepaald menselijk werk overbodig kan maken.
Voor de datawetenschappers die generatieve AI-modellen hebben gebouwd, is het doel om inhoud te creëren die zo dicht mogelijk bij de trainingsgegevens ligt, die meestal door mensen of door de natuur zijn gegenereerd.
Deze modellen zijn in dit opzicht over het algemeen uitstekend in wat ze doen! Dit zorgt echter voor enkele valkuilen. Omdat AI-modellen zo overtuigend zijn in het imiteren van menselijke reacties, beschouwen gebruikers ze, als het ware, bijna als mensen. Het is net als de manier waarop kinderen over dieren leren: je leert een kind dat een harig wezen met vier poten en een natte neus een hond is, maar dan zien ze een kat voor zich, en ze zijn geneigd te denken dat dat waarschijnlijk ook een hond is, omdat de basiskenmerken zo op elkaar lijken. Pas als je uitlegt dat de kat iets anders is, beginnen ze de verschillen te interpreteren en een ander mentaal model op te bouwen.
Omdat deze modellen zo overtuigend zijn in het imiteren van menselijke reacties, beschouwen gebruikers ze, als het ware, bijna als mensen.
Op dit moment denk ik dat het grootste deel van het publiek nog steeds dat andere mentale model aan het bouwen is om AI van een persoon te onderscheiden. (Zoals ik eerder schreef, moeten datawetenschappers de volwassene zijn die uitlegt dat een hond niet hetzelfde is als een kat, om de metafoor voort te zetten.)
Mensen die met een heel basaal model werken, begrijpen dat dit een beperkt algoritme is.
Maar als we bijvoorbeeld ChatGPT gebruiken, heeft het veel kenmerken van online chatten met een mens; en dit heeft invloed op ons.
Onthoud de twee belangrijkste elementen die hierboven zijn beschreven:
1. Een duidelijk doel dat het model moet bereiken, waar zowel de datawetenschappers als de gebruikers zich bewust van zijn;
2. Een kwantificeerbare manier om te meten of het model dichtbij zijn doel is gekomen of niet.
Met generatieve AI, inclusief maar niet beperkt tot AI Learning, hebben we problemen met 1, deels omdat het doel eigenlijk niet zo duidelijk is (‘materiaal retourneren dat niet te onderscheiden is van wat een mens zou produceren’), maar vooral omdat de datawetenschappers zeker niet altijd perfect kunnen communiceren naar gebruikers wat dat doel is.
Datawetenschappers die aan deze modellen werken, hebben nummer 2 gekregen, omdat ze complexe wiskundige systemen gebruiken om de modellen te onderwijzen wanneer ze voldoende ‘echte’ of mensachtige inhoud hebben geproduceerd. Maar voor de gewone gebruiker op straat is dit een stuk lastiger. Bepalen of het model het goed heeft gedaan, lijkt veel op het beoordelen van werkstukken, in plaats van het controleren van het resultaat van een wiskundig probleem. De subjectiviteit sluipt erin.
Het managen van verwachtingen
Dit suggereert dat we de verwachtingen van deze modellen moeten bijstellen. Om met succes een AI learning-model te kunnen gebruiken en het verschil te kunnen zien tussen fouten en het verwachte gedrag, moet u inzicht hebben in de taken waarvoor de modellen zijn getraind en de aard van de trainingsgegevens. Als je er echt verstand van hebt, heb je ook een duidelijke context voor hoe de datawetenschappers achter dat model het succes hebben gemeten, omdat dat het gedrag van het model dramatisch beïnvloedt.
Door deze elementen op te nemen, beschikt je over de context die nodig is om te begrijpen wat de resultaten van het model betekenen, en kunt je deze nauwkeurig interpreteren. Je verwachtingen zullen redelijk zijn en je weet of daaraan is voldaan. Dan weet je wat een ‘fout’ werkelijk betekent als het gaat om AI Learning.
Transscriptie van: Stephanie Kramer, Towards Data Science
Wil je de mogelijkheden van Generative AI verkennen voor je organisatie?
Ga naar: www.gecko-company.com
òf
Email naar: klantenservice@gecko-company.com
òf
Bel: 026 8440404
òf
Laat een berichtje achter onder deze post...
Comments