Generative Pre-trained Transformer (GPT) is een type kunstmatige intelligentie-model dat is ontwikkeld door OpenAI en behoort tot de categorie large language models (LLM's). Het model maakt gebruik van een transformer-architectuur en is getraind op enorme hoeveelheden tekstdata om menselijke taal te begrijpen en te genereren.
De naam GPT beschrijft drie kernkenmerken van het model:
- Generative: Het model kan nieuwe, originele tekst genereren op basis van input
- Pre-trained: Het is vooraf getraind op grote datasets voordat het wordt toegepast op specifieke taken
- Transformer: Het gebruikt de transformer-architectuur, een revolutionaire deep learning-techniek die in 2017 werd geïntroduceerd
Hoe werkt GPT?
GPT werkt door patronen in taal te leren tijdens een uitgebreide trainingsfase. Het model analyseert miljarden woorden uit boeken, websites en andere tekstbronnen om de structuur, grammatica en context van taal te begrijpen. Wanneer het een prompt ontvangt, voorspelt het model welke woorden het meest waarschijnlijk volgen op basis van deze geleerde patronen.
De transformer-architectuur maakt gebruik van een mechanisme genaamd attention, waardoor het model kan bepalen welke delen van de input het belangrijkst zijn voor het genereren van relevante output. Dit stelt GPT in staat om context over langere teksten te behouden en coherente, contextbewuste antwoorden te genereren.
Evolutie van GPT
Sinds de introductie van GPT-1 in 2018 heeft het model verschillende versies doorlopen:
- GPT-1: 117 miljoen parameters, bewees het concept van pre-training
- GPT-2: 1,5 miljard parameters, toonde aanzienlijke verbeteringen in tekstgeneratie
- GPT-3: 175 miljard parameters, bracht doorbraken in natuurlijke taalverwerking
- GPT-4: Multimodaal model met verbeterde redeneervaardigheden en nauwkeurigheid
Elke nieuwe versie heeft geleid tot significante verbeteringen in de kwaliteit, nauwkeurigheid en veelzijdigheid van de gegenereerde output.