Llama (Large Language Model Meta AI) is een serie open-source large language models ontwikkeld door Meta (voorheen Facebook). Sinds de lancering van Llama 1 in februari 2023 heeft Meta meerdere versies uitgebracht, waaronder Llama 2 en Llama 3, die steeds krachtiger en veelzijdiger zijn geworden. Deze AI-modellen zijn getraind op enorme hoeveelheden tekstdata en kunnen mensachtige tekst genereren, vragen beantwoorden, code schrijven en complexe taken uitvoeren.
Wat Llama onderscheidt van concurrenten zoals GPT-4 of Claude is het open-source karakter. Meta heeft de modellen beschikbaar gesteld voor onderzoek en commercieel gebruik (met bepaalde voorwaarden), waardoor ontwikkelaars en bedrijven de modellen kunnen downloaden, aanpassen en implementeren op hun eigen infrastructuur. Dit biedt meer controle over data, privacy en kosten vergeleken met propriëtaire API-gebaseerde oplossingen.
Architectuur en technologie
Llama-modellen zijn gebaseerd op de transformer-architectuur, specifiek een decoder-only ontwerp dat optimaal presteert bij tekstgeneratie. De modellen zijn beschikbaar in verschillende groottes, variërend van 7 miljard tot 70 miljard parameters (en groter in nieuwere versies), waarbij grotere modellen over het algemeen betere prestaties leveren maar meer rekenkracht vereisen.
De training van Llama-modellen omvat twee hoofdfases: pre-training op een enorme dataset van publieke teksten, gevolgd door fine-tuning met behulp van reinforcement learning from human feedback (RLHF) om de output veiliger en nuttiger te maken. Meta heeft bijzondere aandacht besteed aan het verminderen van bias en het verbeteren van de veiligheid van de modellen.
Versies en evolutie
Llama 1: De eerste generatie werd gelanceerd voor onderzoeksdoeleinden en was beschikbaar in groottes van 7B, 13B, 33B en 65B parameters.
Llama 2: Uitgebracht in juli 2023, met verbeterde prestaties en een commerciële licentie. Beschikbaar in 7B, 13B en 70B varianten, inclusief geoptimaliseerde chat-versies.
Llama 3: De nieuwste generatie biedt aanzienlijke verbeteringen in redeneren, code-generatie en meertalige ondersteuning, met modellen tot 405B parameters.
