Un LLM (Large Language Model) est un programme qui prédit le prochain mot d’une séquence. Cette opération, répétée des milliers de fois par réponse, produit des textes cohérents, des résumés, du code ou des traductions. Derrière cette mécanique apparemment simple se cache un enchaînement précis de transformations mathématiques, depuis le découpage du texte en fragments jusqu’à la sélection finale de chaque mot.
Tokenisation : comment un LLM découpe le texte avant de le traiter
Un modèle de langage ne lit pas des mots. Il travaille sur des tokens, des fragments de texte qui peuvent être un mot entier, une syllabe ou même un caractère isolé. Le mot « fonctionnement » peut ainsi être scindé en trois tokens distincts.
A découvrir également : Quelle est la différence entre la digitalisation et la numérisation ?
L’algorithme le plus courant pour ce découpage s’appelle BPE (Byte Pair Encoding). Il construit un vocabulaire en fusionnant progressivement les paires de caractères les plus fréquentes dans le corpus d’entraînement. Le résultat est un dictionnaire de quelques dizaines de milliers d’entrées qui couvre la quasi-totalité des textes rencontrés.
Chaque token est ensuite converti en un vecteur numérique, appelé embedding. Ce vecteur positionne le token dans un espace à plusieurs centaines de dimensions, où des mots proches par le sens (comme « voiture » et « véhicule ») se retrouvent géométriquement voisins. C’est cette représentation numérique, et non le texte brut, que le modèle manipule à chaque étape suivante.
A voir aussi : Existe-t-il une application pour traduire les langues en temps réel ?
Architecture Transformer : le moteur de calcul d’un LLM
Tous les LLM actuels (GPT, Claude, Gemini, LLaMA) reposent sur l’architecture Transformer. Son principe central est le mécanisme d’attention, qui permet au modèle de relier chaque token à tous les autres tokens de la séquence pour capter le contexte.
Le mécanisme d’attention en pratique
Pour chaque token, le Transformer calcule trois vecteurs : Query, Key et Value. Le vecteur Query d’un token est comparé aux vecteurs Key de tous les autres tokens. Le score obtenu détermine le poids accordé à chaque token voisin. Les vecteurs Value, pondérés par ces scores, sont ensuite additionnés pour produire la nouvelle représentation du token.
Ce calcul se fait en parallèle sur plusieurs « têtes d’attention » (multi-head attention). Chaque tête capte un type de relation différent : l’une repère les liens grammaticaux, une autre les coréférences, une troisième les associations sémantiques.
Empilement de couches
Un LLM empile des dizaines, voire des centaines de ces blocs Transformer. Chaque couche affine la représentation des tokens. Les premières couches captent la syntaxe et les associations locales. Les couches profondes construisent des représentations plus abstraites, proches du « sens » global de la phrase.
À la sortie de la dernière couche, le modèle dispose d’un vecteur final pour chaque position. Ce vecteur est projeté sur l’ensemble du vocabulaire pour produire une distribution de probabilité : chaque token du dictionnaire reçoit un score indiquant sa vraisemblance comme mot suivant.
Entraînement et alignement d’un modèle de langage
La construction d’un LLM passe par plusieurs phases distinctes, chacune avec un objectif précis.
- Le pré-entraînement expose le modèle à des quantités massives de texte (pages web, livres, code source). Le modèle apprend à prédire le token suivant sur des milliards de séquences, ajustant ses paramètres à chaque erreur de prédiction.
- Le fine-tuning supervisé utilise des jeux de données où des humains ont rédigé des réponses de référence. Le modèle apprend à suivre des instructions, à structurer ses réponses et à respecter un format attendu.
- Le RLHF (Reinforcement Learning from Human Feedback) introduit un modèle de récompense entraîné sur des préférences humaines. Le LLM ajuste ses réponses pour maximiser cette récompense, ce qui réduit les contenus problématiques et améliore la pertinence perçue.
Ces trois étapes ne sont pas interchangeables. Le pré-entraînement donne au modèle ses compétences linguistiques brutes. L’alignement post-entraînement (fine-tuning et RLHF) transforme un prédicteur statistique en assistant utilisable.
Inférence : le coût réel de la génération de texte
L’entraînement d’un LLM mobilise des ressources considérables, mais c’est l’inférence, la phase où le modèle génère des réponses en temps réel, qui concentre les contraintes opérationnelles au quotidien.
Chaque token produit exige un passage complet à travers toutes les couches du Transformer. Pour une réponse de quelques centaines de mots, le modèle effectue autant de passes successives. La latence dépend directement du nombre de paramètres, de la longueur du contexte fourni et de l’optimisation matérielle (GPU, mémoire, parallélisation).
Les déploiements en entreprise ajoutent une couche supplémentaire : des passerelles LLM (LLM gateways) centralisent les requêtes, appliquent des contrôles de sécurité et des limites de débit avant chaque appel au modèle. Cette architecture d’orchestration permet de basculer entre plusieurs fournisseurs (GPT, Claude, Mistral) selon le type de tâche, le coût ou la disponibilité.
Fenêtre de contexte et limites de la génération
Un LLM ne traite pas un texte de longueur infinie. Sa fenêtre de contexte fixe le nombre maximal de tokens pris en compte simultanément. Au-delà de cette limite, le modèle perd l’accès aux informations les plus anciennes de la conversation.
Cette contrainte technique explique pourquoi un LLM peut sembler « oublier » des consignes données en début d’échange long. Elle explique aussi le recours à des techniques comme le RAG (Retrieval-Augmented Generation), qui injecte des extraits de documents pertinents dans le contexte à chaque requête plutôt que de tout charger en mémoire.
- Les hallucinations surviennent quand le modèle génère un texte statistiquement plausible mais factuellement faux, sans signal interne pour distinguer le vrai du vraisemblable.
- Les biais reflètent les déséquilibres du corpus d’entraînement : surreprésentation de certaines langues, points de vue ou sources.
- La reproductibilité dépend des paramètres de génération (température, top-k, top-p) qui contrôlent le degré d’aléatoire dans le choix de chaque token.
Un LLM reste une machine de probabilités conditionnelles. Sa puissance vient de l’échelle (paramètres, données, calcul) et de l’alignement humain qui oriente ses prédictions vers des réponses utiles. Comprendre cette mécanique permet de mieux cerner ce qu’un modèle de langage fait réellement, et ce qu’il ne fait pas.
