Fine-tuning
Le fine-tuning est un entraînement complémentaire d'un LLM sur un jeu de données spécifique pour adapter ses comportements ou spécialiser ses connaissances. Un modèle généraliste comme GPT-4 peut être fine-tuné sur des données médicales pour améliorer ses réponses dans ce domaine. Pour l'AEO, comprendre le fine-tuning aide à saisir pourquoi certaines IA répondent différemment sur des sujets identiques.
Comment fonctionne le fine-tuning
1. Sélection des données : Un jeu de données ciblé (exemples de questions-réponses, documents spécialisés).
2. Entraînement supervisé : Le modèle apprend à reproduire les patterns des nouvelles données.
3. Validation : Tests pour vérifier que le modèle répond mieux sur le domaine ciblé.
Types de fine-tuning
Fine-tuning de spécialisation : Adapter le modèle à un domaine (médical, juridique).
Fine-tuning de style : Modifier le ton, la longueur des réponses.
RLHF : Reinforcement Learning from Human Feedback.
Fine-tuning vs RAG
| Aspect | Fine-tuning | RAG |
|---|---|---|
| Données | Intégrées au modèle | Consultées à la volée |
| Mise à jour | Nouvel entraînement | Temps réel |
| Coût | Élevé | Faible |