Testeur de retrieval
Testez la qualité de votre retrieval avec les métriques MRR, Hit Rate, NDCG et Précision.
Comment ça marche
- Configurez le test: Entrez votre requête et la liste des documents à tester.
- Définissez la vérité terrain: Indiquez quels documents sont réellement pertinents pour cette requête.
- Analysez les métriques: Obtenez MRR, Hit Rate, NDCG et Précision pour évaluer votre retrieval.
Questions fréquentes
- Qu'est-ce que le MRR (Mean Reciprocal Rank) ?
- Le MRR mesure la position moyenne du premier résultat pertinent. Un MRR de 1.0 signifie que le bon document est toujours en première position. Un MRR de 0.5 signifie qu'il est en moyenne en position 2.
- Quelle valeur de Top K utiliser ?
- Pour du Q&A factuel, Top K = 3-5 suffit généralement. Pour de la synthèse, augmentez à 10-20. Un Top K trop élevé dilue la pertinence et augmente les coûts de contexte LLM.
- Comment améliorer mon Hit Rate ?
- Un Hit Rate faible indique un problème de retrieval. Solutions : 1) Améliorez le chunking, 2) Testez différents modèles d'embedding, 3) Ajoutez du reranking, 4) Enrichissez les métadonnées des documents.
- Qu'est-ce que le NDCG ?
- NDCG (Normalized Discounted Cumulative Gain) mesure la qualité du classement en tenant compte de l'ordre. Un document pertinent en position 1 compte plus qu'en position 5. Score idéal : > 0.8.
- Dois-je utiliser un reranker ?
- Un reranker (comme Cohere Rerank ou cross-encoder) améliore la précision en reclassant les Top K résultats. Recommandé si votre MRR < 0.7 ou pour des requêtes complexes.
- Comment tester mon retrieval avec des données réelles ?
- Créez un jeu de test avec 50-100 paires (question, documents pertinents attendus). Utilisez cet outil pour calculer les métriques. Répétez après chaque modification de votre pipeline.
