MTEB 2026 : Etat des lieux du benchmark embeddings

MTEB en 2026 : le paysage a change

Le Massive Text Embedding Benchmark (MTEB), reference mondiale pour l'evaluation des modeles d'embeddings, a vu son classement bouleverse en 2025-2026. L'open source Alibaba Qwen3 a pris la tete, Google a fait une entree fracassante avec Gemini Embedding, et Cohere a revolutionne le marche avec le premier embedding multimodal de production.

Le leaderboard MTEB evolue constamment avec les nouvelles soumissions ; 2026 voit une convergence des scores entre open source et APIs proprietaires.

Structure du benchmark MTEB

Categories de taches

MTEB evalue les embeddings sur 8 categories principales :

Le framework couvre plus de 1000 langues et 58 datasets pour l'anglais seul.

Metriques d'evaluation

Le classement utilise le Borda Count par defaut, agregeant les performances sur toutes les taches.

Classement MTEB janvier 2026

Top 10 global

Mise a jour — juillet 2026 : depuis ce classement, MTEB v2 a restructure les tableaux (anglais v2 vs MMTEB multilingue, non directement comparables). Mouvements notables : Harrier-OSS-v1 de Microsoft sous licence MIT (74.3 MTEB v2 multilingue), KaLM-Embedding-Gemma3-12B de Tencent (n°1 du MMTEB officiel a 72.32), Gemini Embedding 2 (nativement multimodal, preview) et Jina v5-text (71.7 anglais v2 avec 677M parametres). Voir notre guide embeddings mis a jour en continu.

Evolution par rapport a 2024

L'absence de mise a jour d'OpenAI sur les embeddings (toujours text-embedding-3 de fin 2023) leur a fait perdre la tete du classement.

Meilleurs modeles par categorie

Retrieval (recherche documentaire)

Clustering (regroupement)

Multilingual (hors anglais)

Pour choisir le bon modele, consultez notre guide sur le choix des embeddings.

Focus : l'essor de l'open source

Qwen3 prend la tete

Pour la premiere fois, un modele open source domine le leaderboard MTEB. Alibaba's Qwen3-Embedding-8B :

• Score global : 70.6 (surpasse tous les APIs)
• Licence : Apache 2.0 (usage commercial libre)
• Taille : 8B parametres
• Multilingual : Excellent sur chinois, bon sur europeen

DEVELOPERpython
from sentence_transformers import SentenceTransformer

# Charger Qwen3-Embedding
model = SentenceTransformer('Alibaba-NLP/gte-Qwen3-8B-embedding')

embeddings = model.encode(
    ["Votre texte a encoder"],
    normalize_embeddings=True
)

Implications pour les entreprises

Cette evolution change la donne :

Focus : Cohere Embed v4 et le multimodal

Une innovation unique

Cohere Embed v4 a ete le premier modele de production capable de vectoriser (rejoint en mars 2026 par Gemini Embedding 2 de Google) :

• Texte
• Images
• Documents interleaves (PDFs, slides)

Son score MTEB (65.2) est inferieur aux leaders sur le texte pur, mais il n'a pas d'equivalent pour les documents visuels.

DEVELOPERpython
import cohere

co = cohere.ClientV2('your-api-key')

# Embedding d'image (unique a Cohere)
response = co.embed(
    images=["data:image/jpeg;base64,..."],
    model="embed-v4",
    input_type="image",
    embedding_types=["float"]
)

Pour approfondir, voir notre article sur Cohere Embed v4 Multimodal.

Implications pour les pipelines RAG

Choix du modele selon le cas d'usage

Trade-offs a considerer

Consultez notre guide sur l'optimisation des couts RAG.

Methodologie et reproductibilite

Comment executer le benchmark

DEVELOPERpython
from mteb import MTEB, get_model

# Charger un modele
model = get_model("Alibaba-NLP/gte-Qwen3-8B-embedding")

# Lancer l'evaluation sur Retrieval
evaluation = MTEB(task_types=["Retrieval"])
results = evaluation.run(model)

# Afficher les resultats
print(results)

Leaderboard interactif

Le leaderboard officiel est disponible sur :

• Hugging Face MTEB Leaderboard

Les classements sont dynamiques - de nouvelles soumissions peuvent modifier l'ordre a tout moment.

Tendances observees en 2026

1. Open source domine

L'ecart entre open source et APIs s'est inverse. Qwen3 surpasse OpenAI de +6 points MTEB.

2. Multimodal emerge

Cohere a ouvert la voie ; Google a suivi avec Gemini Embedding 2 (mars 2026) et Jina avec v5-omni (mai 2026). OpenAI n'a encore rien sorti.

3. Specialisation par domaine

Les modeles specialises (Voyage legal/finance/code) surpassent les modeles generiques de 10-15% dans leurs domaines.

4. Prix en chute

Voyage 4-lite a $0.02/1M et le mode batch de Gemini a $0.075/1M changent l'economie du RAG.

Notre avis

Le paysage MTEB 2026 represente un tournant :

Points cles :

• L'open source (Qwen3) surpasse les APIs proprietaires
• Le multimodal (Cohere v4) ouvre de nouveaux cas d'usage
• Les prix chutent (Gemini 16x moins cher qu'OpenAI)

Recommandations :

• Nouveaux projets : evaluez Qwen3 (performance) ou Gemini (cout)
• Documents visuels : Cohere Embed v4 est incontournable
• Projets existants sur OpenAI : migration a considerer si performance critique

Les plateformes comme Ailog integrent ces benchmarks pour selectionner automatiquement les meilleurs modeles selon votre cas d'usage.

Consultez notre comparatif detaille des embeddings 2026 pour approfondir.