Hugging Face : Nouveaux modeles RAG open-source

Hugging Face enrichit l'ecosysteme RAG open-source

Hugging Face annonce la publication d'une nouvelle famille de modeles specialement optimises pour les applications RAG. Cette release comprend des modeles d'embeddings, des rerankers et des LLMs adaptes a la generation augmentee.

"Notre objectif est de democratiser le RAG enterprise-grade", explique Clement Delangue, CEO de Hugging Face. "Ces modeles offrent des performances comparables aux solutions proprietaires, en open-source."

Les nouveaux modeles

Embeddings : HF-RAG-Embed

Une nouvelle famille de modeles d'embeddings optimises RAG :

Particularites :

• Entraines specifiquement pour le retrieval documentaire
• Support natif des requetes asymetriques (query vs document)
• Optimises pour le multilingual (100 langues)

DEVELOPERpython
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("huggingface/hf-rag-embed-large")

# Embeddings de documents
doc_embeddings = model.encode(
    documents,
    prompt_name="document"  # Prefix automatique
)

# Embeddings de requetes
query_embedding = model.encode(
    query,
    prompt_name="query"
)

Consultez notre guide sur le choix des modeles d'embeddings.

Rerankers : HF-RAG-Rerank

Des modeles de reranking performants et legers :

DEVELOPERpython
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained(
    "huggingface/hf-rag-rerank-base"
)
tokenizer = AutoTokenizer.from_pretrained(
    "huggingface/hf-rag-rerank-base"
)

# Reranking
pairs = [(query, doc) for doc in candidate_docs]
inputs = tokenizer(pairs, padding=True, return_tensors="pt")
scores = model(**inputs).logits.squeeze()

Ces modeles complementent parfaitement notre guide sur le reranking.

LLMs : HF-RAG-LLM

Des LLMs specialement adaptes pour la generation RAG :

Caracteristiques uniques :

• Entraines pour citer systematiquement les sources
• Sensibilite reduite aux hallucinations
• Instruction-following optimise pour le RAG

DEVELOPERpython
from transformers import pipeline

generator = pipeline(
    "text-generation",
    model="huggingface/hf-rag-llm-13b"
)

response = generator(
    f"""<context>
{retrieved_documents}
</context>

<question>
{user_question}
</question>

Reponds en citant tes sources avec [1], [2], etc."""
)

Benchmarks

Comparaison avec la concurrence

Embeddings (MTEB Retrieval)

Rerankers

LLMs (RAGBench)

Deploiement

Options de deploiement

1. Hugging Face Inference Endpoints

DEVELOPERpython
from huggingface_hub import InferenceClient

client = InferenceClient(model="huggingface/hf-rag-embed-large")
embeddings = client.feature_extraction(texts)

Prix : $0.06/heure (GPU) a $0.60/heure (GPU haute perf)

2. Self-hosted avec vLLM

DEVELOPERbash
pip install vllm
python -m vllm.entrypoints.openai.api_server \
    --model huggingface/hf-rag-llm-13b \
    --port 8000

3. Optimisation avec ONNX

DEVELOPERpython
from optimum.onnxruntime import ORTModelForSequenceClassification

model = ORTModelForSequenceClassification.from_pretrained(
    "huggingface/hf-rag-rerank-base",
    export=True
)

Gain de performance : 2-3x sur CPU

Pour les configurations de production, consultez notre guide sur le deploiement en production.

Quantification

Les modeles sont disponibles en versions quantifiees :

Integration avec les frameworks

LangChain

DEVELOPERpython
from langchain_huggingface import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="huggingface/hf-rag-embed-large"
)

LlamaIndex

DEVELOPERpython
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

embed_model = HuggingFaceEmbedding(
    model_name="huggingface/hf-rag-embed-large"
)

Ailog

Les modeles HF-RAG sont integres en tant qu'option dans la configuration Ailog.

Cas d'usage recommandes

Quand utiliser HF-RAG

Ideal pour :

• Contraintes de souverainete des donnees
• Budget limite (self-hosting)
• Besoin de personnalisation/fine-tuning
• Volume eleve de requetes

Moins adapte pour :

• Equipes sans expertise ML
• Besoin de la meilleure qualite absolue
• Prototypes rapides

Fine-tuning

Les modeles sont concus pour le fine-tuning :

DEVELOPERpython
from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./fine-tuned-rag-embed",
    per_device_train_batch_size=32,
    num_train_epochs=3
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=domain_dataset
)
trainer.train()

Consultez notre guide sur le fine-tuning des embeddings.

Notre avis

Cette release represente une avancee majeure pour l'open-source :

Points forts :

• Performances proches du proprietaire
• Licence permissive (Apache 2.0)
• Modeles optimises pour le RAG
• Excellente documentation

Points d'attention :

• Necessite expertise pour deployer
• Couts infra si self-hosted
• Pas de support commercial

Pour les organisations avec des contraintes de souverainete ou des volumes eleves, HF-RAG devient une alternative credible aux solutions proprietaires.

Les plateformes comme Ailog permettent d'utiliser ces modeles sans gerer l'infrastructure, combinant open-source et simplicite.

Consultez notre guide d'introduction au RAG pour demarrer.