SDAR

Apprendimento per Rinforzo Agente Auto-Distillato

Introduciamo SDAR, un metodo di apprendimento per rinforzo agente auto-distillato.

SDAR ottiene miglioramenti sostanziali rispetto alla baseline RL standard su ALFWorld, WebShop e Search-QA.

Notizie

• 2026-5-15: Abbiamo pubblicato il nostro paper e il codice.

Installazione

Ambiente Python

conda create -n skillzero python==3.12 -y
conda activate skillzero

pip3 install vllm==0.11.0

pip3 install flash-attn==2.7.4.post1 --no-build-isolation --no-cache-dir
pip install -e .

Accedi a Weights & Biases se utilizzi il logging di WandB (gli script passano trainer.logger=['console','wandb'] in molti casi):

export WANDB_API_KEY=la_tua_chiave_API_qui

Installazione degli Ambienti Supportati

1. ALFWorld

Installa con pip:

pip3 install gymnasium==0.29.1
pip3 install stable-baselines3==2.6.0
pip3 install alfworld

Scarica i file PDDL & Game e il rilevatore pre-addestrato MaskRCNN (verranno archiviati in ~/.cache/alfworld/):

alfworld-download -f

2. WebShop

WebShop richiede Python <=3.10, quindi inizia creando un nuovo ambiente:

conda create -n verl-webshop python==3.10 -y
conda activate verl-webshop

Installa WebShop:

cd ./agent_system/environments/env_package/webshop/webshop
./setup.sh -d all

Dopo aver installato WebShop, torna alla directory radice e installa il pacchetto verl:

cd repo_root/
pip3 install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu124
pip3 install flash-attn==2.7.4.post1 --no-build-isolation
pip3 install -e .
pip3 install vllm==0.8.2
# spacy 3.7.2 richiede typer<0.10.0,>=0.3.0, ma tu hai typer 0.15.2 che è incompatibile.
# weasel 0.3.4 richiede typer<0.10.0,>=0.3.0, ma tu hai typer 0.15.2 che è incompatibile.

Gli avvisi possono essere tranquillamente ignorati.

3. Search

cd ./agent_system/environments/env_package/search/third_party
pip install -e .
pip install gym==0.26.2

Prepara il dataset (i dati verranno salvati in ~/data/searchR1_processed_direct):

cd repo_root/
python examples/data_preprocess/preprocess_search_r1_dataset.py

Poiché faiss-gpu non è disponibile tramite pip, configuriamo un ambiente conda separato per il server di recupero locale. L'esecuzione di questo server utilizzerà circa 6 GB di memoria GPU per GPU, quindi assicurati di tenerne conto nella configurazione della tua esecuzione di training. Costruisci gli ambienti Retriever:

# Crea e attiva l'ambiente retriever con Python 3.10
conda create -n retriever python=3.10 -y
conda activate retriever

# Installa PyTorch (con supporto GPU) e librerie correlate
conda install numpy==1.26.4 # necessario per impedire l'installazione di una versione incompatibile di numpy tramite pip
pip install torch==2.6.0 torchvision==0.21.0 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124

# Installa altri pacchetti Python
pip install transformers datasets pyserini huggingface_hub

# Installa la versione GPU di faiss
conda install faiss-gpu==1.8.0 -c pytorch -c nvidia -y

# Installa il framework di servizio API
pip install uvicorn fastapi

Scarica l'indice:

conda activate retriever

local_dir=~/data/searchR1
python examples/search/searchr1_download.py --local_dir $local_dir
cat $local_dir/part_* > $local_dir/e5_Flat.index
gzip -d $local_dir/wiki-18.jsonl.gz

Avvia il server di recupero locale flat e5:

conda activate retriever

# reindirizza l'output a un file per evitare di ingombrare il terminale
# abbiamo osservato che l'outputting al terminale causava picchi nei tempi di risposta del server
bash examples/search/retriever/retrieval_launch.sh > retrieval_server.log 

Training

Tutti gli script si trovano sotto examples/ e assumono la directory radice del repository come directory di lavoro. Puoi eseguire, ad esempio:

bash examples/sdar_trainer/run_alfworld_3b.sh
bash examples/sdar_trainer/run_search_3b.sh
bash examples/sdar_trainer/run_webshop_3b.sh

Unione di checkpoint

Vedi scripts/model_merger.py per esempi di unione FSDP/Megatron utilizzando percorsi sotto ./checkpoints/....

Citazione

Se trovi utile questo progetto, benvenuto a citarci.

@misc{lu2026sdar,
      title={Self-Distilled Agentic Reinforcement Learning}, 
      author={Zhengxi Lu and Zhiyuan Yao and Zhuowen Han and Zi-Han Wang and Jinyang Wu and Qi Gu and Xunliang Cai and Weiming Lu and Jun Xiao and Yueting Zhuang and Yongliang Shen},
      year={2026},
      eprint={2605.15155},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2605.15155}, 
}

Ringraziamenti

Questo progetto è basato su verl-agent, veRL, ALFWorld, SkillRL e Search-R1. Ringraziamo gli autori di questi progetti.