vggt-omega

Modelli Pre-addestrati

Avvio Rapido

Per prima cosa, clona questo repository e installa le dipendenze:

git clone git@github.com:facebookresearch/vggt-omega.git
cd vggt-omega
pip install -r requirements.txt
pip install -e .

Ora, prova il modello con poche righe di codice:

import torch

from vggt_omega.models import VGGTOmega
from vggt_omega.utils.load_fn import load_and_preprocess_images
from vggt_omega.utils.pose_enc import encoding_to_camera

checkpoint_path = "path/to/vggt_omega_1b_512.pt"
image_names = ["path/to/imageA.png", "path/to/imageB.png", "path/to/imageC.png"]

model = VGGTOmega().to("cuda").eval()
model.load_state_dict(torch.load(checkpoint_path, map_location="cpu"))

images = load_and_preprocess_images(image_names, image_resolution=512).to("cuda")

with torch.inference_mode():
    predictions = model(images)

extrinsics, intrinsics = encoding_to_camera(
    predictions["pose_enc"],
    predictions["images"].shape[-2:],
)

depth = predictions["depth"]
depth_conf = predictions["depth_conf"]
camera_and_register_tokens = predictions["camera_and_register_tokens"]
camera_tokens = camera_and_register_tokens[:, :, :1]
registers = camera_and_register_tokens[:, :, 1:]

Per il checkpoint allineato al testo, usa VGGTOmega(enable_alignment=True) con image_resolution=256 e leggi predictions["text_alignment_embedding"].

Demo Interattiva

Installa le dipendenze della demo:

pip install -r requirements_demo.txt

Avvia la demo Gradio con un percorso di checkpoint locale:

python demo_gradio.py \
  --checkpoint checkpoints/VGGT-Omega-1B-512/model.pt \
  --image-resolution 512

La demo accetta immagini caricate o un video, esegue l'inferenza della telecamera e della profondità e visualizza la nuvola di punti non proiettata dalla profondità e le telecamere predette come scena GLB.

Licenza

Consulta il file LICENSE per i dettagli sulla licenza con cui questo codice è reso disponibile.

@inproceedings{wang2026vggtomega,
  title={VGGT-{$\Omega$}},
  author={Wang, Jianyuan and Chen, Minghao and Zhang, Shangzhan and Karaev, Nikita and Sch{\"o}nberger, Johannes and Labatut, Patrick and Bojanowski, Piotr and Novotny, David and Vedaldi, Andrea and Rupprecht, Christian},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2026}
}