OpenAI Privacy Filter

OpenAI Privacy Filter è un modello di classificazione token bidirezionale per il rilevamento e la mascheratura di informazioni personali identificabili (PII) nel testo. È pensato per flussi di lavoro di sanificazione dati ad alta velocità dove i team necessitano di un modello da eseguire in locale, veloce, consapevole del contesto e facilmente adattabile.

Il filtro è pre-addestrato in modalità autoregressiva, partendo da un checkpoint con architettura simile a gpt-oss ma di dimensioni minori. Successivamente, il modello viene convertito in un classificatore token bidirezionale secondo una tassonomia di etichette per la privacy, e post-addestrato con una perdita di classificazione supervisionata. A differenza della generazione token per token, questo modello etichetta la sequenza in un'unica passata, decodificando poi gli span con una procedura di Viterbi vincolata. Per ogni token in input il modello predice una distribuzione di probabilità su 8 categorie di output descritte più avanti.

Caratteristiche principali

Questo Repository

Contiene codice locale, CLI e asset di esempio per eseguire, valutare e rifinire i checkpoint di Privacy Filter, destinato a team che vogliono gestire il modello nel proprio ambiente.

Risorse: Licenza e Politica sulla Sicurezza.

Come usarlo

1. Installare il pacchetto localmente:

pip install -e .

2. Eseguire la redazione one-shot (di default cerca il modello nella cartella indicata da OPF_CHECKPOINT o ~/.opf/privacy_filter, scaricandolo se mancante):

opf "Alice è nata il 1990-01-02."

Per CPU usare:

opf --device cpu "Alice è nata il 1990-01-02."

Per specificare checkpoint:

opf --checkpoint /percorso/del/checkpoint "Alice è nata il 1990-01-02."

Per redigere un intero file:

opf -f /percorso/del/file

Si supportano anche pipeline con pipe:

cat /percorso/del/file | grep -e 'pattern' | opf

Modalità interattiva (default senza input) con output JSON strutturati e anteprime colorate nei terminali supportati.

Consulta opf redact --help per ulteriori opzioni.

3. Valutazione su dataset etichettati:

opf eval examples/data/sample_eval_five_examples.jsonl

I file di esempio in examples/data/ sono dati sintetici.

Consulta opf eval --help per dettagli.

4. Fine-tuning personalizzato:

opf train /percorso/del/train.jsonl --output-dir /percorso/del/finetuned_checkpoint

Consulta opf train --help per opzioni.

Struttura del codice

• opf/__main__.py: entrypoint CLI unificato (redact, eval, train)
• opf/_api.py: API Python per runtime e decodifica
• opf/_cli/: parsing argomenti CLI e supporto terminale
• opf/_core/: caricamento runtime, conversione span, decodifica condivisa
• opf/_eval/: caricamento dataset, preprocessing, metriche, runner di valutazione
• opf/_train/: parsing argomenti, runner per fine-tuning
• opf/_model/: implementazione trasformatore, config checkpoint, caricamento pesi
• examples/data/: dati di esempio per valutazione e fine-tuning demo
• examples/scripts/finetuning/: script dimostrativi per fine-tuning
• FINETUNING.md, OUTPUT_SCHEMAS.md, EVAL_AND_OUTPUT_MODES.md: guide e specifiche

Dettagli del modello

Descrizione

Il modello Privacy Filter è una classificazione token bidirezionale con decodifica di span, inizialmente pre-addestrato autoregressivamente. Successivamente, viene modificato in classificatore token con attenzione a banda bidirezionale (banda 128, finestra effettiva 257 token). Gli output sono etichette BIOES coerenti per gli span individuati.

Architettura comprende:

• embedding token
• 8 blocchi transformer ripetuti
• attenzione a query raggruppate con embedding posizionali rotatori
• blocchi feed-forward con sparse mixture-of-experts (128 esperti, top-4)
• testa di classificazione token su etichette privacy (d_model=640)

Decodifica in un singolo passaggio migliora throughput rispetto a modelli autoregressivi iterativi.

Categorie di output

Rileva 8 categorie di dati personali:

Ogni categoria è suddivisa in 4 tag BIOES oltre allo sfondo (O), per un totale di 33 classi token. L'output è una matrice [batch, sequenza, 33] con logits per token.

Decodifica e calibrazione

Usa un decoder Viterbi con transizioni BIOES vincolate, parametri di bias transizionali per ottimizzare coerenza e stabilità di boundary, gestendo il tradeoff tra richiamo e precisione regolabile a runtime.

Meta informazioni

• Sviluppato e finanziato da OpenAI
• Licenza Apache 2.0
• Peso modello e demo disponibili su Hugging Face
• Card modello dettagliato in PDF

Bias, rischi e limitazioni

Rischio: eccessiva fiducia

Non garantisce anonimizzazione completa, consigliato usarlo come strumento di supporto integrato in strategie privacy-by-design multilivello.

Limitazioni

Lavora solo con le categorie etichettate nel modello; definizioni politiche statiche richiedono fine-tuning per nuove esigenze. Performance possono diminuire su lingue non inglesi o domini poco rappresentati.

Modalità di fallimento

Può mancare nomi rari o convenzioni particolari, sovra-redigere entità pubbliche o produrre boundary spezzati.

Cautela su settori ad alto rischio

Medicina, legale, finanza richiedono revisione umana e attenzione particolare per errori di falso positivo o negativo.

Raccomandazioni

• Usare come parte di un approccio privacy olistico
• Valutare localmente con policy personalizzate
• Applicare fine-tuning per politiche specifiche
• Mantenere revisione manuale per contesti sensibili