Benvenuti in OpenMetadata

** पोटenzia il tuo percorso di dati con OpenMetadata**

OpenMetadata

La piattaforma contestuale semantica aperta per dati e IA

OpenMetadata è la piattaforma aperta per la costruzione di un contesto di dati affidabile e di una semantica aziendale per esseri umani, assistenti AI e agenti.

OpenMetadata connette metadati tecnici, segnali di qualità dei dati, lineage dei dati, lineage a livello di colonna, proprietà, utilizzo, politiche, conversazioni, glossari, classificazioni, metriche, domini e prodotti di dati in un grafo di conoscenza dei metadati unificato. Con oltre 120 connettori, standard di metadati aperti, ricerca semantica, API, SDK e un server MCP, OpenMetadata fornisce a ogni utente e sistema AI il contesto governato di cui ha bisogno per scoprire, comprendere, fidarsi e utilizzare i dati.

L'IA non ha bisogno di un altro connettore a database grezzi. L'IA ha bisogno di contesto.

OpenMetadata fornisce questo contesto:

• quali dati esistono
• cosa significano
• chi li possiede
• come vengono utilizzati
• da dove provengono
• dove fluiscono
• se sono aggiornati, testati e affidabili
• quali concetti di business, termini di glossario, classificazioni e politiche si applicano
• quali asset a valle, dashboard, pipeline, metriche e modelli ML dipendono da essi

Perché OpenMetadata per l'IA?

L'IA ha bisogno di più del semplice accesso ai dati. Ha bisogno di contesto, semantica, fiducia, lineage, governance e consapevolezza operativa.

Connettere un assistente AI direttamente a un database, data warehouse, dashboard o pipeline gli dà solo accesso grezzo alle strutture dei dati. Non fornisce all'IA un contesto sufficiente per capire cosa significa il dato, se ci si può fidare, chi lo possiede, come è governato o quali sistemi a valle dipendono da esso.

OpenMetadata fornisce ai sistemi AI il contesto e la semantica di cui hanno bisogno per scoprire, comprendere, governare e utilizzare in sicurezza i dati aziendali.

OpenMetadata lo fa combinando quattro capacità:

1. Contesto — metadati tecnici, operativi, di fiducia e di lineage dall'ecosistema dei dati.
2. Semantica — significato aziendale tramite glossari, metriche, classificazioni, domini, politiche e ontologie.
3. Grafo di Conoscenza — relazioni che connettono asset, colonne, persone, team, politiche, lineage, qualità e concetti di business.
4. Automazione — MCP, Ricerca Semantica, API, SDK, eventi e workflow che permettono agli assistenti e agenti AI di agire sui metadati governati.

Con OpenMetadata, l'IA può rispondere a domande come:

• Cosa significa questa metrica?
• Quali dataset alimentano questa dashboard?
• Chi possiede questo prodotto di dati?
• Questo dataset è certificato, aggiornato e di alta qualità?
• Quali dashboard o modelli ML a valle sono influenzati da questa modifica di colonna?
• Quali asset sono correlati al comportamento di acquisto dei clienti, anche se usano nomi diversi?
• Quali colonne contengono informazioni sensibili dei clienti?
• Quali termini di glossario e concetti di business si applicano a questo dataset?

Contesto: Dai all'IA il quadro completo dei tuoi dati

Il contesto è il metadato che descrive come i dati esistono, si comportano, cambiano, fluiscono e vengono utilizzati nell'organizzazione.

OpenMetadata raccoglie il contesto da tutto il tuo stack di dati e lo connette in un grafo di metadati unificato.

Metadati Tecnici

OpenMetadata fornisce all'IA accesso a metadati tecnici come:

• database, schemi, tabelle, colonne, argomenti, dashboard, grafici, pipeline, API, indici di ricerca, modelli ML e asset di storage
• schemi, nomi di colonne, tipi di dati, vincoli, descrizioni, query di esempio, join e metadati di servizio
• configurazione del servizio, metadati di ingestione e metadati operativi
• proprietari, team, utenti, persona, domini, prodotti di dati e modelli di utilizzo

Segnali di Qualità e Fiducia dei Dati

L'IA non dovrebbe trattare ogni dataset come ugualmente affidabile.

OpenMetadata fornisce all'IA l'accesso a segnali di fiducia come:

• test di qualità dei dati
• suite di test e risultati dei test
• controlli di freschezza
• controlli di volume
• test di nullità, unicità, distribuzione e test personalizzati
• risultati di profilazione
• segnali di osservabilità
• cronologia della qualità dei dati
• incidenti, avvisi e segnali di salute operativa

Lineage dei Dati e Impatto

L'IA ha bisogno di capire da dove provengono i dati e dove vanno.

OpenMetadata acquisisce:

• lineage a monte e a valle
• lineage a livello di tabella
• lineage della dashboard
• lineage della pipeline
• lineage delle metriche
• lineage del modello ML
• dipendenze di API e argomenti
• analisi dell'impatto su tutto il patrimonio di dati

Lineage a Livello di Colonna

Per un ragionamento AI preciso, la lineage a livello di tabella non è sufficiente.

OpenMetadata aiuta l'AI a capire:

• quali colonne sorgente producono quali colonne a valle
• come le colonne fluiscono attraverso le trasformazioni
• quali dashboard, report, metriche o modelli ML dipendono da una colonna specifica
• cosa potrebbe rompersi quando una colonna cambia

Connesso da oltre 120 Servizi Dati

OpenMetadata riunisce questo contesto da database, data warehouse, data lake, dashboard, pipeline, sistemi di messaggistica, piattaforme ML, sistemi di storage, API, sistemi di ricerca e sistemi di metadati.

Il contesto risponde a domande come:

• Quali dati esistono?
• Da dove provengono questi dati?
• Chi li possiede?
• Sono aggiornati?
• Sono testati?
• Sono affidabili?
• Quali sistemi dipendono da essi?
• Cosa succede se cambiano?

Semantica: Dai all'IA il significato aziendale

La semantica è il significato aziendale sovrapposto al contesto tecnico.

Senza semantica, l'IA potrebbe vedere una colonna chiamata cust_id, acct_id o buyer_key, ma potrebbe non sapere se quei campi rappresentano un cliente, un account, un acquirente, un nucleo familiare o un'entità legale.

OpenMetadata consente ai team di definire, governare e connettere il significato aziendale attraverso il grafo dei metadati.

Concetti Aziendali

Definisci i concetti importanti per il business, come:

• Cliente
• Account
• Ordine
• Entrate
• Prodotto
• Consenso
• Churn
• Rischio
• Valore a Vita del Cliente
• Net Retention
• Utente Attivo
• Dati Sensibili

Glossari e Termini di Glossario

OpenMetadata permette ai team di creare vocabolari governati con:

• definizioni aziendali
• sinonimi e abbreviazioni
• proprietari e revisori
• termini correlati
• termini gerarchici
• collegamenti a tabelle, colonne, dashboard, metriche e prodotti di dati

Metriche e KPI

Le metriche sono uno degli oggetti semantici più importanti per l'IA.

OpenMetadata aiuta l'IA a capire:

• cosa significa una metrica
• come viene calcolata
• chi la possiede
• quali dashboard la utilizzano
• quali tabelle la alimentano
• quali termini di glossario la definiscono
• quali consumatori a valle dipendono da essa

Classificazioni e Tag

OpenMetadata permette ai team di classificare ed etichettare i dati con tag governati come:

• PII
• Sensibile
• Confidenziale
• Certificato
• Deprecato
• Tier 1
• Finance
• Marketing
• GDPR
• HIPAA
• SOX
• Funzione ML
• Dati del Cliente

Domini e Prodotti di Dati

OpenMetadata connette gli asset ai confini della proprietà aziendale tramite:

• domini
• prodotti di dati
• team
• proprietari
• politiche
• persona
• consumatori di prodotti di dati

Politiche e Governance

OpenMetadata connette la semantica alla governance in modo che i sistemi AI possano ragionare con un contesto consapevole delle politiche, non solo con i metadati.

Questo include:

• proprietà
• gestione
• classificazione
• contesto di controllo degli accessi
• certificazione
• workflow di revisione
• politiche di governance
• stati del ciclo di vita

La semantica risponde a domande come:

• Cosa significa questo dato?
• Quale concetto di business rappresenta questa colonna?
• Questa metrica è definita ufficialmente?
• Questo asset è certificato?
• Questo dato è sensibile?
• Quali termini di glossario si applicano?
• Quale dominio possiede questo prodotto di dati?

Grafi di Conoscenza e Ontologie

OpenMetadata connette contesto e semantica in un grafo di conoscenza dei metadati unificato.

Il grafo non memorizza solo gli asset di dati. Memorizza le relazioni tra asset di dati, persone, team, politiche, test di qualità, lineage, classificazioni, termini di glossario, metriche, domini e prodotti di dati.

Questo rende OpenMetadata un livello di contesto semantico per l'IA.

Relazioni di esempio:

Tabella ──haColonna────────────> Colonna
Colonna ──classificataCome────────> PII
Colonna ──rappresenta──────────> Identificativo Cliente
Tabella ──possedutaDa──────────────> Team di Ingegneria Dati
Tabella ──parteDi───────────────> Prodotto Dati Cliente 360
Dashboard ──dipendeDa────────> Tabella
Metrica ──definitaDa───────────> Termine di Glossario
Pipeline ──produce──────────> Tabella
Colonna ──fluisceVerso─────────────> Colonna
Caso di Test ──valida────────> Tabella
Dominio ──contiene────────────> Prodotto di Dati
Termine di Glossario ──correlatoA────> Concetto Aziendale
Policy ──governa─────────────> Classificazione

Con questo grafo, l'IA può ragionare sulle relazioni:

• Quali dataset alimentano questa dashboard?
• Cosa significa questa metrica?
• Chi possiede questo prodotto di dati?
• Questa tabella è aggiornata, certificata e di alta qualità?
• Quali dashboard o modelli ML a valle sono influenzati da questa modifica di colonna?
• Quali asset sono correlati al comportamento di acquisto dei clienti, anche se usano nomi diversi?
• Quali colonne rappresentano informazioni sensibili dei clienti?
• Quali concetti di business sono connessi a questo prodotto di dati?

Ontologie e Interoperabilità Semantica

OpenMetadata è costruito su standard di metadati aperti.

OpenMetadata Standards fornisce schemi, ontologie e specifiche semantiche per la gestione interoperabile dei metadati, inclusi:

• Schemi JSON per entità di metadati, API, configurazioni, eventi e relazioni
• Ontologie RDF/OWL per web semantico, dati collegati ed casi d'uso di grafi di conoscenza
• SHACL shapes per la validazione
• Contesti JSON-LD per l'interoperabilità semantica
• standard per governance, lineage, qualità, osservabilità, team, utenti, politiche ed eventi

Questi standard rendono OpenMetadata più di un catalogo. Lo rendono una base per metadati semantici interoperabili, dati collegati e grafi di conoscenza aziendali.

Automazione: Attiva contesto e semantica con l'IA

OpenMetadata rende il grafo dei metadati eseguibile.

Assistenti AI, agenti di codifica, team di dati, team di governance e applicazioni possono utilizzare OpenMetadata tramite:

• MCP
• Ricerca Semantica
• API
• SDK
• eventi
• webhook
• workflow di ingestione
• applicazioni di metadati

Server MCP

OpenMetadata include un server MCP che consente agli assistenti AI e ai client compatibili con MCP di interagire con il grafo dei metadati tramite linguaggio naturale.

Con OpenMetadata MCP, gli assistenti AI possono:

• cercare metadati
• eseguire ricerche semantiche
• recuperare i dettagli delle entità
• ispezionare la lineage a monte e a valle
• creare glossari e termini di glossario
• creare lineage
• aggiornare descrizioni, tag, proprietari e altri metadati
• elencare le definizioni dei test di qualità dei dati
• creare casi di test di qualità dei dati
• analizzare le cause profonde dei fallimenti della qualità dei dati

Inizia con MCP: Documentazione del Server MCP di OpenMetadata

Ricerca Semantica

La Ricerca Semantica consente a utenti e assistenti AI di cercare per significato, non solo per parole chiave esatte.

Ad esempio, un utente può chiedere:

Trova le tabelle relative al comportamento di acquisto dei clienti e alla cronologia delle transazioni.

OpenMetadata può restituire asset concettualmente correlati anche quando le parole esatte nella query non appaiono nei nomi degli asset.

Questo aiuta l'IA a rispondere a domande come:

• Quali dataset sono correlati al comportamento dei clienti?
• Quali dashboard abbiamo per la previsione dei ricavi?
• Mostrami gli asset correlati alle metriche di coinvolgimento degli utenti.
• Trova le pipeline che elaborano dati di conformità finanziaria.

AI SDK

Gli sviluppatori possono utilizzare l'AI SDK di OpenMetadata per costruire applicazioni AI personalizzate che utilizzano gli strumenti MCP di OpenMetadata programmaticamente.

L'AI SDK consente alle applicazioni AI di utilizzare il contesto OpenMetadata da Python, TypeScript e Java.

API, Eventi e Webhook

OpenMetadata espone API, eventi e webhook in modo che i team possano automatizzare i workflow di metadati attraverso il loro ecosistema di dati.

Usali per:

• importare e aggiornare metadati
• reagire ai cambiamenti dei metadati
• attivare workflow di governance
• integrare con strumenti di collaborazione
• costruire applicazioni di metadati personalizzate
• sincronizzare il contesto tra i sistemi

Agenti di Codifica e Assistenti AI

OpenMetadata può connettersi ad assistenti e agenti compatibili con MCP come:

• Claude Desktop
• Claude Code
• Goose
• Cursor
• VS Code
• Codex
• applicazioni LLM personalizzate
• assistenti AI aziendali interni

Questo consente agli agenti di codifica e agli assistenti di dati di comprendere schemi, definizioni di glossario, proprietà, lineage, requisiti di qualità e dipendenze a valle prima di generare SQL, modelli dbt, documentazione, test, piani di migrazione o analisi dell'impatto.

AI Data Discovery

Poni domande in linguaggio naturale sul tuo grafo di metadati e trova gli asset pertinenti, anche quando nomi e parole chiave non corrispondono esattamente.

Esempio:

Trova i dataset relativi al comportamento di acquisto dei clienti e alla cronologia delle transazioni.

Trusted AI Assistants

Basa gli assistenti AI su... (contenuto troncato)