nell’ultimo paio d’anni ho seguito queste mailing list in modo piuttosto intermittente, per cui ogni tanto scrivo queste mail per chiedere cose che probabilmente sono scontate per diversi di voi. Dopo aver letto un po’ documentazione sul DAF e su dati.gov.it, stavo per scrivere proprio per chiedere la stessa cosa che chiede Simone e altre connesse. Quindi:
I dati del DAF sono disponibili pubblicamente? Se non in SPARQL, tramite qualche API? La documentazione parla di come si installa l’infrastruttura da github/Docker, ma non mi è riuscito di trovare documenti per sviluppatori di applicazioni client, che ovviamente vorrebbero vedere qualche endpoint pubblico e un modo per interrogarlo, idealmente dati con i campi normalizzati e standardizzati secondo le ontologie in OntoPiA.
avrei detto che il DAF e dati.gov.it sarebbero stati unificati, costruendo l’uno a partire dall’altro (probabilmente la direzione migliore sarebbe DAF->dati.gov), ma invece sembra che i due non abbiano (tecnicamente) nulla a che fare l’uno con l’altro. O mi sbaglio? Per me è abbastanza ovvio che la prima delle due abbia molto senso, mentre non ha molto senso (se non come soluzione transitoria) mantenere questi due progetti separatamente.
in generale i dati del DAF sono disponibili attraverso il portale pubblico [1], tranne per quelli che hanno particolari vincoli per la pubblicazione (e.g., dati personali).
I dataset del DAF sono corredati di API tipicamente per facilitare la loro interrogazione. Magari prova anche ad accedere all’area privata (dal link in [1]) così provi un po’ i vari strumenti messi a disposizione dal sistema.
Per la questione SPARQL endpoint, ho indicato alcuni riferimenti a Simone rispondendo al suo post.
I dataset che seguono di più le ontologie sono i Linked Open Data che andremo a produrre via DAF; tuttavia, alcuni territori (ancora molto pochi) che conoscono il lavoro OntoPiA si stanno organizzando per essere conformi a quelle ontologie. Quindi potrebbe capitare che nell’elenco dei dataset catalogati nel catalogo CKAN del DAF ci siano dataset pubblicati da alcune PA locali che seguono, almeno parzialmente, gli schemi proposti.
In merito al punto 2, sì, l’intenzione è quella di far evolvere dati.gov.it verso il DAF. Quindi il fatto di mantenere le due piattaforme sarebbe per gestire una fase transitoria, stando ad alcune azioni specifiche del piano triennale in vigore
Attualmente le due piattaforme non sono collegate tra loro quindi non ti sbagli.
Prima di tornare alla carica ho provato un po’ il data portal. Molto interessante, ma mi restano dei dubbi tipici da linked-dataro
Anche senza SPARQL, c’è attualmente un modo (API, SQL via Metabase) di fare delle query con UNION/JOIN di più tabelle? Questa sarebbe una prima forma di data integration.
La documentazione parla di arricchimento dei dati caricati, ci sono già tabelle così, che usino i vocabolari controllati e OntoPiA, o ci saranno in futuro? Se sì, come faccio a trovarle? Se no, quando ci saranno?
in merito al primo punto, per ogni dataset è disponibile un API per l’interrogazione. Al momento nel DAF le JOIN e le UNION si possono fare attraverso la funzione dei cosiddetti dataset derivati. Tuttavia, tale funzione è abilitata, ora come ora, solo ai data scientist del DAF e non a un utente esterno, come nel tuo caso. Comunque, se ti interessa un po’ di documentazione, ci sono esempi di elaborazioni di dati diversi sul github del team digitale (e.g., https://github.com/teamdigitale/daf-data-science/blob/master/opencivitas/Viabilità.ipynb)
Nella roadmap di sviluppo è prevista l’aggiunta di join/union via API.
In ogni caso, è possibile segnalare l’opportunità di creare dei dataset derivati di interesse generale. Si possono segnalare per esempio qui sul forum o sul canale slack #daf di developers italia.
In merito al secondo punto, non ci sono al momento tabelle che usano già pienamente le ontologie di OntoPiA. Ci saranno quando tutte le funzionalità di tagging semantico del form di ingestion del DAF saranno pienamente funzionanti. Sono attualmente in fase di ulteriore collaudo in quanto, di recente, è stato modificato il software di indicizzazione di tutti i concetti e proprietà delle ontologie (l’indicizzatore si chiama ontonethub nel github del team digitale).
ho provato un po’ il data portal. Molto interessante, ma mi restano dei dubbi tipici da linked-dataro