Stato della pubblicazione delle basi di dati chiave e/o DAF data portal

Un saluto a tutto il team,
sarebbe utile un riassunto ufficiale sullo stato di pubblicazione delle basi di dati chiave: erano previste per fine dicembre 2017 e sono un’attività fortemente connessa al primo rilascio del DAF, almeno secondo il piano di sviluppo condiviso.
Sbaglio?

https://daf-piano-di-sviluppo.readthedocs.io/it/latest/casi-uso/dataset-chiave.html

Ho visto il video introduttivo che comunica il potenziale del DAF che sta girando in questi giorni a valle dell’anteprima mostrata all’evento #DataToChange e il relativo intervento di Diego Piacentini (per chi lo avesse perso, dal minuto 2.11 di www.youtube.com/watch?v=G3WqDJ3EbMw, occhio anche al minuto 2.44 la domanda e la relativa risposta). Ho letto l’integrazione all’articolo 50-ter del CAD in merito al DAF stesso, che in italiano è diventato la “Piattaforma digitale nazionale dati”. L’inserimento nel CAD è un passo importante che merita una riflessione a parte. In ogni caso il lavoro in corso sull’infrastruttura c’è e si vede, quindi immagino che sulla pubblicazione dei dati attraverso il DAF ci sia uno slittamento dell’agenda condivisa mesi fa.

Forse ci saranno alcuni chiarimenti nel corso del webinar del 23 gennaio, partendo da questi dubbi condivisi. (a proposito del webinar: non so se riuscirò a partecipare, in ogni caso mi guarderò la differita, utilissima per seguire quello che si vuole non appena si trova il tempo).

Ecco un paio di note:

  • nella home della documentazione sull’elenco delle basi di dati chiave si legge questo nel box Avvertimento: “Si noti che i contenuti del presente documento sono ancora in fase di approvazione.” Lo sono ancora? Possiamo considerarli definitivi, almeno per il 2017?
  • nella pagina degli obiettivi si legge: “Per ciascuna base di dati / dataset chiave individuata in Sezione Elenco basi di dati chiave si identificano i seguenti obiettivi da raggiungere nel corso del 2017.” Visto che abbiamo sforato, qual è la nuova deadline? Quali sono i motivi (specie di processo) che hanno creato questo ritardo? Per noi cittadini e società civile sono aspetti fondamentali per capire i dettagli di quella complessità che spesso si nasconde soltanto negli aspetti burocratici, nel c’è o non c’è. Ne esiste una - che non viene mai condivisa - fatta di processi, di governance caotiche, che mi piacerebbe diventi pubblica, un patrimonio collettivo che aiuterebbe a migliorare la gestione la volta successiva (in una logica di miglioramento continuo - kaizen, in un certo senso);
  • alcuni casi applicativi citati nella documentazione all’interno del piano di sviluppo del DAF che cita le basi di dati chiave si riferiscono a dati che non sembrano esserci tra quelli presenti nelle basi di dati chiave. In più hanno tutti la data di rilascio a dicembre 2017: immagino che se i dati mancano, diventa una semplice conseguenza che manchi il caso applicativo, no? In ogni caso, data l’attenzione crescente sul DAF, aggiornare lo stato e la data di rilascio di quei casi applicativi sarebbe utile.

In generale non è chiaro come stia proseguendo il lavoro di pubblicazione dei dati: dobbiamo aspettare l’inserimento di quei dati all’interno del data portal del DAF o ci sarà una fase intermedia (anche se in forma statica) che li vedrà all’interno dell’attuale dati.gov.it? Dato che la sperimentazione sul DAF continuerà per tutto il 2018, confido nella seconda ipotesi.

In merito alla pubblicazione dei dati, ho fatto un controllo veloce sull’elenco (ergo potrei sbagliare e di grosso), mi risulta questo quadro:

  1. il data portal del DAF in versione alpha non ha alcun dato di quelli chiave accessibile dall’utente che si iscrive. Di certo ne avrete qualcuno per supportarvi nello sviluppo, ma non è direttamente raggiungibile dall’utente;
  2. basi di dati chiave - dati pubblicati in cui è coinvolta la task force #DatiPubblici - 0/11 (forse sono 3/11 - sui dati MIBACT ho dubbi, ma non sono certo visibili nel DAF ad oggi, come da obiettivi dichiarati)
  3. basi di dati chiave - dati pubblicati rimanenti - 4/9 (quello delle patenti attive, quello sulle startup innovative [comprese le statistiche] e movimprese)

Ricordo che in merito a due basi dati ci sono discussioni parallele ( ANNCSU - Updates e Normattiva: Normattiva open data), mentre il catalogo generale dei beni culturali è in corso d’opera, se non sbaglio (anche in versione LOD, in questi giorni ne abbiamo parlato anche all’interno della comunità di Spaghetti Open Data).

Sarebbe interessante avere un aggiornamento in merito al rapporto con le pubbliche amministrazioni coinvolte in questa fase di lancio del DAF: la mia paura è che potremmo avere un gran bel giocattolo, sviluppato con tecnologie all’avanguardia del mondo privato, un bene comune digitale (fatto di codice, di risorse uomo, di competenze) che non si dovrebbe sprecare, specie se è solo colpa del dato che tarda ad arrivare.

Grazie,
Matteo

ps - forse nella fase di lancio del data portal di ottobre scorso erano presenti alcuni dataset test, non mi è chiaro: oggi non ci sono di default (o almeno non ci si accede con il ruolo di base). Sarebbe davvero utile mettere a disposizione i dati mentre arrivano nel flusso di ingestion, anche per valorizzare l’alpha release e testarla maggiormente. Forse è già possibile farlo aggiungendo un’organizzazione dedicata che non conosco ai profili utente iscritti. Nel caso non ci sia, fateci un pensiero :slight_smile:

9 Mi Piace

Ciao @dagoneye

prima di tutto grazie per aver sollevato la questione che è molto importante. Infatti stiamo già lavorando per predisporre un report di monitoraggio relativo all’elenco delle basi di dati chiave. Pensavamo di integrare l’attuale documento online con una sezione di monitoraggio al 31/12/2017. Nel report vogliamo indicare esplicitamente lo stato di apertura, lo stato di ingestione nel DAF e le possibilità di modellazione secondo standard per ciascun dataset, rispetto anche alla network di ontologie attualmente disponibile. Stiamo lavorando per rendere disponibile il report entro la fine di questo mese, al più tardi i primi giorni di febbraio.

Rispondiamo poi puntualmente ad alcuni punti sollevati:

  1. sì le basi di dati chiave possono essere considerate definitive per il 2017
  2. effettivamente è stato sforato l’obiettivo per alcuni dataset, non per tutti. Per alcuni di questi ritardi conosciamo indicativamente la nuova scadenza, per altri casi è più complesso. Nel report indicheremo la nuova timeline per singolo dataset
  3. ovviamente i ritardi hanno anche un impatto sugli scenari applicativi previsti dal piano di sviluppo del DAF. Considerate che il gruppo del DAF si è arricchito di recente con persone che analizzano i vari dati esistenti e che costruiscono data stories e data application. Su github si possono già vedere i primi risultati. Quindi, forse alcuni di quegli scenari applicativi sono da ripensare, anche in ottica di nuovi scenari emersi con l’acquisizione di altri dati oltre le basi di dati chiave
  4. per la pubblicazione, alcuni dei dataset indicati nell’elenco delle basi di dati chiave sono già disponibili nei cataloghi open data delle PA e quindi conseguentemente in dati.gov.it. Stiamo lavorando per far sì che il catalogo attuale sia sostituito dalla parte catalogo del DAF accessibile mediante il data portal. Quindi una parte di questi saranno sicuramente in dati.gov.it, ma controlleremo che tutti rientrino nel futuro catalogo offerto dal DAF.
  5. la situazione di apertura dei dataset/basi di dati chiave non è così “brutta” come riportata ::slight_smile: Sicuramente ci sono alcuni dataset chiave che al momento non sono aperti e che pensiamo non si possano ragionevolmente aprire da qui ai prossimi mesi. Il report dovrebbe fare maggiore chiarezza in merito
  6. Per ANCCSU si è ancora in attesa del parere del Garante Privacy, mentre su Normattiva, stiamo lavorando insieme a IPZS e altri partner, su un miglioramento complessivo del servizio, che comprende anche un lavoro su standard normativi e rilascio degli stessi in open data. Per questa attività abbiamo attualmente l’obiettivo di uscire per fine giugno.
  7. per quanto riguarda il DAF e l’attuale coinvolgimento delle PA, @lilloraffa potrà sicuramente fornire maggiori dettagli. Una nota importante: considerate che ci sono altre PA che stanno collaborando con il DAF (e.g., INAIL, il gruppo di Open Coesione, ISTAT, ecc.) oltre quelle citate nell’elenco delle basi di dati chiave. Pertanto, è bene ragionare in maniera più estesa rispetto anche a quel documento

Infine grazie per tutti i suggerimenti che sicuramente terremo in considerazione.

Ciao,
Giorgia (collaboratrice AgID)

4 Mi Piace

Ciao @giorgialodi,
a questo punto attendo con ansia il report a cui state lavorando per capirne di più!

Potreste anche dividerlo in due parti: una più orientata al monitoraggio, dove indicare in una data precisa

lo stato di apertura, lo stato di ingestione nel DAF e le possibilità di modellazione secondo standard per ciascun dataset, rispetto anche alla network di ontologie attualmente disponibile

ed una dedicata alla previsione, indicando come dovrebbe cambiare lo stato delle medesime informazioni alla deadline impostata. In questo modo si cattura un pezzetto dell’ecosistema in un momento storico ben preciso.

Inserisco il riferimento alla registrazione video del webinar sul DAF del 23 gennaio scorso, visto che l’avevo citata.

Integro alcuni dei punti delle risposte:

  • punto 1 - perfetto: quindi quel box di avvertimento dovrebbe indicarlo ora eh :slight_smile:
  • punto 4 - c’è una data/deadline in merito alla sostituzione di dati.gov.it con il data portal del DAF? Immagino abbia relazione con la parte “Evoluzione Dati.gov.it” del Piano Triennale, no? (che aveva scadenza dicembre 2017)
  • punto 5 - non vedo l’ora di essere smentito su quella sintesi. Occhio a tenere conto della data del 31/12/2017, ovviamente;
  • punto 7 - bene, ottimo. In ogni caso aspetto il commento di @lilloraffa: la relazione e lo sviluppo dell’ecosistema attorno al DAF è la sfida più grande da vincere :slight_smile:

Grazie del feedback,
Matteo

2 Mi Piace

Ciao @giorgialodi,
ci sono news sulla pubblicazione del report e sui punti aperti nella domanda qui sopra?

Immagino che la settimana dell’amministrazione aperta sia stata bella tosta, quindi un piccolo ritardo sulla tabella di marcia non mi fa paura, se anche ci fosse :slight_smile:

Grazie,
Matteo

2 Mi Piace

Ciao @dagoneye,

abbiamo predisposto il documento ma abbiamo ritenuto importante, sul piano istituzionale, prevedere anche un passaggio con le PA coinvolte. Per questo abbiamo dei ritardi. Speriamo di chiudere presto per poi procedere con la pubblicazione su read the docs. Vi chiediamo quindi un po’ di pazienza ancora.

Ciao
Giorgia
(collaboratrice AgID)

2 Mi Piace

Ciao @dagoneye,

prima di tutto il nostro team vuole scusarsi per il ritardo nella pubblicazione; penso vediate tutti la mole di attività aperte che ci sono al momento e che coinvolgono anche interazioni con svariate PA :slight_smile:
Ad ogni modo abbiamo pubblicato all’interno del documento “elenco basi di dati chiave” una sezione “stato di apertura e pubblicazione delle basi di dati chiave” http://elenco-basi-di-dati-chiave.readthedocs.io/it/latest/. La sezione dettaglia per ogni dataset e per ogni PA lo status rispetto agli obiettivi elencati nel documento stesso. Abbiamo incluso delle motivazioni dei ritardi e delle conclusioni finali.
La sezione era stata costruita tenendo in considerazione il precedente tema di base RTD, cambiato in corsa. Magari, con più calma, sistemeremo anche alcune cose estetiche!

Rimane da dire enjoy!
Ciao,
Giorgia (collaboratrice AgID)

1 Mi Piace