Verso l'elenco completo dei portali open data delle PA

Stiamo provando a costruire l’elenco più completo possibile dei portali open data delle pubbliche amministrazioni italiane: https://italia.github.io/public-opendata-sources/.

Una premessa

CKAN-IT è il progetto di Developers Italia (conosciuto anche con il vecchio nome di dati-ckan-docker) che permette alle pubbliche amministrazioni di mettere in produzioni in poco tempo un proprio portale open data basato su CKAN e conforme alle specifiche DCAT-AP_IT. Qui il repository ufficiale su Github: https://github.com/italia/ckan-it.

CKAN-IT può essere usato anche come meta-catalogo che aggrega automaticamente altri cataloghi registrati e mette a disposizione un motore di ricerca unico su tutti i loro dataset. In questa funzione un’istanza di CKAN-IT è integrata nella PDND (nota: al momento la PDND è in fase di migrazione).

Il progetto

Nell’ambito dello sviluppo di CKAN-IT abbiamo reso autonomo il repository con l’elenco dei portali attualmente aggregati con l’obiettivo di farlo diventare l’indice più completo possibile dei portali open data delle pubbliche amministrazioni italiane: https://github.com/italia/public-opendata-sources.

Al momento l’elenco è disponibile in formato JSON all’indirizzo https://italia.github.io/public-opendata-sources/.

Si tratta di un progetto in fase di sviluppo, qualsiasi contributo è il benvenuto. In particolare potete segnalare portali open data non ancora in elenco creando una issue o inviando una pull request. Potete segnalare problemi dei portali open data in elenco, in particolare legati all’accesso ai dati sia via browser che mediante API (ci sono già alcune issue aperte).

Se conoscete progetti simili o elenchi anche incompleti che possono essere integrati, segnalateli. Vi invito anche a suggerire applicazioni o servizi che potrebbero essere sviluppati grazie a questo elenco, come per esempio un servizio di monitoraggio dell’uptime dei portali open data italiani.

Potete contribuire direttamente su Github oppure rispondendo a questo thread sul Forum.

Disclosure

Sono il maintainer di CKAN-IT… :slight_smile:

Ringraziamenti

Per il lavoro fatto fin qui ringrazio @giorgialodi e l’utente furins, che ha partecipato all’#Hacktoberfest contribuendo allo sviluppo dello script che genera i file serviti dalle Github Pages (semplice e annidato).

5 Mi Piace

Grazie Alessio. Continuiamo a integrarlo per avere anche questo dato come bene comune nazionale!

CIao,
Giorgia
(Collaboratrice AgID)

1 Mi Piace

Grazie, è davvero un lavoro eccellente!

Approfitto del thread per comunicare un aggiornamento relativo ad uno dei cataloghi indicizzati… quello creato alcuni anni fa dalla Camera di Commercio di Macerata, ora confluita - con le altre camere marchigiane - nella nuova Camera di Commercio delle Marche, che dunque è il nuovo publisher.
Restano validi, per ora, l’indirizzo del catalogo (serializzato in RDF/XML e JSON_LD) e quello dell’homepage del servizio, con i tool di visualizzazione: www.bit.ly/opendataimprese.

Grazie ancora.
Ciao, Fabio

3 Mi Piace

Grazie @zab0v, ho corretto, qui i dettagli: https://github.com/italia/public-opendata-sources/issues/15 .

3 Mi Piace

un domanda @Alessio_Cimarelli @giorgialodi : vi servono i nomi dei cataloghi o delle organizzazioni? per esempio terradellegravine o salentojonico al loro interno hanno circa 12 organizzazioni ciascuna. Cosi come il catalogo di Lecce ha anche circa 200 dataset dell’organizzazione Camera di Commercio di Lecce. Ditemi pure.

1 Mi Piace

Ciao @piersoft, hai sollevato un punto importante, siamo consapevoli della questione catalogo federato e quindi del fatto che la titolarità è legata al singolo dataset e non al catalogo completo.

Qui però per ora ci interessano i portali open data e quindi l’organizzazione è quella che ha la responsabilità del portale, al di là dei titolari dei singoli dataset che contiene.

Quindi nel tuo caso l’organizzazione è “Lecce” (comune?), che controlla il suo portale, anche se poi al suo interno alcuni dataset sono della Camera di Commercio.

Sarà poi compito di un futuro meta-catalogo à la datigov esporre correttamente l’organizzazione titolare del singolo dataset, indipendentemente dal catalogo o dai cataloghi che lo pubblicano.

Grazie!

1 Mi Piace

l’importante è arrivare alla fine a quello che già c’è in Dati Gov: la differenziazione per organizzazioni nella ricerca che può fare l’utente. qui l’esempio del comune di lecce con la CCIAA di Lecce

Ciao @Alessio_Cimarelli, ciao @giorgialodi

il nostro endpoint del DCAT-AP_IT vedo che è quello giusto

come Giorgia sa bene, stante che ospitiamo nel nostro catalogo molti altri enti locali (oltre 130) , oltre a società ed agenzia regionali (Arpa, PoliS, Consiglio Regionale, Infrastrutture Lombarde, etc) ,
abbiamo lavorato molto per differenziare “publisher” e “rights holder”

sarebbe bello che ciò fosse considerato che chi fa harvesting in modo che i dataset siano attribuiti correttamente

Ciao
Daniele

1 Mi Piace

@piersoft e @Daniele_Crespi, grazie degli interventi, tutto giustissimo. Ma in questo specifico thread ci stiamo concentrando sull’elenco dei portali open data pubblici, non dei titolari degli open data pubblici.

In altri termini, questo lavoro viene prima dell’harvesting operato da un qualsiasi meta catalogo nazionale (che sia dati gov, una sua evoluzione o qualsiasi altra soluzione che ne prenderà il posto).

@piersoft hai ragione ma per fare questo con il profilo DCAT-AP_IT e quindi con un certo tipo di harvesting che si attiva, c’è necessità di effettuare un intervento sull’estensione. Un normale harvesting via CKAN-CKAN, ma non DCAT-AP_IT compliant , sarebbe in grado di farlo con un’opportuna configurazione ma noi non ci accontentiamo del solo CKAN perché dobbiamo andare oltre. Come ricordato da @Alessio_Cimarelli è un problema a noi noto e già tracciato per eventuali sviluppi futuri, che consenta di tracciare le amministrazioni titolari, che attraverso il profilo DCAT-AP_IT è possibile, come dice @Daniele_Crespi ricavare, e anche, consentitemelo, di ricercarle in maniera più agevole che espandere un menu a faccette di oltre 400 elementi :slight_smile: Tra l’altro il tema è più complesso di quello che potrebbe sembrare perché alcuni scompongono per singoli uffici e quindi bisogna gestire la cosa opportunamente.
In ogni caso su ogni dataset il titolare, quando specificato PER BENE dalle PA, è presente.
Bene però capire lo scopo di questo lavoro documentato da Alessio :slight_smile:

Ciao,
Giorgia
(collaboratrice AgID)

2 Mi Piace

Buongiorno @Alessio_Cimarelli ,
essendo l’amministrazione pubblica per cui lavoro interessata a pubblicare dei dati ho fatto una ricerca in rete e trovato prima il sito Ckan-it e poi questo post.

Questo progetto è ancora in corso?
E quali sono le differenze principali tra il progetto Ckan originale e quello italiano?

Grazie mille a te e a chiunque abbia dei chiarimenti su questo argomento.

Buona giornata

Claudio b.

scrivi alla “Redazione” su dati.gov.it . Potremmo aiutarti nel percorso come abbiamo fatto in questi mesi con altre PA. ciao!

1 Mi Piace

Consiglio anche di indicare bene ovunque i progetti ormai abbandonati da anni…

1 Mi Piace

Esatto Alessio, per questo non ho messo link ma ho detto di contattare direttamente Agid. Ci sono tante faq e patch da applicare ai ckan in circolazione. Possiamo seguirli come stiamo facendo con tutte le altre PPA.