Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Handleiding voor team data.overheid.nl in beheer van de content op data.overheid.nl
Op data.overheid.nl is de door de Nederlandse overheid beschikbaar gestelde data vindbaar. Het portaal wordt onderhouden door het Kennis- en Exploitatiecentrum Officiële Overheidspublicaties in opdracht van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties. Data.overheid.nl is een register en biedt hulp bij het openen en hergebruik van data van de overheid. Data.overheid.nl begeleidt overheidsorganisaties bij het openstellen van beschikbare data. Daarnaast is er ondersteuning voor hergebruikers bij het vinden van specifieke datasets. Data die (nog) niet als open data beschikbaar zijn kunnen door middel van een dataverzoek als open data beschikbaar komen. Het team van data.overheid.nl is verantwoordelijk voor de uitvoering van het portaal.
Om het vinden en zoeken naar data te verbeteren heeft data.overheid.nl diverse data communities geopend. De communities zijn bedoeld om niet alleen data zo goed mogelijk vindbaar te maken, maar ook om vragen en interactie die er zijn met elkaar als community te kunnen oppakken. Een data community levert inzicht in de toepassing van en vraag naar data, waarmee uiteindelijk de impact van open data kan worden bepaald.
Om het zoeken en vinden via een uniforme wijze in te richten heeft de redactie van data.overheid.nl het volgende protocol opgesteld voor specifieke onderdelen:
Verreweg de meeste datasets worden gepubliceerd door andere overheidsorganisaties. Wij raden aan de titel zo informatief mogelijk te maken.
Een aantal datasets worden door het dataportaal data.overheid.nl zelf gepubliceerd. Deze datasets worden als volgt gepubliceerd: titel dataset [DONL]
Om het vinden naar de gewenste data zo makkelijk mogelijk te maken definiëren experts samen met data.overheid.nl een aantal groepen met datasets binnen een community. De groep kan ingaan op een bepaald thema/onderwerp/vraagstuk. De bedoeling is dat binnen een groep zoveel mogelijk data al bij elkaar is gezet.
De groepen die horen bij een community worden als volgt gepubliceerd:
titel groep [Bijbehorende community]
De groepen met datasets zijn op twee manier vindbaar:
Via de reguliere zoekacties op data.overheid.nl
Via de landingspagina’s van de data communities
Om de interactie op de diverse communities goed van dienst te kunnen zijn, hanteert het team van data.overheid.nl de volgende uitgangspunten:
Initiële leidraad voor moderatie zijn de privacy- en andere voorwaarden die gelden op alle .overheid.nl websites (terug te vinden in de footer van elke site).
Voor communities kunnen specifieke gedragsregels of gebruiksregels van toepassing zijn. Deze zijn in het specifieke forum gepubliceerd en voor elke gebruiker toegankelijk.
Moderatie wordt uitgevoerd door de trekkers van een specifieke community, met ondersteuning van het team van data.overheid.nl
Interactie kan 24/7 plaatsvinden op het forum; moderatie vindt plaats tijdens kantooruren.
Het team van data.overheid.nl is voor ondersteuning bereikbaar tussen 08.00-17.00 uur.
Aan iedere community zijn inhoudelijke experts gekoppeld die vragen over data kunnen beantwoorden.
De inhoudelijke experts, trekkers en het team DONL hebben een aantal middelen voor moderatie beschikbaar. Het is mogelijk om gebruikers tijdelijk de toegang te weigeren tot het forum, content te verwijderen of zelfs gebruikers te verwijderen.
Moderatie kan actief en passief zijn. Actief op basis van reguliere controles door het team; passief op basis van signalen van gebruikers.
Het team van data.overheid.nl ziet er op toe dat de interactie op het forum plaats vindt.
Berichten op het forum die door het team van data.overheid.nl worden geplaatst worden altijd voorzien van een tag [DONL] voor herkenbaarheid.
Het DONL team publiceert regelmatig datasets en toepassingen waarvan we zelf niet de data-eigenaar zijn. Dit doen we om bepaalde datasets beter vindbaar te maken voor hergebruikers. Dit doen we vaak op verzoek van de data-eigenaar. In deze gevallen verifiëren we met de data-eigenaar welke contactgegevens en eigenaar we invoeren. Zo komen eventuele vragen en feedback over de data terecht bij de juiste data-eigenaar. Ben je de eigenaar van een dataset of toepassing, maar zie je dat er een andere eigenaar of incorrecte contactgegevens bij vermeld staan? Geef dit dan door aan team DONL via data@koop.overheid.nl.
In sommige gevallen noteren we bij de contactgegevens opendata@overheid.nl. Dit doen we wanneer we nog geen definitieve contactgegevens hebben ontvangen van de data-eigenaar. Zodra dit wel bekend is passen we dit aan bij de desbetreffende dataset.
Wanneer team DONL een dataset aanmaakt om aan te geven dat beschikbaar is binnen de overheid, maar eventueel zonder open licentie, zullen we ook contactgegevens noteren van data.overheid.nl. Zo beantwoorden wij alle eventuele vragen over de licenties en kunnen wij contact opnemen met de data-eigenaar. Voorbeelden hiervan zijn de 10 basisregistraties, waaronder bijvoorbeeld deze dataset: https://data.overheid.nl/dataset/basisregistratie-voertuigen-brv-donl.
Dit is de documentatie omgeving van data.overheid.nl. Je vindt hier aanvullende informatie, technische documentatie en handleiding die niet op data.overheid.nl past.
Dit is de eerste pagina van de documentatie.
Neem contact met het Data.overheid.nl team op om te publiceren op deze pagina's.
Het inventariseren van open data collecties van overheidsorganisaties.
Tijdens een data inventarisatie worden alle beschikbare data in een organisatie in kaart gebracht. Vervolgens wordt onderzocht welke data geschikt zijn om als open data te publiceren en tot een collectie te komen.
In 2015 zijn alle ministeries gestart met een jaarlijkse Rijksbrede data inventarisatie. Per departement wordt aangegeven welke datasets beschikbaar zijn voor publicatie en hergebruik, welke datasets op termijn gepubliceerd zullen worden en welke datasets gesloten blijven vanwege bijvoorbeeld persoonsgegevens. De data inventarisatie is volledig openbaar en levert jaarlijks veel nieuwe beschikbare datasets op.
Sinds 2017 wordt de data inventarisatie ook uitgevoerd onder alle data-eigenaren die al data publiceren op data.overheid.nl.
Wil je meer weten over data inventarisaties, neem dan contact op met het team van data.overheid.nl via data@koop.overheid.nl.
De resultaten uit de data inventarisatie worden elk jaar als dataset gepubliceerd op data.overheid.nl. Hieronder tref je kort de resultaten van afgelopen jaren aan.
Begin 2018 is door het team van data.overheid.nl, net als in 2017, een data inventarisatie uitgevoerd onder alle data-eigenaren van het Nationale dataportaal, waaronder gemeenten, provincies en waterschappen. De resultaten zijn reeds doorgevoerd op data.overheid.nl.
De algemene resultaten van de inventarisatie zijn als volgt:
In de periode van 1 maart 2017 tot en met 1 april 2018 is bij de Rijksoverheid het aantal direct beschikbare datasets op data.overheid.nl toegenomen van 2.251 tot 2.581 datasets;
In de periode van 1 maart 2017 tot en met 1 april 2018 is bij de provincies het aantal direct beschikbare datasets op data.overheid.nl toegenomen van 1.852 tot 3.034 datasets;
In de periode van 1 maart 2017 tot en met 1 april 2018 is bij de gemeenten het aantal direct beschikbare datasets op data.overheid.nl toegenomen van 749 tot 1547 datasets;
Circa 60% van alle data-eigenaren op data.overheid.nl heeft actief meegewerkt aan de data-inventarisatie (deelname aan de inventarisatie was vrijwillig).
Begin 2017 is door het team van data.overheid.nl een data inventarisatie uitgevoerd onder alle data-eigenaren van het dataportaal. In tegenstelling tot de data-inventarisaties van 2015 en 2016 is de inventarisatie dit jaar niet alleen onder data-eigenaren binnen de Rijksoverheid uitgevoerd. Dit jaar hebben alle data-eigenaren meegedaan aan de inventarisatie, dus ook gemeenten en provincies.
De resultaten van de inventarisatie werden besproken in de Kamerbrief Uitvoering Open Data Beleid van 7 juni 2017. Zoals in de brief werd aangegeven:
In de periode van 1 juni 2016 tot en met 1 maart 2017 is bij de Rijksoverheid het aantal direct beschikbare datasets op data.overheid.nl toegenomen van 2.072 tot 2.251 datasets;
In de periode van 1 maart 2016 tot en met 1 maart 2017 is bij de provincies het aantal direct beschikbare datasets op data.overheid.nl toegenomen van 1.205 tot 1.852 datasets;
In de periode van 1 maart 2016 tot en met 1 maart 2017 is bij de gemeenten het aantal direct beschikbare datasets op data.overheid.nl toegenomen van 227 tot 749 datasets;
Uit de inventarisatie blijkt dat provincies en gemeenten 71 open datasets hebben die nog niet zijn aangemeld op data.overheid.nl;
Ruim 60% van alle data-eigenaren heeft actief meegewerkt aan de data-inventarisatie (deelname aan de inventarisatie was vrijwillig).
Van februari tot mei 2016 is opnieuw een rijksbrede data inventarisatie uitgevoerd. De departementen onderzoeken daarin welke datasets binnen het departement aanwezig zijn en of deze als open data beschikbaar kunnen komen.
De resultaten van de rijksbrede data-inventarisatie werden besproken in de Kamerbrief van 22 juni 2016. Zoals minister Plasterk in deze brief aangaf, nam het aantal beschikbare datasets van departementen op data.overheid.nl gestaag toe: in de periode van 1 mei 2015 tot 1 juni 2016 is het aantal departementale datasets met 36% toegenomen (van 1523 tot 2072 datasets).
Naast de algemene resultaten, ligt de aandacht bij het inventariseren van data ook op high value datasets. High value datasets zijn datasets die in hoge mate bijdragen aan een transparante overheid. Uit de inventarisatie blijkt dat departementen tenminste 27 datasets aanmerken als high value dataset. 17 daarvan zijn al beschikbaar op data.overheid.nl.
De data inventarisatie van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties heeft 550 datasets opgeleverd die direct beschikbaar zijn gesteld voor hergebruik. Daarnaast zijn er nog bijna 300 datasets gepland of in onderzoek om gepubliceerd te worden. Tevens is aangegeven welke datasets niet beschikbaar komen, bijvoorbeeld omdat zij persoonsgegevens bevatten.
Om zekerheid te kunnen bieden over het openen of gesloten blijven van datasets hebben een aantal departementen aangegeven meer tijd nodig te hebben voor besluitvorming teneinde tot goede inventarisatieoverzichten te komen. In het najaar van 2015 wordt hierover een update gegeven.
Hiermee werd tevens uitvoering gegeven aan het verzoek tot rijksbrede data inventarisatie van Kamerlid mevrouw Voortman van GroenLinks.
De metadata die data.overheid.nl verzamelt in de vorm van datasets, dataverzoeken e.a. is natuurlijk ook te downloaden en herbruikbaar. Hier vind je informatie over gebruik van de API's.
Data.overheid.nl heeft twee soorten API's om informatie te downloaden en hergebruik:
de datasets API voor informatie over datasets en databronnen die conform de DCAT standaard informatie oplevert;
de content API voor de informatie van dataverzoeken, toepassingen, organisaties en meer soorten content op data.overheid.nl. Deze content is niet conform een standaard vormgegeven; de API is voor alle data wel gestandaardiseerd in een standaard JSON-query-url.
Voor data.overheid.nl is een API beschikbaar die de metadata van alle aanwezige datasets beschikbaar stelt. Alle informatie op data.overheid.nl is her te gebruiken onder de CC-0 licentie.
De API is te raadplegen via
Voor deze API is uitgebreide documentatie beschikbaar op de CKAN website: https://docs.ckan.org/en/latest/api/index.html inclusief voorbeeld van queries.
LET OP: de CKAN API v3 is niet volledig REST API. Er is ook nog geen volledige Open API specificatie voor de CKAN API. Lees meer hierover hier: https://medium.com/apinf/mvp-openapi-spec-for-ckan-api-lessons-learned-268171b00af8
Met behulp van deze API kunnen organisaties een eigen toegang op het register ontwikkelen, zonder een kopie van de gegevens te hoeven maken. Het dataset register op data.overheid.nl blijft op deze manier het centrale register voor datasets van de hele Nederlandse overheid.
De api van data.overheid.nl is te benaderen via
waarbij {actie} kan worden vervangen door een gewenste functienaam.
Hieronder staan enkele voorbeelden van requests. De resultaten worden teruggegeven in JSON. Raadpleeg voor een volledige omschrijving van alle mogelijkheden de documentatie op CKAN.org.
Alle datasets in de database:
Alle informatie over de datasets in de databaase met een limiet van de eerste 10 datasets:
Zoeken met een zoekwoord:
In de API wordt waar mogelijk gebruik gemaakt van URI's voor waarden in metadatavelden. Deze URI's verwijzen naar waardelijsten. Waardelijsten zijn onder andere te vinden in lijstoverzicht.
de volledige "mapping" van de velden in de API op DCAT, NGR en de veldlabels in de interface van data.overheid.nl is te vinden onder "standaarden en techniek".
In veel gevallen wordt de "displayname" van de URI als een apart veld toegevoegd in de resultaten vanuit de API. De displayname kan in sommige gevallen niet up-to-date zijn met de waardelijst omdat deze alleen bij het uitvoeren van een import van de externe data-catalogi wordt bijgewerkt.
Naast datasets zijn ook de andere objecten in data.overheid.nl via een API opvraagbaar. Onderstaand is per object de API en een voorbeeld query opgenomen. Er zijn API's voor:
dataverzoeken
toepassingen
organisaties
groepen
communities
Dataverzoeken zijn te vinden op: https://data.overheid.nl/community/dataverzoeken. Dit is de pagina waarop de dataverzoeken kunnen worden geraadpleegd door bezoekers van de site. Dezelfde informatie is via de JSON-query op te vragen.
Deze query levert alle dataverzoeken in JSON formaat. Door een argument toe te voegen aan de URL kan een specifieke subset van de dataverzoeken worden opgevraagd. Voorbeeld:
Uit de zoekresultaten kan vervolgens een individueel objecten worden opgevraagd met de ID:
Deze informatie is ook opgenomen als dataset in data.overheid.nl. De dataset: https://data.overheid.nl/dataset/dataverzoeken-data-overheid-nl.
Toepassingen zijn te vinden op: https://data.overheid.nl/community/toepassingen. Dit is de pagina waarop de toepassingen kunnen worden geraadpleegd door bezoekers van de site. Dezelfde informatie is via de JSON-query op te vragen.
Deze query levert alle dataverzoeken in JSON formaat. Door een argument toe te voegen aan de URL kan een specifieke subset van de dataverzoeken worden opgevraagd. Voorbeeld:
Uit de zoekresultaten kan vervolgens een individueel objecten worden opgevraagd met de ID:
Deze informatie is ook opgenomen als dataset in data.overheid.nl. De dataset: https://data.overheid.nl/dataset/toepassingen-data-overheid-nl.
Organisaties (data-eigenaren en toepassingen makers) zijn te vinden op: https://data.overheid.nl/community/organisaties. Dit is de pagina waarop de organisaties kunnen worden geraadpleegd door bezoekers van de site. Dezelfde informatie is via de JSON-query op te vragen.
Deze query levert alle dataverzoeken in JSON formaat. Door een argument toe te voegen aan de URL kan een specifieke subset van de dataverzoeken worden opgevraagd. Voorbeeld:
Uit de zoekresultaten kan vervolgens een individueel objecten worden opgevraagd met de ID:
Deze informatie is ook opgenomen als dataset in data.overheid.nl. De dataset: https://data.overheid.nl/dataset/organisaties-data-overheid-nl.
Groepen zijn te vinden op: https://data.overheid.nl/community/organisaties. Dit is de pagina waarop de groepen kunnen worden geraadpleegd door bezoekers van de site. Dezelfde informatie is via de JSON-query op te vragen.
Deze query levert alle dataverzoeken in JSON formaat. Door een argument toe te voegen aan de URL kan een specifieke subset van de dataverzoeken worden opgevraagd. Voorbeeld:
Uit de zoekresultaten kan vervolgens een individueel objecten worden opgevraagd met de ID:
Deze informatie is ook opgenomen als dataset in data.overheid.nl. De dataset: https://data.overheid.nl/dataset/groepen-data-overheid-nl.
Communities zijn te vinden op: https://data.overheid.nl/search/communities. Dit is de pagina waarop de communities kunnen worden geraadpleegd door bezoekers van de site. Dezelfde informatie is via de JSON-query op te vragen.
Deze query levert alle dataverzoeken in JSON formaat. Door een argument toe te voegen aan de URL kan een specifieke subset van de dataverzoeken worden opgevraagd. Voorbeeld:
Uit de zoekresultaten kan vervolgens een individueel objecten worden opgevraagd met de ID:
Deze informatie is ook opgenomen als dataset in data.overheid.nl. De dataset: https://data.overheid.nl/dataset/groepen-data-overheid-nl.
Hier vind je documentatie zoals redactieprotocol en procesbeschrijvingen die het team data.overheid.nl hanteert in dagelijkse werkzaamheden
Inhoud:
Redactieprotocol data.overheid.nl
In samenwerking met verschillende overheidsorganisaties heeft team data.overheid.nl een vernieuwde handreiking geschreven over alle facetten van het openen en publiekelijk beschikbaar stellen van data
Eigenlijk alle organisaties verzamelen data op allerlei gebieden om hun taken te kunnen uitvoeren. De overheid is hierin erg belangrijk, omdat zij met publieke middelen een grote hoeveelheid data verzamelt. Daarnaast zou deze data, voor zover het niet valt onder de uitzonderingsgronden van de Wet openbaarheid van bestuur (Wob), open data moeten zijn. Dit betekent dat deze data geopend en beschikbaar gemaakt kan worden voor iedereen.
Waarom is open data zo waardevol? Er zijn hoge verwachtingen van wat open data zou kunnen opleveren voor de maatschappij. In opdracht van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) heeft de gedaan naar de kosten en baten van het openstellen van overheidsdata. De kwantitatieve studies in dit onderzoek laten een verhouding tussen kosten en baten zien van 1:1,6 tot 1:70. Dat wil zeggen dat de baten van het openstellen van overheidsdata ruim 1,5 tot 70 keer zo groot zijn als de kosten daarvan.
Naast de hoge verwachtingen, zijn er inmiddels al vele voorbeelden van innovatieve toepassingen die met behulp van open data zijn ontwikkeld. Denk bijvoorbeeld aan , ontwikkeld met o.a. open data van de KNMI. Of een , waar met een visuele toepassing van open data over gasmeldingen en aardbevingen het effect inzichtelijk wordt gemaakt van gasmetingen in Groningen.
Hieronder vind je nog enkele interessante publicaties over het waarom van het delen van data:
Data.overheid.nl heeft in het verleden al eens een uitgebreide handreiking ontwikkeld, die hierbij ondersteund. Met deze nieuwe handreiking 2.0 willen we je zo kort, bondig en toegankelijk mogelijk door alle stappen heen leiden, die nodig zijn om te komen tot het openen van data. Op bepaalde aspecten wordt verder verwezen naar extra informatie. Data.overheid.nl wenst je veel succes bij het doorlopen van deze stappen en nodigt je uit om bij eventuele verdere vragen contact op te nemen met data@koop.overheid.nl.
Dat er inmiddels decennialang wet- en regelgeving bestaat in Nederland omtrent transparantie in de overheidssector is bekend. Echter welke wet- en regelgeving is er nu omtrent open data? We zetten de diverse wetten op een rijtje:
De regelt de toegang tot overheidsinformatie. Het doel van de wet is om burgers inzicht te geven in het overheidshandelen en zo deelname aan democratie en besluitvorming mogelijk te maken. De wet regelt het actief – uit eigen beweging – openbaar maken van informatie en het openbaar maken van informatie op verzoek. De Wob gaat uit van het algemene belang van openbaarheid van informatie. Een verzoek om informatie moet daarom in beginsel worden ingewilligd, tenzij een of meerdere belangen genoemd in de artikelen 10 en 11 van de Wob zich daartegen verzetten. Denk hierbij aan het beschermen van bedrijfs- en fabricagegegevens of van de persoonlijke levenssfeer. Deze uitzonderingen gelden ook voor open data.
Bovenstaande twee wetten zijn direct van invloed omtrent open data. We gaan verder met een aantal specifiekere wetten of een wetsvoorstel die veel raakvlakken hebben met open data.
De wet- en regelgeving geeft de kaders weer waarbinnen het beleid kan worden vorm gegeven. Binnen Nederland kennen wij inmiddels de Data Agenda Overheid waarin specifieker het databeleid is vorm gegeven. Binnen de DAO worden er kaders gesteld voor de beschikbaarstelling en kwaliteit van (open) data. Dit beleid is gericht op het principe open, tenzij. Dit betekent dat data open ter beschikking wordt gesteld, tenzij er een uitzonderingsgrond van de Who op van toepassing is. Tevens kan er binnen de eigen organisatie ook beleid zijn vorm gegeven.
Het beleid in Nederland is er dus op gericht dat data vanuit de overheid open is, tenzij er een uitzonderingsgrond van de Who/Wob van toepassing is. Dit bekent dus dat in beginsel alle data open is. De Who geeft gebruikers van data ook de mogelijkheid om data in herbruikbaar formaat te vragen, al dan niet tegen marginale kosten verstrekt. Maar als ik een aanvraag om data krijg of ik wil data beschikbaar maken, wat moet ik dan doen? Hieronder volgen tips om je door dit proces te helpen. Allereerst gaan we in op de criteria die aan open data worden toegedicht. Deze criteria worden gaandeweg in dit stuk nader toegelicht.
Data van een overheidsorganisatie worden proactief beschikbaar gesteld als open data als er geen uitzonderings- of beperkingsgronden van de Wet openbaarheid van bestuur of bijzondere openbaarmakingsregelingen van toepassing zijn. Bij het beschikbaar stellen als open data dient een afweging plaats te vinden of de data bij hergebruik risico’s oplevert voor fundamentele waarden en privacy.
Een overheidsorganisatie brengt geen kosten in rekening voor het beschikbaar stellen van open data.
Open data worden gevrijwaard van rechten van derden door vrijgave met een CC-0 verklaring. Indien de vermelding van de bron van de data van belang is voor een overheidsorganisatie, kan open data worden vrijgegeven met een CC-BY verklaring.
Open data zijn toegankelijk zonder dat er enige vorm van registratie van gegevens van de potentiële gebruiker plaatsvindt.
Open data worden aangeboden op een manier die verdere verwerking met een computer mogelijk maakt. Bij voorkeur worden open data beschikbaar gesteld in een open standaard.
Open data zijn voorzien van metadata conform de DCAT-AP standaard.
Data worden in een voor hergebruik geschikte vorm door een overheidsorganisatie beschikbaar gesteld. Open data is qua kwaliteit en actualiteit zo gelijk mogelijk aan de binnen de publieke organisatie gebruikte data en wordt zoveel mogelijk ‘as-is’ beschikbaar gesteld. Data kunnen bewerkt worden om te voldoen aan het afwegingskader voor openbaarheid zolang deze bewerking niet in strijd is met de mededingingswet.
Overheidsorganisaties maken hun open data vindbaar door op data.overheid.nl een verwijzing naar de door hen beschikbaar gestelde open data te maken.
Door middel van publiceren wil je als overheidsorganisatie transparant zijn over de eigen data. Als je met open data aan de slag wilt, is het ook belangrijk om te onderzoeken wat de wensen zijn van een hergebruiker. Een hergebruiker van open data kan variëren van een journalist tot een ontwikkelaar en van een student tot werknemers van (eigen) overheidsorganisatie. Als bekend is waar de behoeften het meeste liggen, kan hierop de prioritering van wat allereerst opengesteld wordt, worden aangepast. Met deze vraaggerichte aanpak, wordt de hergebruiker optimaal bediend, zullen dataverzoeken/vragen over data verminderen en zal het rendement naar verwachting hoger zijn. Maar hoe achterhaal je de wensen van een hergebruiker?
Hieronder volgen een paar aanbevelingen:
Kijk naar dataverzoeken
Kijk naar toepassingen
Er ontstaan steeds meer innovatieve toepassingen die gebruik maken van open data. Door te kijken welke (open) data er veel gebruikt wordt om deze toepassingen mogelijk te maken, krijg je een indicatie van welke data waardevol kan zijn voor de hergebruiker.
Doe deskresearch
Er is enorm veel informatie te vinden op het web. Door middel van deskresearch, kunnen er ideeën worden opgedaan over behoeften naar data en voorbeelden daarvan. Daarnaast geven binnenkomende vragen bij de organisatie van allerlei aard, een goede indicatie van de onderwerpen waar bij er behoefte is aan meer informatie/data.
Maak gebruik van de high value datalijst
Zet een enquête uit
Een andere manier om te achterhalen wat de behoeften zijn van hergebruikers van data is het uitzetten van een enquête onder verschillende doelgroepen die mogelijk interesse hebben in open data. Deze doelgroepen kunnen bijvoorbeeld burgers, andere overheden, bedrijven, studenten, (lokale) journalisten en wetenschappers zijn.
Standaarden ondersteunen gegevensuitwisseling tussen ICT-systemen. De openheid van deze standaarden zorgt ervoor dat iedereen de standaard kan gebruiken. Tevens vergroot dit de koppelbaarheid van je eigen data.
Wat zijn open standaarden?
Het Forum Standaardisatie interpreteert open standaarden als volgt:
‘Een standaard is een afspraak die is vastgelegd in een specificatiedocument. Om gegevens uit te wisselen moeten ICT-systemen dezelfde standaard hebben geïmplementeerd. Voorwaarde is dan wel dat het specificatiedocument vrij te verkrijgen is.’
In een standaard worden dus specifieke afspraken gemaakt m.b.t. het uitwisselen van gegevens.
Standaarden voor datasets
Voor het beschikbaar stellen van open datasets vanuit de overheid bestaan op diverse terreinen ook standaarden. Data.overheid.nl laat zoveel mogelijk zien welke standaarden er zijn met betrekking tot het beschikbaar stellen van data. Een greep uit de standaarden treft u aan in onderstaand overzicht. Het is verstandig om als overheidsorganisatie aan te sluiten op een bestaande standaard bij het beschikbaar stellen van de data.
Heeft u ook een standaard of wilt u meer weten omtrent het onderwerp. Neemt u dan gerust contact op met het team van data.overheid.nl via data@koop.overheid.nl.
Zorg ervoor dat je data ook wordt aangemeld en vindbaar wordt gemaakt via het Nationale dataportaal: data.overheid.nl. Data.overheid.nl is ook weer de partij die datasets doorgeeft aan het Europese dataportaal. Data.overheid.nl kent een goede positie in Google. Dit geeft een extra boost aan de vindbaarheid van je data. Het is pas open data als je het hebt aangemeld op data.overheid.nl.
Data kan gepubliceerd worden in verschillende soorten formaten. Van CSV tot JSON en van XML tot RDF. Het belangrijkste is dat je kijkt naar welke doelgroep je wil/kunt bereiken met het beschikbaar stellen van de data. Grofweg kun je de volgende indeling maken in persona’s wie je kan bereiken:
Waar we eerder zijn ingegaan op het wettelijk kader en vooral waarom en voor wie stel ik data ter beschikking, gaan we in deze stap verder in op het niveau van de data die je publiceert. Om open data namelijk te publiceren zijn er diverse gradaties van datasets denkbaar. Je geeft d.m.v. het niveau van een dataset meer informatie mee over je dataset en de kwaliteit hiervan. Hiermee introduceren we het vier traps raket voor wat betreft het publiceren van open data. Dit luidt als volgt:
Trap 1: Open data
Trap 2: Open data en High Value data
Trap 3: Open data en Referentiedata
Trap 4: Open data, High Value data en Referentiedata
Per trap leggen we uiteen wat het begrip inhoudt en waar je aan moet voldoen betreffende het niveau van de dataset.
In de basis kun je als organisatie de data beschikbaar stellen als open data. Om je data ter beschikking te stellen moet je minimaal aan de volgende harde eisen hebben voldaan, tevens geven we ook een aantal wensen mee:
Metadata (harde eis)
Metadata beschrijft "data over data" en bevat onder andere informatie over de structuur van de data, de betekenis van de data en de geldigheid van de data.
De structuur van data moet goed beschreven zijn zodat een gebruiker de data op een goede manier kan interpreteren en gebruiken in een toepassing. Een goede beschrijving kan verkeerd gebruik voorkomen.
De data moet goed gevonden kunnen worden. De factoren die de vindbaarheid van de data vergroten zijn vastgelegd in een metadatamodel DCAT. DCAT is een Europese standaard voor het delen en vindbaar maken van Open Data. Deze standaard maakt het mogelijk dat de data die is opgenomen in data.overheid.nl ook gesynchroniseerd kan worden met het Europees dataportaal.
De manier waarop de data beschikbaar is of hoe de data kan worden gebruikt dient als onderdeel van de metadata te worden beschreven.
Beveiliging van gegevens (wettelijke harde eisen)
Open Data dient toegankelijk te zijn. Beveiliging is vooral van toepassing op het niet kunnen wijzigen van bron gegevens door derden. In het geval van gegevens die tot een herleiding van persoonsgegevens kunnen leiden is ook een afdoende toegangsbescherming van de data noodzakelijk.
Bij de beveiliging van gegevens is de baseline informatiebeveiliging van toepassing. Over de juridische check of iets beschikbaar mag komen als open data komen we in hoofdstuk 5 nog op terug.
Datahosting (harde eis)
Om open data goed te kunnen beheren is een directe maar wel goed beveiligde toegang tot de server waar de data op is geplaatst noodzakelijk. Het uitvoeren van updates en toevoegen van nieuwe bestanden moeten door de eigen organisatie kunnen worden uitgevoerd.
Infrastructuur met een hoge beschikbaarheid en bandbreedte. Open datasets dienen in hoge mate beschikbaar te zijn omdat deze meer gebruikt worden. Dat betekent dat er voor het downloaden van bestanden voldoende bandbreedte beschikbaar moet zijn en dient de performance van de systemen hoog genoeg te zijn om grotere aantallen bevragingen van de API’s af te kunnen handelen.
De data moet openbaar toegankelijk zijn, maar niet kunnen worden veranderd of gewist op de server. Hiertoe dient de server afdoende beveiligd te worden.
Standaarden (harde eis)
Open data wordt ontsloten met open standaarden. Open standaarden nemen belangrijke beperkingen in gebruik weg. In hoofdstuk drie wordt het onderwerp standaarden nader besproken.
Financiering (wens)
De financiering van open data moet gegarandeerd zijn. Het gaat dan specifiek om de kosten voor datavoorbereiding voor publicatie en de kosten voor publicatie. De kosten voor het verzamelen en bewerken van de data in het primaire proces zijn reeds gefinancierd vanuit het primaire proces.
Kosten ten aanzien van datavoorbereiding. De meeste open data kan worden ontsloten “as-is” dan hoeft er geen bewerking voor publicatie plaats te vinden. Toch kan in een aantal gevallen het noodzakelijk zijn om een handeling te verrichten voor publicatie. Bijvoorbeeld een anonimiseringsbewerking, of het omzetten naar een open formaat. Afhankelijk van de publicatie termijnen kunnen deze bewerkingen geautomatiseerd worden. Als de data eenmalig per jaar wordt verzameld dan kan het prima werken via een handmatige omzetting. Is er sprake van een hogere frequentie kan worden besloten de omzetting te automatiseren.
Feedback op kwaliteit van de data (wens)
De kwaliteit van open data neemt toe op basis van terugmeldingen. Bij de beschikbaarstelling van open datasets dienen emailadressen of webformulieren gepubliceerd te worden om deze feedback te kunnen geven. Vervolgens moet deze feedback verwerkt worden waarbij in ieder geval de melder geïnformeerd wordt over de vervolgstappen. Om te komen tot een goede afhandeling van de feedback dient deze procedure beschreven te zijn.
In samenhang ontsluiten (wens)
Open datasets worden in samenhang gestandaardiseerd ontsloten als er meerdere databronnen zijn.
Preview/visualisatie (wens)
Om inzicht te geven in open datasets is het zinvol om een preview van de data te geven. Op basis van deze preview wordt sneller inzichtelijk hoe de data ingezet kan worden voor andere doelen.
Data agenda (wens)
Via een ontwikkelingsagenda worden events rond de data gepubliceerd. Nieuwe versies van de dataset, verstoringen in de beschikbaarstelling van de data, eventuele nieuwe standaarden. Door wijzigingen tijdig te delen kunnen gebruikers optimaal anticiperen op deze wijzigingen.
Wanneer je als organisatie minimaal aan de harde eisen hebt voldaan is de data geschikt om mogelijk te gaan publiceren.
Een stapje verder dan alleen open data is dat je je dataset als High Value dataset kan meegeven. Met het begrip High Value wordt bedoeld dat de data grote waarde heeft voor (her)gebruikers. Maar hoe wordt nou bepaald wat van grote waarde is of niet? Vanuit het portaal hanteren we onderstaande criteria om te bepalen of iets high value is of niet. Tevens gaan we in op een stappenplan om high value data te kunnen ontsluiten. Allereerst gaan we in op verschillende niveaus van High Value.
High Value data kan op lokaal, regionaal en landelijk niveau worden vastgesteld. Iets kan immers lokaal of voor een bepaalde regio ontzettend waardevol zijn, maar landelijk want minder. Vandaar dat deze drie niveaus worden gehanteerd. Dit kun je meegeven aan je dataset. Tevens kan een dataset in deze tijd high value zijn, maar wellicht over twee jaar een stuk minder. Met de invoering van een aantal criteria kan de toets of een dataset High Value is worden gedaan.
Algemeen uitgangspunt: de overheidsorganisatie die over de high value data beschikt en de maatschappij vinden beiden de waarde van de dataset hoog.
Voer een waardetoets uit (harde eis)
Ga in gesprek met communities alwaar de data gebruikt zou kunnen worden. Benader deze communities vanuit het startpunt van de maatschappelijke vraag.
Besluit op basis van deze analyse of de data als high value dataset aangemerkt zal gaan worden.
Monitor hergebruik (harde eis)
Om de valuecase van high value data doorlopend inzichtelijk te kunnen maken is een goed inzicht in het gebruik van belang. Dit kan door hergebruikers vrijwillig te vragen naar de resultaten van het gebruik en door het monitoren van downloads van de data.
Good practices (harde eis)
Laat zien hoe de high value data wordt toegepast. Inzicht in deze toepassingen rechtvaardigt de zorg en kosten die gemoeid zijn met het beheren van high value datasets en geven een inzicht in de valuecase van de high value dataset. Tevens kunnen de voorbeelden anderen inspireren om toepassingen te ontwikkelen.
Community management (wens)
High value data heeft grote waarde voor gebruikers en hergebruikers. Het is dan ook van belang voor gebruikers en hergebruikers om op een laagdrempelige manier in contact te kunnen komen met de organisatie die de data beschikbaar stelt. Een community manager kan zorg dragen voor het behartigen van de belangen van gebruikers en hergebruikers en zorgen voor een goede aansluiting van de data op wensen en verwachtingen van gebruikers en hergebruikers. Als onderdeel van deze community management kunnen nieuwsbrieven verstuurd worden met serviceberichten of kan gebruik gemaakt worden van een portaal om hergebruikers en gebruikers van de high value data met elkaar in contact te brengen.
De drie maanden toets (eis)
Bij het openen van een dataset kun je niet altijd vaststellen dat het een dataset met hoge waarde is. Wanneer je vanuit je organisatie zelf het idee hebt dat het high value is, dan kun je direct dat aan je dataset toevoegen. Echter na drie maanden volgt een toets aan de hand van bovenstaande criteria. Indien de dataset niet high value blijkt te zijn, dan gaat de dataset naar het niveau van trap één. Blijkt er dus een hoge waarde in te zitten, dan krijg de dataset het keurmerk high value.
Om je te helpen bij het identificatieproces zetten we het volgende stappenplan voor je op een rijtje:
Overzicht en stappenplan
Onderzoek bestaande high value dataset lijsten
Op een aantal niveaus zijn er al high value datasets verzameld in lijsten. Onderzoek deze lijsten.
Selecteer datasets die verzameld worden binnen de eigen organisatie
Maak op basis van de lijsten een shortlist van potentiële high value datasets
Analyseer of de dataset door stakeholders als waardevol gezien wordt
Onderzoek op basis van desk research en gesprekken met stakeholders of de data gekenmerkt wordt als high value door de stakeholders
Stel een value case op voor de dataset
Maak een analyse van de potentiële waarde die deze data heeft voor stakeholders en de eigen organisatie
Uitgangspunten gebruik Open Data
Ontsluit de data conform de uitgangspunten Open Data
Pas datamanagement toe
Stel de high value beschikbaar zo veel als mogelijk in lijn met de voorgestelde adviezen met betrekking tot datamanagement
Identificeer high value datasets op basis van vraagstukken
High value datasets hebben grote waarde, deze waarde kan maatschappelijk, economische of democratisch zijn. Het uitdrukken van deze waarde is niet altijd eenvoudig en moeilijk om absoluut te maken. Om toch keuzes te maken worden in dit stappenplan een handreiking gedaan om te komen tot een keuze.
Stappenplan
Onderzoek welke urgentie dit vraagstuk heeft in de maatschappij
High value speelt niet alleen voor de eigen organisatie, het gaat om vraagstukken die zowel voor de organisatie als de maatschappij van belang zijn. Daarom is het noodzakelijk om in een dialoog te toetsen of het vraagstuk ook in de maatschappij weerklank vindt. Nodig stakeholders op het vraagstuk uit en inventariseer de behoefte die er is.
Indien de waarde van het vraagstuk het accent heeft op economische waarde ga het gesprek aan met bedrijven die hier potentieel in geïnteresseerd zijn.
Ga het gesprek aan met de eigen organisatie en inventariseer vraagstukken
Het identificeren van high value datasets begint met het onderzoeken van een vraagstuk waar deze data een rol in speelt. Het begint dus met het identificeren van vraagstukken die urgentie hebben binnen de organisatie.
Inventariseer de data die te maken heeft met dit vraagstuk
Als het vraagstuk duidelijk is onderzoek dan de data die aan het vraagstuk gerelateerd is en beoordeel of deze data als high value data beschikbaar gesteld kan worden.
Value case/business case
Beoordeel de waarde van mogelijke oplossingen voor het vraagstuk en hoe deze waarde mogelijk wordt op basis van het beschikbaar stellen van high value data.
Uitgangspunten Open Data
Ontsluit de data conform de uitgangspunten Open Data
Pas datamanagement toe
Stel de high value data beschikbaar zo veel als mogelijk in lijn met de voorgestelde adviezen met betrekking tot datamanagement.
Wie deze criteria en stappen volgt komt uiteindelijk tot de conclusie of je data daadwerkelijk High Value is of niet. Daarnaast kun je altijd contact opnemen met het datamanagement team van data.overheid.nl via data@koop.overheid.nl.
In trap drie komen we terecht bij je open data aanbieden als referentiedata. Overheidsorganisaties in Nederland stellen inmiddels diverse datasets beschikbaar als open data. Binnen de overheid zijn er datasets die essentieel zijn voor het bevorderen van gebruik van data van de overheid. Deze datasets vormen zogenoemde ‘ankerpunten’ voor het gebruik van data. Deze datasets worden dan ook wel referentiedatasets genoemd. Deze datasets worden vrij beschikbaar gesteld om te gebruiken. Gebleken is dat gebruikers een aantal datasets veel gebruiken als “referentie”. Met een referentie wordt vaak een verwijzing bedoeld naar een bron die meer informatie kan verschaffen over een bepaalde situatie of bewering. Referentiegegevens zijn over het algemeen uniform met doorgaans weinig mutaties en kunnen bestaan uit waarden of statussen.
De lijsten met inwonersaantallen, indexcijfers van CBS, vastgoed dashboard van het Kadaster of overheidsorganisaties vanuit KOOP zijn voorbeelden van dit soort referentiegegevens. De referentiedatasets worden prominent ontsloten op data.overheid.nl. De gebruiker kan via deze wijze beter worden ondersteund in het gebruik en toepassen van overheidsdata. Een stimulans voor gebruik wordt hiermee beoogd.
Mocht je als overheidsorganisaties een dataset hebben die vaak wordt gebruikt om aan te refereren, dan kun je het vinkje van trap drie aanzetten om deze dataset nog prominenter onder de aandacht te brengen.
Tot slot de laatste trap in aantal niveaus van datasets. Dit is namelijk de trap waarin trap één, twee en drie samen komen. Als je kan aantonen dat je aan de eisen van trap één, twee en drie voldoet dan is de dataset echt van uitmuntend niveau. In dat geval kun je bij alle niveaus labelen dat het high value en referentiedata is. Gebruik hiervoor de stappen uit trap één, twee en drie om dit aan te tonen.
Voordat de data beschikbaar kan komen als open data dien je echter eerst nog een juridische check uit te voeren. Als duidelijk is welke data mogelijk gepubliceerd kan worden, moet uiteraard gecontroleerd worden of het open stellen daarvan niet in strijd is met enige rechtsregel. Hiervoor kun je een juridische check uitvoeren. Het nemen van deze stap is van groot belang omdat het vrijgeven van datasets in strijd met enige rechtsregel tot aansprakelijkheid kan leiden en daarnaast (ook) tot veel negatieve publiciteit. Met andere woorden: vergeet deze check vooral niet en doe hem grondig! Uiteraard is het raadzaam ook de afdeling juridische zaken bij deze exercitie te betrekken. Deze check bestaat uit vier stappen die we hieronder nader toelichten.
De hoofdregel in Nederland is dat overheidsinformatie openbaar is, tenzij een wettelijke regel anders bepaalt. Die uitzonderingen op de hoofdregel zijn opgenomen in de Wet openbaarheid van bestuur of andere bijzondere regelingen. Het is dus zaak om van te voren goed te controleren of er geen uitzondering geldt voor de geselecteerde datasets. Als data niet openbaar is, mag deze ook niet in hergebruik gegeven worden. Aan de hand van een aantal hierna weergegeven stappen kan bepaald worden of de data openbaar is.
Welke openbaarheidsregeling is van toepassing?
Om de toepasselijkheid van de openbaarheidsregeling vast te kunnen stellen, moeten we eerst bepalen:
gaat het om bestuursorganen?
gaat het om bestuurlijke informatie?
berust deze bij het bestuursorgaan?
is de gevraagde informatie neergelegd in documenten/data?
is de toepasselijkheid van de Wob uitgezonderd?
Is de informatie openbaar?
Absolute weigeringsgronden
Bij absolute weigeringsgronden blijft informatieverstrekking te allen tijde achterwege. Dit is het geval indien de verstrekking van de informatie:
een bedreiging zou kunnen vormen voor de eenheid van de Kroon
de veiligheid van de Staat zou kunnen schaden
indien het bedrijfs- en fabricagegegevens betreft die vertrouwelijk aan de overheid zijn medegedeeld
indien het bijzondere persoonsgegevens betreft
Relatieve uitzonderingsgronden
Bij relatieve weigeringsgronden heeft het bestuursorgaan een discretionaire bevoegdheid. Het moet een afweging maken tussen het algemene abstracte belang van openbaarheid en de belangen genoemd in artikel 10, tweede lid, van de Wob. Het betreft hier:
internationale betrekkingen
economische of financiële belangen van de overheid
de opsporing en vervolging van strafbare feiten
inspectie controle en toezicht door bestuursorganen
eerbiediging van de persoonlijke levenssfeer
het belang dat een geadresseerde erbij heeft als eerste kennis te kunnen nemen van informatie
het voorkomen van onevenredige bevoordeling of benadeling van de betrokkenen
Aanwezigheid van persoonsgegevens
De aanwezigheid van persoonsgegevens is een hele belangrijke als het gaat om data te publiceren als open data. Immers, overheden verzamelen bij de uitoefening van hun taken vaak massaal gegevens over personen. De hoofdregel van de Wob in samenhang met de AVG is dat deze gegevens niet voor hergebruik in aanmerking komen.
Stel jezelf altijd de volgende vragen bij de vraag of de data persoonsgegevens bevat:
Wat is het grote belang van zorgvuldige toetsing?
Wat zijn de regelingen in de Wob en de AVG?
Wat is het begrip 'persoonsgegeven'?
Wat als de privacywetgeving van toepassing is?
Hoe te handelen?
Wat als er toch wat mis is gegaan?
(Rechten op) data zijn over het algemeen van iemand (een overheidsorganisatie of een niet (Rechten op) data zijn over het algemeen van iemand (een overheidsorganisatie of een niet overheidsorganisatie (bijvoorbeeld een bedrijf)). Meestal nemen die de vorm van auteurs- en databankrechten, geregeld in de Auteurswet, respectievelijk de Databankenwet. Uiteraard moet je wel over de (rechten op de) data kunnen beschikken, anders geeft je iets in hergebruik dat niet van jou is en maak je inbreuk op de rechten van deze derden.
Als het gaat om mogelijke rechten van collega overheidsorganisaties, dan zijn daarvoor enkele bijzondere regels die afwijken van het bovenstaande. Kort gezegd houdt die regeling in dat als een overheidsorganisatie bij de publicatie van de informatie niet heeft aangegeven dat zij haar rechten wil voorbehouden, die informatie vrij is van rechten en dus gewoon als Open Data vrijgegeven kan worden.
Niettemin, als je data ter beschikking wil stellen voor hergebruik volgens de Open Data filosofie doe je er dus goed aan bij de aanmaak c.q. verwerving van de data zeker te stellen dat er geen rechten van derden op rusten. Mochten er derden aan te pas komen, dan kan dit door (standaard) inkoopvoorwaarden te hanteren die bepalen dat alle mogelijke rechten die ontstaan in het kader van de inkoop eigendom worden van de inkopende overheid. De huidige standaard voorwaarden van inkoop voor de centrale overheid bevatten een dergelijk beding. Als laatste slot op de deur doet men er uiteraard goed aan op het moment van vrijgeven voor hergebruik nog een controle uit te voeren op dit aspect.
In het geval er marktpartijen zijn die zelf vergelijkbare data sets produceren en verkopen, dan moet je oppassen dat je deze marktpartijen geen oneerlijke concurrentie aandoet doordat je de data, in lijn met het Open Data gedachtegoed, gratis en voor niets ter beschikking stelt.
Volgens de Open Data filosofie moet overheidsinformatie weliswaar as is maar wel gratis en voor niets, althans tegen maximaal de verstrekkingskosten en verder ongeclausuleerd, ter beschikking worden gesteld voor hergebruik aan een ieder. Als er evenwel een markt bestaat waarop deze of gelijksoortige informatie door marktpartijen verhandeld wordt, betekent dit dat er voor afnemers op die markt een zeer goedkoop of zelfs gratis alternatief beschikbaar komt, waardoor klanten van die marktpartijen kunnen weglopen. Het is daarom denkbaar dat een overheidsorgaan aansprakelijk wordt gesteld door een marktpartij die betoogt dat het uitvoeren van het Open Data beleid onrechtmatig jegens hem is, omdat de condities waartegen de overheid de data ter beschikking stelt hem onrechtmatige concurrentie aandoen.
De datasets die je open stelt zijn verzameld in het kader van de uitoefening van de publieke taak. Nu kan er uiteraard daarbij het een en ander misgaan waardoor de inhoud van de data sets niet correspondeert met de werkelijkheid. Op zich is dit geen reden om de datasets niet te publiceren, maar het is wel van belang de verwachtingen van de gebruikers te adresseren. Er rust immers wel een zorgplicht op de overheid om gebruikers te informeren over de data en ze te waarschuwen dat er mogelijkerwijs gebreken in de informatie zouden kunnen zitten.
Je doet er daarom goed aan op twee manieren de gebruikers voor te lichten over hetgeen ze wel en niet mogen verwachten van de data, en wel door een basislaag van meta-informatie toe te voegen en door een proclaimer op te nemen.
Een basislaag van meta-informatie
De overheid die data in hergebruik wil geven doet er allereerst goed aan een basislaag van metadata toe te voegen, hetgeen de hergebruiker in staat stelt de context van de data beter te begrijpen en eventuele gebreken gemakkelijk zelf kan constateren. Deze basislaag staat ook wel bekend als de DCAT standaard. Meer informatie over deze DCAT standaard is hier aan te treffen.
Disclaimers en proclaimers
Diverse overheden pogen mogelijke aansprakelijkheid uit te sluiten door het gebruik van disclaimers. De vraag is wel of deze zogenaamde exoneratie altijd houdt. Zeker als de overheid de enige bron is waar de informatie opgehaald kan worden en helemaal als het hebben van de informatie noodzakelijk is voor de deelname aan het rechtsverkeer, is de houdbaarheid minder waarschijnlijk. Daarbij valt bijvoorbeeld te denken aan informatie uit de basisregistraties die geacht worden de juiste gegevens te bevatten en waarvoor ook een 'gebruikverplichting' bestaat binnen de overheid.
De houdbaarheid van een proclaimer bij het openstellen van data voor hergebruik zal nog toenemen als deze specifiek gericht is op de dataset in kwestie, en dus geen algemene verklaring is. Uiteraard kan de verklaring getrapt zijn: er is een algemene proclaimer die geldt voor alle data die beschikbaar zijn voor hergebruik en per dataset is er één die verwijst naar de basislaag van metadata in de individuele datasets. In die metadata kan dan aangeven worden in welke context de data verzameld zijn, zodat de hergebruiker zijn bedachtzaamheid op gebreken daarop kan baseren.
Wat als er toch wat mis gaat?
Zodra je weet of de data definitief open ter beschikking hebt gesteld. Maak dan ook vooral zelf gebruik van de data. Gebleken is dat door ook zelf met de gepubliceerde open data te werken de kwaliteit van de data beter wordt, omdat je ondanks vele inspanningen tegen onvolkomenheden aanloopt. Door zelf met de data aan de slag te gaan, ontdek je ook dat de koppelbaarheid van de data eenvoudiger wordt als er gewerkt wordt met standaarden en bestaande classificaties of dat er aangegeven is hoe de data aansluit bij andere standaarden en classificaties.
Uiteraard hoef je het wiel niet zelf uit te vinden. Vandaar dat we je graag een aantal best practices voorschotelen om te kijken hoe andere overheidsorganisaties het hebben gedaan.
Centraal Bureau voor de Statistiek
Kadaster
G8 Open Data Charter
In de Open Data charter zijn 14 categorieën aangewezen als high value. Het gaat dan om categorieën als onderwijs, waarbij dan thema’s spelen als lijsten van scholen, prestaties van scholen en digitale vaardigheden. Of statistieken waarbij thema’s als National Statistics, Census, infrastructure, wealth en skills worden benoemd. In de G8 Open Data charter zijn geen specifieke datasets benoemd.
Wet open overheid
Het initiatiefwetsvoorstel voor een Wet open overheid bevat een lijst met categorieën van datasets die proactief openbaar gemaakt moeten worden bij ingang van deze wet. Op dit moment is de Wet open overheid nog in behandeling. De definitieve lijst van categorieën zal later bekend worden.
Wet hergebruik van overheidsinformatie
Gemeentelijke en Provinciale high value datasets
Op data.overheid.nl zijn high value datalijsten inzichtelijk voor zowel Gemeenten als Provincies. Het initiatief genomen om een lijst met high value datasets op te stellen voor gemeenten en provincies. Bij het benoemen van deze lijst is uitgegaan van de gegeven definitie. De keuzes zijn gemaakt door de werkgroep high value datasets. Er is voorzien dat de samenstelling van de high value datalijst voor gemeenten en provincies up-to-date zal worden gehouden om aan te sluiten op nieuwe behoeften en ontwikkelingen. De gemeentelijke en provinciale high value datalijst heeft geen verplichtend karakter en is vooral bedoeld om gemeenten en provincies te inspireren om te beginnen met het openen van deze datasets.
Op data.overheid.nl zijn al ruim 14.000 datasets gepubliceerd door meer dan 160 overheidsorganisaties.
Zodra je eenmaal bezig bent geweest met een aantal datasets kun je verder in het proces. We geven dan ook graag een aantal tips mee waar je rekening mee moet houden:
Een manier om te weten wat je in huis heb is doen van een data-inventarisatie. Een datainventarisatie is een onderzoek waarbij in kaart gebracht wordt welke datasets door of namens de organisatie worden verwerkt. Een inventarisatie kan heel eenvoudig door het invullen van een invullijst.
Tip: noteer daarbij gelijk ook metadata kenmerken als wie de contactpersoon is, waar de data te vinden is, wat de titel van de dataset is, een omschrijving en wie de bronhouder van de dataset. Dit kan je later schelen in het proces rondom het openen van data.
Het creëren van een lijst is niet het moeilijkste van een inventarisatie. Het echte werk zit hem in het speuren naar data. Wij geven daarbij een aantal tips, zodat je binnen je organisatie op zoek kan naar data.
Tip 1:
Kijk naar de gebruikte systemen binnen je organisatie. Binnen deze systemen zit ongetwijfeld een schat aan data.
Tip 2:
Gebruik de zogenoemde ‘follow the money’ methode. Binnen deze methode kijk je waar de geldstromen binnen de organisatie naar toe gaan. Zodra je weet waar de geldstromen in je organisatie naar toe gaan weet je ook waar de uitvoering van het beleid zit. Deze uitvoeringsonderdelen hebben binnen je organisatie ongetwijfeld een schat aan data.
Tip 3:
Tip 4:
Je hoeft het wiel absoluut niet opnieuw uit te vinden bij een data inventarisatie. Veel organisaties zijn al begonnen met het openen van data. Kijk naar de voorbeelden om je heen.
De techniek lijkt de grootste uitdaging bij het publiceren van data, maar in de praktijk blijkt de techniek juist veel te kunnen. Technisch zijn de uitdagingen om data te openen daarom ook minder groot dan ze lijken. Het is echter wel een kwestie van de juiste keuzes maken. Maar waar kan ik dan aan denken bij het maken van de juiste keuzes?
Welke methode je kiest, als je data wil publiceren moet je kiezen voor de vorm hoe data kan worden gepubliceerd. In Europa gebruikt men CKAN als open source software om een datacatalogus in te richten. CKAN is een open sourcemodel voor zowel dataopslag als distributie. Data die je ter beschikking stelt kan via dat portaal ter beschikking worden gesteld. Er zijn diverse soorten CKAN modules die je hierbij kunnen helpen. CKAN wordt in Europa en op data.overheid.nl gebruikt, maar dit betekent niet dat dit de enige software is die kan worden gebruikt.
Tot slot geven we mee, als je data ter beschikking stelt, denk dan ook na over de toedracht van de data. Data real time ter beschikking stellen (indien dit kan) geeft zeker een boost. Een dataset via een API benaderen ook.
Het kanaal waarin data wordt gepubliceerd hangt uiteraard nauw samen met de techniek. We geven graag een aantal tips bij het publiceren van data.
Tip 1:
Denk goed na over het kanaal waarop je je data wil publiceren. Met visualisatie en presentatie kun je als organisatie veel doen. Er zijn diverse soorten en maten van dataportalen waar je een voorbeeld aan kunt nemen. Zolang je de data maar aanmeldt op data.overheid.nl en zolang de ruwe data maar beschikbaar is voor hergebruik.
Tip 2:
Er kunnen nu eenmaal fouten zitten in de data. Zorg daarom voor een goede feedbackmechanisme waar gebruikers van data fouten kunnen melden en dat dit wordt opgepakt. Hierdoor verbetert de datakwaliteit en stel je de interactie met gebruikers voorop. Mogelijk kun je een disclaimer opstellen bij het publiceren van data.
Tip 3:
Als het hele proces doorlopen is, is het van groot belang om de stap: ‘maak het duurzaam’ te nemen. Dit betekent dat de processen geborgd worden in allerlei opzichten. Hieronder een aantal belangrijke tips om rekening mee te houden.
Zorg voor continuïteit & updates datasets
Voor de hergebruiker is één van de belangrijkste voorwaarden dat de dataset continu beschikbaar is en de updates zoals in de metadata aangegeven, ook daadwerkelijk worden doorgevoerd. De hergebruiker moet kunnen vertrouwen op de actualiteit en beschikbaarheid van de data, zodat een eventuele toepassing die gebruik maakt van deze data niet waardeloos wordt door het gebrek hieraan.
Kwaliteit van (meta)data
Een hergebruiker van open data moet kunnen vertrouwen op de kwaliteit van de aangeboden (meta)data. Als de data niet klopt, linkjes niet werken of onderdelen gemist worden vormt dit een obstakel voor hergebruik, of kan dit verkeerde uitkomsten/conclusies opleveren. Stelregel hierbij is: kwaliteit gaat voor kwantiteit.
Houdt contact met hergebruiker
De hergebruiker van data kan het beste aangeven waar tegen aangelopen wordt en of de data ook daadwerkelijk hergebruikt kan worden. Door met hen in gesprek te gaan en te blijven, krijg je continu feedback, waardoor de dienstverlening optimaal zal zijn. Daarnaast is het ook motiverend om als data-aanbieder te zien hoe de data op een waardevolle manier wordt hergebruikt.
Biedt een dataverzoek/feedback optie aan
Door een dataverzoek- en feedbackfunctie aan te bieden, kan de hergebruiker gemakkelijk aangeven wat de datawens is, of welke problemen worden ervaren met een dataset. Dit vereenvoudigd de interactie en is een handig hulpmiddel om het datamanagement goed uit te voeren.
Maak iemand verantwoordelijk voor het datamanagement
Om open data duurzaam te maken en alle genoemde onderdelen goed te managen, is het aanstellen van een verantwoordelijke voor het uitvoeren van datamanagement belangrijk. Monitoren van de datakwaliteit en beschikbaarheid, behandelen van dataverzoeken, feedback en het contact houden met (her)gebruikers, zijn taken die vragen om structureel datamanagement.
Linked data
Gelet op bovenstaande gronden zien we het aantal open datasets groeien en ook het aantal overheidsorganisaties dat data ter beschikking stelt. Tegelijkertijd kan er worden opgemerkt dat er ook nog voldoende overheidsorganisaties zijn die niet tot nauwelijks data delen. Voordat we dieper ingaan op het hoe van data delen, gaan we verder in op de drijfveren waarom we data delen.
Door data beschikbaar te maken voor een grote publiek is de overheid ook beter te controleren op de uitvoering van haar taken. Door de openheid van de overheid te vergroten wordt ook indirect de legitimiteit van de overheid vergroot. Het monopolie wat de overheid bezit aan data kan worden gedeeld met een grotere groep. Deze groep kan dit gebruiken voor economisch belang, maar ook zeker om de overheid te controleren.
Doordat een overheidsorganisatie als het ware gedwongen wordt om data beschikbaar te stellen, betekent dit dat ook derden naar de data kijken en beoordelen. Met behulp van diverse feedbackmechanismen kunnen derden input geven op de kwaliteit van de data. Op die manier vindt een extra externe controle plaats en kan de kwaliteit van de data verbeteren. Verbetering van de eigen datakwaliteit kan hierdoor ook een verbetering geven aan het voeren van data-gedreven beleid.
Waar moet op gelet worden met betrekking tot persoonsgegevens?
Voordat data beschikbaar kunnen komen als open data moet eerst een juridische check gedaan worden. Als duidelijk is welke data mogelijk gepubliceerd zullen worden, moet gecontroleerd worden of het open stellen daarvan niet in strijd is met enige rechtsregel. Hiervoor wordt een juridische check gedaan. Deze stap is erg belangrijk, omdat het vrijgeven van datasets die in strijd zijn met rechtsregels tot aansprakelijkheidsproblemen en veel negatieve publiciteit kan leiden. Met andere woorden: vergeet deze check vooral niet en doe hem grondig! Uiteraard is het raadzaam ook de afdeling juridische zaken van je organisatie bij deze exercitie te betrekken. Deze check bestaat uit de stappen die we hieronder nader toelichten.
De hoofdregel in Nederland is dat overheidsinformatie openbaar is, tenzij een wettelijke regel anders bepaalt. Uitzonderingen op de hoofdregel zijn opgenomen in de Wet openbaarheid van bestuur (Wob) of andere bijzondere regelingen. Het is dus zaak om van te voren goed te controleren of er geen uitzondering geldt voor de geselecteerde datasets. Als data niet openbaar is, mag deze ook niet in hergebruik gegeven worden. Aan de hand van de stappen hieronder kan bepaald worden of data openbaar is.
Om de toepasselijkheid van de openbaarheidsregeling vast te kunnen stellen, moeten we eerst bepalen:
Gaat het om bestuursorganen?
Gaat het om bestuurlijke informatie?
Berust de dataset bij het bestuursorgaan?
Is de gevraagds informatie beschikbaar in documenten/data?
Is de toepasselijkheid van de Wob uitgezonderd?
Als we vastgesteld hebben dat het gaat om informatie waarop de Wob van toepassing is, dan is de hoofdregel - in lijn met de open data filosofie en de Nederlandse beleidsambities - dat de informatie openbaar is en vrijgegeven moet worden voor hergebruik. Echter, de Wob kent een aantal uitzonderingen: soorten bestuurlijke informatie die niet openbaar zijn. Uiteraard moet een overheidsorganisatie deze uitzonderingen toetsen. Is een uitzondering van toepassing dan mag de informatie niet vrijgegeven worden voor hergebruik.
Bij de beoordeling of bestuurlijke informatie openbaar gemaakt mag worden, moet het bestuursorgaan nagaan of de verstrekking niet indruist tegen de in de Wob expliciet genoemde belangen. Deze zijn vastgelegd in en vallen uiteen in twee soorten: de absolute weigeringsgronden en relatieve weigeringsgronden.
Bij absolute weigeringsgronden blijft informatieverstrekking te allen tijde achterwege. Dit is het geval indien de verstrekking van de informatie:
een bedreiging zou kunnen vormen voor de eenheid van de Kroon;
de veiligheid van de Staat zou kunnen schaden;
indien het bedrijfs- en fabricagegegevens betreft die vertrouwelijk aan de overheid zijn medegedeeld;
indien het bijzondere persoonsgegevens betreft.
Bij relatieve weigeringsgronden heeft het bestuursorgaan een discretionaire bevoegdheid. Het moet een afweging maken tussen het algemene abstracte belang van openbaarheid en de belangen genoemd in Art. 10 tweede lid Wob. Het betreft hier:
internationale betrekkingen;
economische of financiële belangen van de overheid;
de opsporing en vervolging van strafbare feiten;
inspectie controle en toezicht door bestuursorganen;
eerbiediging van de persoonlijke levenssfeer;
het belang dat een geadresseerde erbij heeft als eerste kennis te kunnen nemen van informatie;
het voorkomen van onevenredige bevoordeling of benadeling van de betrokkenen.
De aanwezigheid van persoonsgegevens is heel belangrijk bij het publiceren van open data. Immers, overheden verzamelen bij de uitoefening van hun taken vaak massaal gegevens over personen. De hoofdregel van de Wob in samenhang met de AVG is dat deze gegevens niet voor hergebruik in aanmerking komen.
Stel jezelf altijd de volgende vragen bij de vraag of de data persoonsgegevens bevat:
Wat is het grote belang van zorgvuldige toetsing?
Wat zijn de regelingen in de Wob en de AVG?
Wat is het begrip 'persoonsgegeven'?
Wat als de privacywetgeving van toepassing is?
Hoe te handelen?
Wat als er toch wat mis is gegaan?
Data hebben een eigenaar. Dit kan een overheidsorganisatie of een niet-overheidsorganisatie zijn, bijvoorbeeld een bedrijf. Rechten op data nemen vaak de vorm van auteurs- en databankrechten aan, geregeld in de Auteurswet, respectievelijk de Databankenwet. Uiteraard moet je over de (rechten op de) data beschikken. Je kunt geen data in hergebruik geven, waarvan je geen eigenaar bent. Daarmee maak je inbreuk op de rechten van derden.
Als het gaat om rechten van collega-overheidsorganisaties, dan zijn daarvoor enkele bijzondere regels die afwijken van bovenstaande. Kort gezegd houdt die regeling in dat als een overheidsorganisatie bij de publicatie van de informatie niet heeft aangegeven dat zij haar rechten wil voorbehouden, die informatie vrij is van rechten en dus gewoon als open data vrijgegeven kan worden.
Als je data ter beschikking wil stellen voor hergebruik volgens de open data filosofie dien je dus bij de aanmaak c.q. verwerving van de data zeker te stellen dat er geen rechten van derden op rusten. Mochten er derden aan te pas komen, dan kan dit door (standaard) inkoopvoorwaarden te hanteren die bepalen dat alle mogelijke rechten die ontstaan in het kader van de inkoop eigendom worden van de inkopende overheid. De huidige standaard voorwaarden van inkoop voor de centrale overheid bevatten een dergelijk beding. Als laatste slot op de deur doet men er uiteraard goed aan op het moment van vrijgeven voor hergebruik nog een controle uit te voeren op dit aspect.
In het geval er marktpartijen zijn die zelf vergelijkbare datasets produceren en verkopen, dan moet je kijken of er geen oneerlijke concurrentie ontstaat doordat je data vanuit het open data gedachtegoed, gratis ter beschikking stelt.
Volgens de open data filosofie moet overheidsinformatie weliswaar 'as is' maar wel gratis, althans tegen maximaal de verstrekkingskosten en verder ongeclausuleerd, ter beschikking worden gesteld voor hergebruik aan eenieder. Als er evenwel een markt bestaat waarop deze of gelijksoortige informatie door marktpartijen verhandeld wordt, betekent dit dat er voor afnemers op die markt een zeer goedkoop of zelfs gratis alternatief beschikbaar komt, waardoor klanten van de marktpartijen kunnen wegblijven. Het is daarom denkbaar dat een overheidsorgaan aansprakelijk wordt gesteld door een marktpartij die betoogt dat het uitvoeren van het open data beleid onrechtmatig jegens hem/haar is, omdat de condities waaronder de overheid de data ter beschikking stelt hem onrechtmatige concurrentie aandoen.
Rondom dit gebied is recent veel beweging geweest: er is nieuwe wetgeving gekomen en de rechter heeft een tweetal zeer duidelijke uitspraken gedaan. De geruststellende conclusie hieruit is dat een overheid die open data publiceert zich waarschijnlijk niet snel aan concurrentievervalsing schuldig zal maken.
De datasets die opengesteld worden, zijn verzameld in het kader van de uitoefening van de publieke taak. In deze datasets kunnen niettemin fouten zitten, waardoor de inhoud van de datasets niet correspondeert met de werkelijkheid. Dit is op zich is geen reden genoeg om de datasets niet te publiceren, maar het is wel van belang de verwachtingen van de gebruikers te adresseren. Er rust immers een zorgplicht op de overheid om gebruikers te informeren over de datasets en ze te waarschuwen als er mogelijkerwijs gebreken in de informatie zitten.
Het is daarom goed om op de volgende twee manieren gebruikers voor te lichten over hetgeen ze wel en niet mogen verwachten van de datasets: door een basislaag van meta-informatie toe te voegen en door een proclaimer op te nemen.
Een overheidsorgaan dat data in hergebruik geeft, dient ten eerste een basislaag van metadata toe te voegen. Door metadata toe te voegen is de hergebruiker in staat de context van de data beter te begrijpen en kan zij/hij eventuele gebreken zelf constateren. Deze basislaag staat ook wel bekend als de DCAT-standaard.
Diverse overheidsorganisaties pogen mogelijke aansprakelijkheid uit te sluiten door het gebruik van disclaimers. De vraag is wel of deze zogenaamde exoneratie altijd houdt. Zeker als de overheid de enige bron is waar de informatie opgehaald kan worden en helemaal als het hebben van de informatie noodzakelijk is voor de deelname aan het rechtsverkeer, is de houdbaarheid minder waarschijnlijk. Daarbij valt bijvoorbeeld te denken aan informatie uit de basisregistraties die geacht worden de juiste gegevens te bevatten en waarvoor ook een 'gebruikverplichting' bestaat binnen de overheid.
De houdbaarheid van een proclaimer bij het openstellen van data voor hergebruik zal toenemen indien deze specifiek gericht is op de dataset in kwestie, en dus geen algemene verklaring is. Uiteraard kan de verklaring getrapt zijn: er is een algemene proclaimer die geldt voor alle data die beschikbaar zijn voor hergebruik en per dataset is er één proclaimer die verwijst naar de basislaag van metadata in de individuele datasets. In die metadata kan dan aangeven worden in welke context de data verzameld zijn, zodat de hergebruiker zijn bedachtzaamheid op gebreken daarop kan baseren.
De stelt regels inzake het hergebruik van overheidsinformatie. Deze wet is een implementatie van de Europese Hergebruikrichtlijn. De Who gaat uit van de gedachte dat overheidsinformatie een belangrijke grondstof vormt voor digitale informatieproducten (lees: data). De Who ziet met name de economische kracht achter het delen van data, waar de Wob de legitimiteit en controleerbaarheid van de overheid voorop stelt. De Who regelt dat burgers en bedrijven een verzoek om hergebruik van deze overheidsinformatie kunnen indienen. Uitgangspunt hierbij is open, tenzij. Dit betekent dat dit verzoek in principe moet worden ingewilligd, tenzij een van de uitzonderingsgronden genoemd in artikel 2 van de Who zich daartegen verzet. Tevens moeten de documenten in machine leesbaar en open formaat ter beschikking worden gesteld. Voor meer informatie zie de verwijzing in voetnoot nummer 10.
De . Hoewel dit nog geen geldende wetgeving is, is dit wel degelijk een wetsvoorstel om rekening mee te houden. Met dit wetsvoorstel willen de initiatiefnemers op den duur de Wob vervangen. Het doel van het wetsvoorstel is om de overheid transparanter te maken en het functioneren van de democratische rechtsstaat te versterken. Het wetsvoorstel is nog niet in werking, maar kan een grote impact hebben op het databeleid van overheidsorganisaties.
De is een Europese verordening die rechtstreeks doorwerkt binnen Nederland. Deze verordening ziet toe op de verwerking van persoonsgegevens door bedrijven en overheden in heel Europa. De AVG zorgt onder andere voor een versterking van de privacyrechten van burgers, meer verantwoordelijkheden voor organisaties en stevigere bevoegdheden voor de toezichthouders. Bij het openen van data is veelal de eerste vraag of er in de data persoonsgegevens zit, aangezien veel data van de overheid betrekking heeft op mensen of menselijke handelingen/gedragingen. Indien dit het geval is, dan komt de AVG om de hoek kijken.
De stelt regels voor overheden die economische activiteiten verrichten. Deze regels zijn opgesteld ter bevordering van gelijke concurrentieverhoudingen. Voor het openen van data is deze wet van belang om te kijken hoever de overheid mag gaan in het beschikbaar stellen van data.
De beschikbaarstelling van data als open data is de huidige praktijk. Data wordt beschikbaar gesteld conform de uitgangspunten open data. (Op 22 juni 2016 stuurde de minister van Binnenlandse Zaken en Koninkrijksrelaties de ) Daarbij gelden de acht uitgangspunten die het kader voor het proactief beschikbaar stellen van open data van de overheid definiëren.
Uit de dataverzoeken die bij de organisatie zijn binnengekomen, kan worden afgelezen welke behoeften er zoal bestaan aan data. Daarnaast zijn ook vrij te raadplegen.
Het kabinet heeft de ambitie om zoveel mogelijk overheidsgegevens die zich daarvoor lenen, als open data beschikbaar te stellen. Daarbij geeft het kabinet prioriteit aan 'high value' datasets. Een 'high value' dataset is een dataset met hoge waarde voor de samenleving. Bij het openstellen van data wordt prioriteit gegeven aan de ontsluiting van deze 'high value' datasets, omdat deze data bijdraagt aan een transparante en open overheid. . Het onderwerp high value data komt later in de handreiking nog uitgebreider aan de orde.
Vervolgens moet je denken aan hoe je de data ter beschikking wilt stellen. Het gebruik van standaarden wordt hierbij nadrukkelijk aanbevolen. . Het gebruik van open standaarden biedt de mogelijkheid om met elkaar dezelfde ‘taal’ te spreken. Dit kan het hergebruik makkelijker maken en wellicht bevorderen. Open standaarden dragen bij aan interoperabiliteit en leveranciersonafhankelijkheid. Het bespaart kosten en verlicht administratieve lasten.
De data kan technisch nog zo goed in elkaar zitten, het gaat er ook om dat de data gemakkelijk gevonden wordt. Online gevonden worden is immers essentieel als je als organisatie met gebruikers in aanraking wilt komen rondom je open data (). Wanneer je je collecties vindbaar maakt zorg je ervoor dat gebruikers je data makkelijk kunnen doorzoeken, bereiken en identificeren. Wij geven daarbij graag een aantal manieren waaraan je kunt denken bij het vindbaar maken van data.
Wat je ook doet, gebruik . DCAT is de wereldwijde en Europese standaard voor de uitwisseling van metadata. De DCAT standaard is er voor bedoeld om datasets overzichtelijk te kunnen presenteren en om de gebruiker mee te nemen in wat hij/zij kan verwachten in de dataset. Op die manier kan er ook gericht worden gezocht naar data (). Hiermee schep je de voorwaarde voor uitwisselbaarheid van je data met andere dataportalen. Dit vergroot de kans op vindbaarheid.
Zorg ervoor dat jouw data ook echt uniek is. Dit kun je onder andere bereiken door gebruik te maken van persistent identifiers. Hiermee krijgt jouw data in de digitale wereld een unieke label. Deze label zal altijd naar jou te herleiden zijn. DCAT ondersteunt het gebruik van deze identifiers. Hiermee is jouw data beter vindbaar in de talrijke digitale collecties ().
Als we vastgesteld hebben dat het gaat om informatie waarop de Wob van toepassing is, dan is de hoofdregel - in lijn met de Open Data-filosofie en de Nederlandse beleidsambities - dat de informatie openbaar is en vrijgegeven moet worden voor hergebruik. Echter, de Wob kent een aantal uitzonderingen: soorten bestuurlijke informatie die niet openbaar zijn. Uiteraard moet een overheidsorganisatie deze uitzonderingen toetsen. Is een uitzondering van toepassing dan mag de informatie niet vrijgegeven worden voor hergebruik. Bij de beoordeling of bestuurlijke informatie openbaar gemaakt mag worden moet het bestuursorgaan nagaan of de verstrekking niet indruist tegen de in de Wob expliciet genoemde belangen. Deze zijn vastgelegd in en vallen uiteen in twee soorten de absolute weigeringsgronden en relatieve weigeringsgronden.
Recent is op gebied veel beweging geweest: er is nieuwe wetgeving gekomen en daarnaast heeft de rechter in een tweetal zeer duidelijke uitspraken gedaan ( en ). De geruststellende conclusie hieruit is dat een overheid die aan Open Data gaat doen zich niet snel aan concurrentievervalsing schuldig zal maken.
Indachtig het Open Data gedachtegoed is er wel veel meer te zeggen voor het geldig kunnen hanteren van mededeling waarin wordt uitgelegd wat een her-gebruiker wel mag verwachten van de data. Deze zogenaamde proclaimers zijn in toenemende mate populair, ook in overheidsland, en komen uiteraard ook weer in vele soorten en maten, zie bijvoorbeeld die van de , de en het . Het onderscheid tussen de disclaimer en de proclaimer zit met name in de aard: waar de disclaimer gelijk stevig alle aansprakelijkheid afwijst, is de proclaimer veel vriendelijker van toon en beoogt het de gebruiker te informeren over de inhoud van de informatie en tegelijkertijd ook diens verwachtingen te managen.
De data wordt bij voorkeur onder een verklaring beschikbaar gesteld. Dit geeft voldoende waarborg voor hergebruik zonder beperkingen. Eventueel kan indien gewenst een waarin de hergebruiker wordt verplicht de bronhouder van de data te vermelden. In het geval van CC-By moet worden aangegeven hoe de te gebruiken naam van de bronhouder moet worden beschreven.
Mocht een hergebruiker niettemin menen dat hem onrecht is aangedaan doordat de overheid hem (beweerdelijk onjuiste) data zijn verstrekt dan zal hij een zogenaamde onrechtmatige daadactie kunnen instellen bij de rechter. Dit is geregeld in . Hij zal dan betogen dat de overheid aansprakelijk is voor gebrekkige open data.
Een classificatie is de indeling van organismen in hoofdgroepen naar de structuur van hun lichamen, waarbij de volgende hiërarchische onderverdeling wordt aangehouden. Het CBS gebruikt in de statistieken veel internationale classificaties met als doel om classificaties zo veel als mogelijk op elkaar aan te laten sluiten. Veel gebruikte classificaties van het CBS zijn onder andere de indelingen naar bedrijfsactiviteiten via de standaard bedrijven indeling (SBI) en de gemeentelijke indelingen per jaar. De classificaties die CBS gebuikt zijn te vinden via
Kadaster werkt met geo-informatie. Deze geo-informatie is vindbaar via het dataplatform PDOK (). Veelal worden open datasets van het Kadaster aangeboden in diverse formaten om de hergebruiker optimaal te bedienen. Daarnaast beheert het Kadaster ook diverse geo standaarden en basisregistraties. Een gedeelte van deze basisregistraties wordt ook weer beschikbaar gesteld als open data. Via deze wijze worden veel datasets van het Kadaster ontsloten als open data.
In juni 2015 is de wet hergebruik overheidsinformatie in werking getreden. Deze wet biedt het recht om openbare overheidsinformatie in herbruikbare vorm beschikbaar te krijgen. Deze wet is in 2018 herzien. Als onderdeel van deze herziening worden High value datasetsbenoemd. De te benoemen lijst met high value datasetsis gebaseerd op de categorieën benoemd in het G8 Open Data charter. De lijst met High value datasetszal worden opgesteld in 2019 in overleg met de lidstaten op basis van een implementing act ().
Dat is het aloude legaliteitsbeginsel voor overheidshandelen. Een overheid kan niet handelen zonder een wettelijke grondslag. Breng in kaart op basis van welke wettelijke grondslagen je organisatie handelt. Dit kan je helpen om te bepalen op welke terreinen je organisatie actief is. Voor de betekenis van het legaliteitsbeginsel zie .
Een organisatie draait op diverse systemen. Uit deze systemen kan er data worden getransformeerd om uiteindelijk ter beschikking te worden gesteld. De systemen bevatten vaak de ingrediënten om rapportages en bruikbare data van te maken. Een mogelijkheid om wel de juiste data en rapportages te vergaren is de inrichting van een datawarehouse. Binnen deze constructie wordt in een speciale database alle gegevens verzameld, op geslagen en up-to-date gehouden. Een datawarehouse is de mogelijkheid om data naar buiten te pushen, maar biedt ook de mogelijkheid voor interne trends en analyses (). Het inrichten van een datawarehouse is een mogelijkheid om meer grip op data te krijgen. Uiteraard is het ook mogelijk om direct uit de eigen interne systemen te transformeren.
In je proces moet je ook al het archiveren van data meenemen. Data-archivering is het proces rondom het verplaatsen van gegevens die niet meer actief gebruikt worden naar een apart opslag apparaat om die data zo lang te kunnen bewaren. Data-archieven bestaan uit oudere gegevens die is nog steeds belangrijk en noodzakelijk zijn voor de toekomst, alsmede gegevens die moeten worden bewaard voor de naleving van regelgeving (). Zorg ervoor dat je je data archief op orde hebt en ook makkelijk kan terughalen indien dit nodig is.
Het semantische web is een web van veel gegevens. Een aantal van deze gegevens lenen zich met haar eigenschappen voor omgeving waar applicaties die gegevens makkelijk kunnen opvragen en verwerken. Om dit web goed te laten functioneren is het van belang om deze gegevens (data) via een gestandaardiseerd en bereikbaar formaat ter beschikking te stellen. Op die manier kan een relatie tussen gegevens worden gelegd en is dit de basis voor. Hiervoor moeten technologieën voor handen zijn op basis van gestandaardiseerd formaat. Een voorbeeld van Linked data techniek is door middel van miljoenen hyperlinks snel inzicht kan worden verkregen in de verbanden tussen Nationaal en Europese wetgeving (). Tevens wordt dit verrijkt met gerechtelijke uitspraken, parlementaire documenten en officiële bekendmakingen. Door deze techniek worden diverse relaties gelegd in het web aan gegevens.
Tot slot gaan we in deze handreiking dieper in op wat het data delen ons oplevert. Prins Constantijn van Oranje heeft een oproep gedaan aan overheidsorganisaties om het concept van open data te omarmen: “Met open data geef je anderen de kans om mee te ondernemen en hun eigen ruimte vorm te geven” (). Het belang van open data wordt wel degelijk onderkend. Maar hoe delen we die data en wat levert het ons op? Op deze vraagstukken gaat data.overheid.nl in.
. Zo kennen we de Wet openbaarheid van bestuur (Wob) die de mogelijkheid biedt tot inzage in overheidsinformatie. Door deze wijze van transparantie kan er een actieve controle plaatsvinden op de legitimiteit van overheidshandelen. De laatste jaren is er in toenemende mate aandacht gekomen voor het openen van data binnen de overheid. Dit is onder andere afkomstig door andere wetgeving die is aangenomen: Wet Hergebruik Overheidsinformatie (WHO). Deze wet vormt een implementatie van de herziening van de Europese richtlijn rondom overheidsinformatie. De gedachte achter deze wet en richtlijn is dat de overheid een enorm belangrijke grondstof door digitale informatieproducten bezit, namelijk data. Het is goed om te zien dat sinds de invoering van deze wet meer en meer overheidsorganisaties open data initiatieven ontplooien. De organisaties stellen actief data beschikbaar voor hergebruik door derden. Het kabinet zet daarom al enkele jaren in op het actief beschikbaar stellen van data door de overheid. Een behoorlijke omslag binnen het denken en handelen van de overheid. Het beschikbaar stellen van data vordert anno 2018, maar het kan altijd beter. Zoals Eurocommissaris Neelie Smit Kroes in 2011 al aankondigde is open data een goudmijn, waarin data meer waard wordt door het delen en weggeven. Open data wordt hiermee de grondstof voor tal van nieuwe informatieproducten en - diensten () .
Er zijn circa vier factoren te onderscheiden waarom we data delen ():
Door data voor hergebruik beschikbaar te stellen kunnen overheidsorganisaties innovatie en nieuwe bedrijvigheid stimuleren (). Het biedt mensen, ondernemers, bedrijven en andere geïnteresseerden in data de kans om data te gebruiken voor de organisatie. Mensen kunnen op een innovatieve manier gebruik maken van data en hierdoor kunnen nieuwe applicaties worden ontsloten. Wanneer meer data volgens (open) standaarden ontsloten worden, kunnen andere overheidspartijen deze data ook eenvoudiger hergebruiken. De interoperabiliteit van de overheid wordt hierdoor vergroot.
Toepassingen kunnen ook door de overheid zelf worden ontwikkeld. Door het ontsluiten van open data kunnen daarmee burgers en bedrijven beter en efficiënter worden geholpen (). Voor een ieder kan dit zowel een besparing in tijd als in geld opleveren.
Indachtig het open data gedachtegoed is meer te zeggen voor het geldig kunnen hanteren van mededeling waarin wordt uitgelegd wat een hergebruiker wel mag verwachten van de data. Deze zogenaamde proclaimers zijn in toenemende mate populair, ook in overheidsland, en komen uiteraard ook weer in vele soorten en maten, zie bijvoorbeeld die van de , en het . Het onderscheid tussen de disclaimer en de proclaimer zit met name in de aard: waar de disclaimer gelijk stevig alle aansprakelijkheid afwijst, is de proclaimer veel vriendelijker van toon en beoogt het de gebruiker te informeren over de inhoud van de informatie en tegelijkertijd ook diens verwachtingen te managen.
De data wordt bij voorkeur onder een verklaring beschikbaar gesteld. Dit geeft voldoende waarborg voor hergebruik zonder beperkingen. Eventueel kan desgewenst een licentie gegeven worden waarin de hergebruiker wordt verplicht de bronhouder van de data te vermelden. In het geval van CC-BY moet worden aangegeven hoe de te gebruiken naam van de bronhouder moet worden geschreven.
Mocht een hergebruiker niettemin menen dat hem onrecht is aangedaan doordat de overheid hem (beweerdelijk onjuiste) data zijn verstrekt dan kan hij een zogenaamde onrechtmatige daadactie kunnen instellen bij de rechter. Dit is geregeld in . Hij kan dan betogen dat de overheid aansprakelijk is voor gebrekkige open data.
Type persona | Wat wil de persoon? |
Ontwikkelaar | Maakt graag gebruik van webservices/API's. Via deze wijze kan hij de data bevragen daar waar het nodig is. Doel is vaak om website of applicaties te maken. |
Student/wetenschapper | Studenten/wetenschappers zijn vaak geïnteresseerd in tijdreeksen. Ze kunnen vaak met diverse formaten uit de voeten, maar zien dus graag dat data blijvend wordt vernieuwd. |
Medewerker van de overheid | Overheden hebben vaak data nodig voor het maken van beleid. Hiervoor hebben ze snel informatie voor handen nodig. Het aanbieden van kaarten en/of visualisaties is hiervoor een geschikt middel. |
Ondernemers | Ondernemers willen graag de data hebben voor de eigen bedrijfsvoering. Hiervoor is het makkelijk om de data gemakkelijk ter beschikking te stellen. Veelal via een download. |
Analisten | Analisten willen graag vergelijkingen doen tussen datasets. Veelal gebruiken zij liever data in een downloadbaar formaat om de data naar zicht toe te halen en op die manier te hergebruiken. |
Journalisten | Vaak iets minder onderlegt dan een ontwikkelaar. Wil graag de informatie uit de data halen die nodig is voor het werk. Data tonen via visualisaties wordt hier vaak gebruikt. |
Om een compleet overzicht van de beschikbare basisregistraties te geven, hebben we voor elke registratie een aparte dataset aangemaakt.
De informatie over basisregistraties is verspreid over verschillende vindplaatsen. Op het nationale dataportaal moet tenminste een overzicht zijn van de beschikbare registraties, de gebruikersvoorwaarden en de vindplaatsen.
Waarom wordt de Stelselcatalogus niet 1 op 1 overgenomen in data.overheid.nl?
De Stelselcatalogus beschrijft de begrippen en gegevensvelden in alle basisregistraties en een aantal sectorregistraties. Deze informatie is om twee redenen niet voldoende om een dataset beschrijving voor een basisregistratie te maken op data.overheid.nl:
de registers in de Stelselcatalogus hebben geen databron verwijzing.
de licentie voor hergebruik is niet gedefinieerd.
Daarnaast heeft de Stelselcatalogus geen landingspagina voor elk basisregister waarnaar kan worden verwezen. Wel is er een Linked Data server die de informatie geeft over de objecten in de catalogus: https://www.stelselcatalogus.nl/documenten/html/Directe_Links_LOD_Server_Stelselcatalogus
Basisregister: Titel dataset
De titel van de datasets is als volgt: "Basisregister: <naam register > (<afkorting>) [DONL]".
De afkorting [DONL] is om aan te geven dat deze dataset wordt onderhouden door het team van Data.overheid.nl en niet door de data-eigenaar zelf.
Basisregister - Alternatieve identifier
Geef in het veld "Alternatieve identifier" in ieder geval de linked data URI op van het register in de Stelselcatalogus. De URI's staan voor alle register vermeld op de pagina: https://www.stelselcatalogus.nl/documenten/html/Directe_Links_LOD_Server_Stelselcatalogus
Basisregister: Omschrijvingsveld:
Omschrijving van inhoud en doel van register vanuit de bronhouder
Aanwijzing voor hergebruik
Verwijzing naar de Stelselcatalogus
Basisregister: TAGS
In de tags van de dataset nemen we de "authentieke begrippen" op zoals vermeld in de Stelselcatalogus. Dit zijn de informatie-begrippen die vindbaar zijn het register. Omdat de tags worden geindexeerd door de zoekmachine, kan een gebruiker de dataset vinden bij zoeken op deze begrippen.
Basisregister: databronnen (resource)
Als er een API of downloadbare bron is van de data eigenaar wordt deze hier opgenomen als deze nog niet in data.overheid.nl als dataset aanwezig is. Als de resource wel aanwezig is EN door de data-eigenaar zelf wordt onderhouden, dan nemen we een link op naar deze dataset als "alternatieve identifier". Overige gerelateerde datasets en links opnemen in "Gerelateerde bronnen" of "Documentatie".
Veel datasets zijn een afgeleide van een landelijke registratie of zijn de voeding van een registratie. Hoe neem je deze datasets op in het register.
Veel datasets hebben een relatie met een basisregistratie. We zien bijvoorbeeld veel datasets die een relatie met de BGT (basisregistratie grootschalige topografie) hebben. Voor de aanmelding op data.overheid van deze datasets hanteren de volgende leidraad:
de dataset is GEEN basisregistratie en krijgt dus ook geen "badge" van basisregistratie. Alleen de 10 landelijke basisregistraties krijgen de badge "basisregistratie".
datasets die een relatie hebben met een basisregistratie kunnen wel als "afgeleide" van de basisregistratie worden aangemeld. In het aanmeldformulier voor datasets is het veld "deze datasets is gebaseerd op" hiervoor geschikt. Vul hier de ID van de basisregistratie in.
De ID van een basisregistratie is te vinden in de groep waarin de 10 basisregistraties zijn opgenomen.
De URI's van de 10 datasets zijn onderstaand opgenomen
DCAT is de standaard voor het uitwisselen van dataset informatie.
Data.overheid.nl onderhoudt een toepassingsprofiel van de DCAT standaard, de DCAT-AP-DONL. Dit profiel is de basis voor de uitwisseling van dataset informatie van en naar data.overheid.nl.
DCAT is een wereldwijde standaard van de W3C, een organisatie waar veel internet standaarden worden opgesteld en beheerd. Op basis van de DCAT van W3C worden toepassingsprofielen gemaakt voor toepassing van de standaard in specifieke situaties.
Vanuit de Europese Unie is er een toepassingsprofiel van DCAT opgesteld. Het Nederlandse toepassingsprofiel van DCAT is gebaseerd op versie 1.1 van het EU-profiel (meer over DCAT-AP-EU 1.1 van de EU). Er wordt continu gewerkt aan een update van het DCAT-AP-EU. Daarin wordt onder andere ook de mapping naar ISO 19115, de metadatastandaard voor geo-datasets, meegenomen. Volg de ontwikkelingen van DCAT-AP-EU.
Begin 2015 is een nieuwe versie van het dataportaal live gegaan, gebaseerd op een nieuwe versie van CKAN. Het nieuwe portaal is gebouwd volgens DCAT-DONL. Hierbij is volledige compatibiliteit met de Europese DCAT standaard bereikt voor Nederlandse datasets. Er is ook een "mapping" gemaakt naar ISO 19115, de metadatastandaard voor geo-datasets die door het Nationaal GeoRegister (NGR) gebruikt wordt. Daarmee kunnen we de kwaliteit van de metadata-uitwisseling met andere datacatalogi in Nederland en in Europa op een hoger plan brengen.
Waarom een Nederlands toepassingsprofiel van DCAT? Het toepassingsprofiel voor Datasets beschrijft welke informatie we tussen Nederlandse datacatalogi uitwisselen en welke referentie-gegevens we daarbij gebruiken. Omdat we ons beperken tot Nederlandse datacatalogi kunnen we afspraken maken over de te gebruiken referentiegegevens, zoals identificatie van organisaties, onderwerp- en thema-indeling. Een aantal van deze referentiegegevens zijn beschikbaar als waardelijsten (zie DCAT-AP-DONL waardelijsten) en leunen op de standaard OWMS waardelijsten.
Een lijst met datacatalogi en een lijst met dataset-uitgevers zijn beschikbaar op data.overheid.nl: https://data.overheid.nl/community/catalogi
De documentatie van het applicatieprofiel is hier te vinden:
De DCAT-AP-DONL wordt gevuld op basis van waardelijsten die ook door data.overheid.nl (en andere organisaties) worden onderhouden. Zie onderstaande link over waardelijsten.
Hoe meld je als data-eigenaar handmatig datasets aan op data.overheid.nl?
Data.overheid.nl is het Nationale Dataportaal waar overheidsorganisaties (data-eigenaren) data, veelal open, publiceren en vindbaar maken. Deze handleiding beschrijft hoe je als data-eigenaar een dataset handmatig kan aanmelden op data.overheid.nl. Mochten er ondanks deze handleiding vragen zijn over het publiceren van data op data.overheid.nl, dan kan je contact opnemen met het datamanagement team van data.overheid.nl via data@koop.overheid.nl.
Er zijn drie manieren om datasets te publiceren via data.overheid.nl. Deze drie manieren zijn als volgt:
Handmatig op data.overheid.nl. Hiervoor maak je eerst een account aan als data-eigenaar. Vervolgens voer je de dataset in via het formulier 'dataset aanmelden.' Hierover lees je meer in deze handleiding.
Automatisch via andere dataportalen die al aangesloten zijn op data.overheid.nl. Alle datasets die zijn aangemeld bij bijvoorbeeld het Nationaal Georegister (NGR) worden op data.overheid.nl automatisch overgenomen. Je hoeft hier niets voor te doen, behalve contact opnemen met deze andere portalen.
Automatisch vanuit je eigen dataportaal. Heb je een eigen dataregister of een eigen dataportaal? Je hoeft de gegevens dan niet opnieuw in te voeren op data.overheid.nl. De leverancier van je dataportaal kan je ongetwijfeld meer vertellen over de mogelijkheden. Veelal kun je via de API van data.overheid.nl rechtstreeks datasets 'pushen' richting data.overheid.nl. Lees hier meer over API's.
Deze handleiding is gericht op de eerste manier, namelijk het handmatig aanmelden van datasets op data.overheid.nl. Heb je interesse in de andere manieren, dan vernemen wij dit graag via data@koop.overheid.nl.
Wist je dat: door datasets op data.overheid.nl te publiceren, publiceer je en maak je direct de data zichtbaar op het Europees dataportaal!
Er zijn drie stappen in het handmatig publiceren van een dataset op data.overheid.nl. Namelijk de volgende stappen:
Registreren data-eigenaar account op data.overheid.nl
Informatie over de dataset invoeren
Databron meegeven aan de dataset
Stap 1 om te publiceren is het verkrijgen van een data-eigenaar account. Dit proces is eenvoudig geregeld. Ga hiervoor naar de volgende link: https://data.overheid.nl/gebruiker/login. Hier kan je een data-eigenaar account aanvragen en na tussenkomst van het datamanagement team van data.overheid.nl is het account bevestigd. Stap 1 om datasets te publiceren is hiermee genomen.
Nadat je een data-eigenaar account hebt aangemaakt ga je naar het aanmeldformulier voor datasets via deze link: https://data.overheid.nl/dataset/dataset-publiceren
Informatie over de dataset invoeren gebeurt via de DCAT metadata standaard. Deze standaard wordt Europees gehanteerd bij de uitwisseling van metadata over datasets. Met metadata geef je informatie over de dataset weer. Probeer dit zo goed als mogelijk in te vullen, hiermee schep je namelijk een verwachtingspatroon voor de hergebruiker en wordt de dataset zo goed mogelijk vindbaar.
De informatie die je opgeeft over de dataset hebben wij opgedeeld in vier blokken, namelijk:
Gegevens over de dataset
Gegevens over de aanbieder
Rechten en zichtbaarheid
Relaties en verwijzingen
Per blok geven wij aan welke velden dienen te worden ingevuld. Tevens staat met een * aangegeven of een veld verplicht is om in te vullen. Indien er GEEN * bij staat betekent dat dit optioneel is om in te vullen. Dit is ook zo in het aanmeldformulier voor datasets.
In dit blok geef je meer informatie direct over de dataset aan. Per veld wordt aangegeven wat je daarin kan invullen.
Titel *
Geef een duidelijke titel aan je dataset, zodat de dataset makkelijk vindbaar is voor hergebruikers. De titel bestaat bij voorkeur uit één of enkele woorden en indien mogelijk een jaartal.
Identifier
Via een URL kan hier worden aangegeven waar de dataset oorspronkelijk te vinden is.
Alternatieve identifier
Indien er nog een alternatieve plek is waar de dataset wordt getoond, kan dit hier worden ingevuld.
Taal *
Kies hier uit de waardenlijst in welke taal de dataset te hergebruiken is.
Metadata taal *
Kies hier uit de waardenlijst in welke taal de metadata is ingevoerd.
Beschrijving *
Geef hier een heldere en duidelijke toelichting op uw dataset. Denk bijvoorbeeld aan de inhoud van de dataset, jaartal(len), het formaat, mogelijke aanwijzingen voor hergebruik van de dataset, de wijze waarop de data is verkregen en de kwaliteit van de dataset.
Tags
Je kan meerdere tags meegeven aan deze dataset. Tags zijn zoekwoorden waarmee je de data beter vindbaar maakt. Wanneer je begint met typen verschijnt er een lijst met mogelijke tags waar je uit kan kiezen. We raden je aan om ongeveer 5 tags per dataset te gebruiken.
Thema *
Klik op het veld en kies een thema dat past bij de dataset. Je kan eventueel meerdere thema’s kiezen.
URL Landingspagina
Hier kan je een link plaatsen naar meer informatie over (het gebruik) van deze dataset.
Documentatie
Als je documentatie ter beschikking hebt over het gebruik van de dataset, dan kun je dit aangeven door een link naar de documentatie hier te plaatsen.
Sample
Als de dataset wordt gebruikt in een toepassing, dan kun je hier een link naar deze toepassing plaatsen. Op die manier kan je inzicht verkrijgen in het gebruik van de data.
Doel van vervaardiging
Hier kan je aangeven op basis van welke doel de dataset tot stand is gekomen.
High value dataset
Geef aan of deze dataset een high value dataset is of niet. Een high value dataset is data die bijdraagt aan een transparante en open overheid of data die sociaal-economische meerwaarde heeft voor de samenleving. Meer uitleg over high value datasets vind je hier: https://data.overheid.nl/community/maatschappij/high-value
Referentiedataset
Geef aan of deze dataset een referentiedataset is of niet. Een referentiedataset is essentieel voor het gebruik van overheidsdata. Meer uitleg vind je hier: https://data.overheid.nl/community/maatschappij/referentie-datasets
Basisregistratie
Geef aan of deze dataset een basisregistratie is of niet. Een basisregistratie is een door de overheid officieel aangewezen registratie met gegevens die door alle overheidsinstellingen verplicht worden gebruikt bij de uitvoering van publiekrechtelijke taken. Meer uitleg vind je hier: https://www.digitaleoverheid.nl/dossiers/basisregistraties/
Landelijk dekkend
Geef hier aan of deze dataset landelijk dekkend is of niet. Wanneer de dataset landelijk dekkend is kun je dit aanvinken.
Soort gegeven
Beschrijf de locatie waarover de data gaat. Bijvoorbeeld Nederland, je provincie, of je gemeente.
Gegeven
Wanneer je een locatie hebt gekozen waar de data over gaat, wordt hier automatisch een waardenlijst uit gegenereerd waar u uit kunt kiezen.
Aanmaakdatum
Kies voor de aanmaakdatum waarop deze dataset op data.overheid.nl is aangemaakt.
Versie
Gebruik dit veld als er regelmatig een nieuwe versie van de dataset online wordt geplaatst. Kies dan bijvoorbeeld voor versie 1.0, 2.0, etc.
Versietoelichting
Is er een specifieke reden voor het updaten van de dataset (zoals een herstelde fout)? Dan kun je dat hier vermelden.
Status van de dataset *
Kies hier de huidige status van de dataset. Bijvoorbeeld: de dataset is beschikbaar, gepland, in onderzoek of niet beschikbaar. Ook niet open data kan dus worden gepubliceerd op data.overheid.nl. In het kader van transparantie kan je aangegeven of de dataset wel bestaat, maar niet beschikbaar komt voor hergebruik. In principe is data open, tenzij er een uitzonderingsgrond vanuit de Wet Openbaarheid Bestuur is.
Verwachte publicatiedatum
Heb je bij de status van de dataset 'in onderzoek' of 'gepland' ingevuld? Geef dan hier aan wat de verwachte publicatiedatum is waarop de dataset wordt geopend of meer informatie kan worden gegeven over het onderzoek of het open kan worden gesteld of niet.
Wijzigingsfrequentie
Uit deze lijst kan je kiezen hoe vaak er een update van deze dataset plaatsvindt. Indien de gewenste wijzigingsfrequentie niet als keuzeoptie in de lijst staat, kies dan voor de optie 'onregelmatig' of de optie die het dichtst bij de wijzigingsfrequentie zit.
Naam van de dekkingsperiode
Indien van toepassing, beschrijf hier de naam van de dekkingsperiode van deze dataset. Denk aan jaarlijks, of sinds 2012, etc.
Begin dekking periode
Indien van toepassing, beschrijf hier de begin- en einddatum van deze dataset.
Eind dekking periode
Indien van toepassing, beschrijf hier de begin- en einddatum van deze dataset.
In dit blok geef je meer informatie over jouw organisatie die de data publiceert.
Data-eigenaar *
Kies hier de data-eigenaar van de dataset. De data-eigenaar is de organisatie die verantwoordelijk is voor de inhoud van de dataset. De data-eigenaar zal tevens vragen of dataverzoeken afhandelen.
Publicerende organisatie *
De publicerende organisatie is een optioneel veld waarin een organisatie wordt benoemd die verantwoordelijk is voor de levering van de data. Het is belangrijk om deze in te vullen als deze afwijkt van de organisatie die data-eigenaar is. Indien dit gelijk is aan de data-eigenaar, kan worden volstaan met de verwijzing naar de data-eigenaar zelf.
Afdeling/organisatie *
Vul hier de afdeling/organisatie in waar contact kan mee kan worden opgenomen. Het is raadzaam een algemene benaming te gebruiken i.v.m. privacy.
E-mailadres
Vul hier het e-mailadres in waar contact kan mee kan worden opgenomen. Het is raadzaam een algemeen e-mailadres te gebruiken.
Website
Vul hier de website in die meer informatie over de organisatie geeft.
Telefoon
Vul hier de telefoongegevens in waar contact kan mee kan worden opgenomen. Het is raadzaam een algemeen nummer te gebruiken i.v.m. privacy/persoonsgegevens.
Adresgegevens
Vul hier de adresgegevens in waar contact mee kan worden opgenomen. Het is raadzaam het algemene adres te gebruiken i.v.m. privacy.
In dit blok geef je iets aan over het gebruik van de data.
Licentie *
Met een licentie geef je aan wat voor gebruiksrechten er op deze dataset rusten. Bijvoorbeeld: Publiek Domein, CC-0, CC-BY, of CC-BY-SA. Kijk hier voor meer informatie over de verschillende licenties: https://data.overheid.nl/ondersteuning/data-publiceren/licentie-keuze
Openbaarheidsniveau *
Kies hier of de toegang tot deze dataset publiek, beperkt of gesloten is. Hiermee geef je aan op welke wijze deze data mag worden hergebruikt. Bijvoorbeeld: een dataset waar de hergebruiker voor moet inloggen of moet registreren heeft de toegang 'beperkt'. Een dataset die volledig open is heeft de toegang 'open'.
Citeertitel
Geef de citeertitel van de wettelijke regelgeving (indien van toepassing). Meer informatie over de verwijzing naar wet- en regelgeving kan hier worden gevonden: https://www.overheid.nl/help/wet-en-regelgeving/verwijzen-naar-wet-en-regelgeving
Link
In dit veld kun je linken naar de regeling die de grondslag vormt voor deze data. Meer informatie over de verwijzing naar wet- en regelgeving kan hier worden gevonden: https://www.overheid.nl/help/wet-en-regelgeving/verwijzen-naar-wet-en-regelgeving
Juriconnect-verwijzing
Het maken van een correcte Juriconnect-verwijzing vergt enige technische kennis. Op https://wetten.overheid.nl word je daarom geholpen om een dergelijke verwijzing samen te stellen. Bij elk regelingonderdeel (een artikel, een hoofdstuk, etc.) kun je via het rechter uitklapmenu kiezen om een 'Permanente link' te maken. Meer informatie over de verwijzing naar wet- en regelgeving kan hier worden gevonden: https://www.overheid.nl/help/wet-enregelgeving/verwijzen-naar-wet-en-regelgeving
Tot slot het laatste blok waarin je eventuele relaties en/of verwijzingen naar andere datasets kunt opnemen.
Gerelateerde datasets
Indien er een aantal gerelateerde datasets aan deze dataset zijn, kun je dat hier aangeven.
Standaarden waar de data aan voldoet
Indien er in deze dataset een bepaalde standaard wordt gehanteerd (zoals Juriconnect of een ISO-standaard), kan je dat hier aangeven.
Bron catalogus *
Kies hier voor de bron in welke catalogus de dataset wordt opgenomen.
Datasets die op deze dataset zijn gebaseerd
Indien er dataset zijn die gebaseerd zijn op deze dataset, kan je dat hier aangeven.
Deze dataset is gebaseerd op
Indien deze dataset gebaseerd is op andere datasets, kan je dat hier aangeven.
Nu je alle informatie over de dataset hebt meegegeven, wordt het hoog tijd voor de volgende en laatste stap. In deze stap geef je namelijk meer informatie aan over waar de data daadwerkelijk kan worden gevonden en in welk formaat de data onder deze dataset wordt aangeboden. Dit doe je door na het publiceren van de informatie over de dataset, naar de desbetreffende dataset te gaan en kiest voor de optie ‘databronnen beheren’. Vervolgens zijn er nog een aantal velden te gaan:
URL
Geef hier de URL op waar de databron te vinden is.
Download URL
Als de databron direct downloadbaar is, kan je dit in dit veld aangeven.
Titel
Geef een duidelijke titel aan de databron, zodat de databron makkelijk vindbaar is voor hergebruikers. De titel bestaat bij voorkeur uit één of enkele woorden, en indien mogelijk een jaartal.
Beschrijving
Geef hier een heldere en duidelijke toelichting op de databron. Denk bijvoorbeeld aan de inhoud van de databron, jaartal(len), het formaat, mogelijke aanwijzingen voor hergebruik van de databron, de wijze waarop de data is verkregen en de kwaliteit van de databron.
Taal
Kies hier uit de waardenlijst in welke taal de databron te hergebruiken is.
Metadata taal
Kies hier uit de waardenlijst in welke taal de metadata is ingevoerd.
Licentie
Met een licentie geef je aan wat voor gebruiksrechten er op deze databron rusten. Bijvoorbeeld Publiek Domein, CC-0, CC-BY of CC-BY-SA. Kijk hier voor meer informatie over de verschillende licenties: https://data.overheid.nl/ondersteuning/data-publiceren/licentie-keuze
Toelichting op de gebruiksbeperkingen
Indien er een aanvulling is op de licentie van deze dataset kun je dat hier beschrijven, bijvoorbeeld hoe je organisatie vermeld wil worden indien er een CC-BY licentie op deze data rust.
Levensfase van de bron
Geef hier, indien dit kan, aan wat de levensfase is van de bron.
Bestandstype
Kies uit de waardenlijst uit welke bestandsformaat de databron bestaat. Indien het formaat niet in de lijst voorkomt, kies dan het dichtstbijzijnde formaat. Meer informatie over formaten is hier te vinden: https://data.overheid.nl/ondersteuning/data-gebruiken/vormen-van-data
Bestandsgrootte
Geef hier aan hoe groot het bestand is.
Mediatype
Kies uit de waardenlijst uit welke mediatype de databron bestaat. Indien de type niet in de lijst voorkomt, kies dan het dichtstbijzijnde type. Meer informatie is hier te vinden: https://dcat-ap-donl.readthedocs.io/en/latest/
Uitgifte datum
Geef hier de datum aan wanneer de databron klaargemaakt is voor beschikbaarstelling.
Wijzigingsdatum
Geef hier de laatst gewijzigde datum aan wanneer de databron gemuteerd is.
Linked schema’s
Om aan te tonen hoe bruikbaar een dataset is, maakt data.overheid.nl gebruik van Linked schema’s en Linked Data sterren. Kijk hier voor meer informatie: https://data.overheid.nl/ondersteuning/open-data/begrippenkader
Documentatie
Als je specifieke documentatie over de databron ter beschikking hebt, dan kan je in dit veld de URL opnemen naar de documentatie.
Algoritme
Als je het algoritme over de databron kent, dan kan je dit hier aangeven.
Hash
Als je de hash over de databron kent, dan kan je dit hier aangeven.
Wanneer je al deze stappen hebt doorlopen, dan heb je de dataset op data.overheid.nl gepubliceerd! Om het gemakkelijk te maken hebben wij bij elk veld op data.overheid.nl een ?-button staan. Klik op deze button voor meer informatie wat er wordt gevraagd bij het invullen van een metadataveld op data.overheid.nl.
Lukt het niet of heb je hier nog vragen over? Dan zijn wij uiteraard bereikbaar via data@koop.overheid.nl!
Dataset | Gebruikte standaard | Domein | Voorbeeld |
Bedrijventerreinen | Economie |
Invalidenparkeerplaatsen | Verkeer |
Stembureaus | Bestuur |
Gemeentelijke monumenten | Cultuur en recreatie |
Meldingen Openbare ruimte | Ruimte en infrastructuur |
DCAT | Metadata |
Inspire | GEO |
CBS | Classificaties |
Juriconnect | Recht |
Data.overheid.nl heeft in samenwerking met diverse partijen het overheidsprofiel voor de DCAT opgesteld. De formele naam voor DCAT-DONL is DCAT-AP-DONL 1.1.
De Nederlandse overheid heeft het DCAT-AP-EU vertaald naar een Nederlands toepassingsprofiel. Het toepassingsprofiel voor datasets is de specificatie van de metadata die de Nederlandse overheid gebruikt voor de uitwisseling van metadata over datasets tussen datacatalogi.
Data.overheid.nl is opgezet op basis van DCAT-DONL. Het toepassingsprofiel bestaat uit een beschrijving van het datamodel, de waaardelijsten die worden gebruikt voor de invulling van het model en de wijze van uitwisselen van informatie over datasets. De Nederlandse overheid kent meer toepassingsprofielen (ook wel IPM's genoemd) voor de uitwisseling van andere soorten overheidsinformatie.
DCAT-DONL is bedoeld om de uitwisseling van metadata over datasets in Nederland eenvoudig te maken. Het is gebaseerd op de DCAT versie die de Europese Unie heeft opgesteld. DCAT-AP-DONL is een specifiekere invulling van de Europese versie. We hebben ervoor gekozen om minder vrij in te vullen velden toe te staan zodat de kwaliteit van de metadata beter kan worden gecontroleerd.
Nederlandse Datacatalogi kunnen metadata volgens het toepassingsprofiel aanleveren aan data.overheid.nl. Data.overheid.nl levert de metadata door aan het Europese dataportaal.
In 2017 is begonnen met het documenteren van een nieuwe versie van DCAT, gebaseerd op de nieuwe versie DCAT-AP-EU 1.1. Dit heeft geresulteerd in een gedocumenteerde DCAT standaard DCAT-AP-DONL 1.1 (documentatie: DCAT-AP-DONL 1.1).
Deze versie van DCAT wordt op data.overheid.nl op dit moment toegepast voor het aanleveren van dataset metadata door andere overheden en externe leveranciers. Data.overheid.nl levert in DCAT formaat vervolgens aan het Europese dataportaal door.
Voor alle documentatie en informatie over het speciale overheidsprofiel voor het uitwisselen van metadata verwijzen wij u graag naar de volgende pagina:
DCAT-AP-DONL 1.1 (specificatie en documentatie)
De DCAT-AP-DONL wordt gevuld op basis van waardelijsten die ook door data.overheid.nl (en andere organisaties) worden onderhouden. Zie onderstaande link over waardelijsten.
Een overzicht van de soorten content en datatypen op data.overheid.nl. Deze informatie is gebaseerd op release 5.0 (Zeeleeuw) van Data.overheid.nl.
Type
Bevat
Bron
Hergebruik
Datasets
Dataset beschrijvingen
CKAN
CKAN-API
Dataverzoeken
Dataverzoeken
Drupal
Drupal API
Data services
API's en webservices op datasets
Drupal
Drupal API
Groepen
Groepen met datasets
Drupal
Drupal API
Communities
Community - pagina met groepen, thema's links
Drupal
Drupal API
Organisaties
Organisaties - een pagina voor elke organisatie
Drupal
Drupal API
Toepassingen
Toepassingen - een pagina voor elke toepassing
Drupal
Drupal API
Content: actueel
Content pagina's
Drupal
n.n.b.
Content: support
Content pagina's
Drupal
n.n.b.
Discussie
Discussie fora berichten
Discourse
API
Documentatie
Markdown gestructureerde content
GitBook
PDF export
Op data.overheid.nl maken we zoveel mogelijk gebruik van waardelijsten. Waardelijsten zijn belangrijk in het gebruik van DCAT bij de uitwisseling van informatie over datasets tussen organisaties.
De waardelijsten op data.overheid.nl zijn in 2017 opnieuw bijgewerkt naar aanleiding van de nieuwe DCAT-AP-DONL standaard. De waardelijsten worden onderhouden op een vaste publieke locatie. Deze locatie gebruikt data.overheid.nl om waarden op te halen en kan ook door andere organisaties en toepassingen worden gebruikt.
De waardelijsten op bovenstaande locatie worden beheerd door data.overheid.nl.
Release januari 2021 van data.overheid.nl.
De release 5.2 is in januari op de productie omgeving van data.overheid.nl geplaatst. De release brengt de volgende verbeteringen en nieuwe onderdelen:
Datasets:
Visualisaties: data-eigenaren kunnen met eigen data een visualisatie maken en deze aan een dataset toevoegen. De visualisatie kan in Localfocus worden gemaakt. De visualisatie wordt in realtime opgebouwd vanuit de gekoppelde dataset. De visualisatie geeft zo een actueel beeld van de aanwezige data in de dataset.
Aanmelden en beheren datasets: het formulier om datasets te onderhouden werd steeds langer en groter. We hebben het formulier opgeknipt in stukken en een navigatie toegevoegd zodat het makkelijker wordt om datasets aan te melden en te beheren.
Metadata taal "Duits" toegevoegd.
Nieuw formulier datasets
Het nieuwe dataset formulier biedt de mogelijkheid om in de toekomst meer informatie over datasets toe te voegen. In 2021 doen we in 4 pilots een proef om aan datasets informatie toe te voegen over:
datakwaliteit
datastructuur (kolombeschrijvingen)
begrippen en concepten in de data
condities voor hergebruik / data delen
Door heel data.overheid.nl:
Op data.overheid.nl zijn de relaties zichtbaar tussen datasets, dataverzoeken, organisaties en communities.
Veel pagina's en teksten zijn nu ook in het Engels beschikbaar. Je vindt rechtsboven in het scherm een knop om te schakelen tussen Engels en Nederlands.
Homepage:
Actuele datasets, verzoeken, toepassingen en nieuwsberichten staan nu op de homepage. De laatst toegevoegde onderdelen worden automatisch getoond. De gebruiker kan filteren actuele berichten van één soort te tonen. De homepage is dynamischer en actuele informatie is direct inzichtelijk.
Support pagina's
De blauwe blokken met links naar support pagina's zijn vervangen door een overzichtelijke infographic met links. Meer overzicht, makkelijker toegankelijk.
Veel informatie van de supportpagina's is verhuisd naar de documentatie-server op GitBook (o.a. waar deze pagina's staan). Gitbook is makkelijk te onderhouden met versiebeheer en is bijzonder geschikt voor documentatie. Ook de Franse overheid maakt gebruik van deze omgeving. Adres: https://docs.datacommunities.nl.
Zoeken:
Filters met meer dan 30 onderdelen, hebben een handige zoekbox om snel het passende filter te vinden.
Synchronisatie met andere catalogi
sync met CBS catalogus is verbeterd en mapping tussen velden is makkelijker te beheren voor de datamanagers.
de logbestanden voor de nachtelijke sync processen is geordend zodat elke ochtend direct zichtbaar is of de syncs goed zijn verlopen.
Release maart 2021 [gepland]
Release 5.3 "Garfield" bevat de volgende onderdelen
Actueel:
actueel en support berichten kunnen met foto en actie-sidebar worden gepubliceerd voor betere zichtbaarheid en leesbaarheid.
Datasets: meer informatie over datasets
Er zijn nieuwe classificaties voor datasets toegevoegd: basisregister, sectorregistratie en lokale registratie. Dit zorgt voor onderscheid tussen de landelijke basisregisters, en de register die lokaal worden bijgehouden om de basisregisters te voeden.
"gesloten" datasets (toegang = niet publiek) kunnen worden voorzien van de reden waarom deze niet publiek zijn. De reden kiest de data-eigenaar uit een vaste waardelijst met de 10 uitzonderingsgronden uit de WOB.
het is mogelijk om datasets op "bestuurslaag" te filteren. Elke data-eigenaar wordt ingedeeld in een bestuurslaag van de overheid. De lagen zijn: rijk, provincie, gemeente, waterschap, europa en regionale samenwerkingen.
Community-landingspagina's verbeterd.
zoekbox geeft suggesties voor de inhoud van een community datasets, verzoeken, etc.
de community landingspagina is verbeterd met actueel-berichten, laatste datasets en dataverzoeken.
Data community: naar Huddle.
De forum voorziening voor de datacommunities is omgezet van Discourse naar het Nederlandse platform "Huddle". Huddle biedt meer gereedschap om data-eigenaren en data-gebruikers actief te betrekken in de data communities.
Dataservices
een eerste versie van een dataservice register is toegevoegd t.b.v. een publieke test.
Links naar meer informatie over en rond DCAT
Mapping DCAT-CKAN-ISO19115-CBS (.ods 39 kB)
Mapping DCAT-CAKN-ISO19115-CBS (.xls 39 kB)
Waardelijsten data.overheid.nl met mapping naar NGR (.ods 227 kB)
Waardelijsten data.overheid.nl met mapping naar NGR (.xls 227 kB)
DCAT is in sommige gevallen verplicht en wordt altijd geadviseerd om te gebruiken voor het uitwisselen van metadata over datasets.
Data.overheid.nl geeft het volgende advies over gebruik van de DCAT standaard:
1. DCAT-DONL is verplicht: voor het aanleveren van metadata over datasets van de Nederlandse overheid aan data.overheid.nl. Data.overheid.nl accepteert geen nieuwe leveringen die afwijken van de DCAT-AP-DONL standaard.
2. DCAT-DONL gewenst: voor het uitwisselingen van metadata over datasets tussen Nederlandse overheden en hun leveranciers. Wij adviseren overheden om hun leveranciers te vragen om DCAT-AP-DONL te ondersteunen in hun producten waar van toepassing. Op deze manier is het makkelijker om aan de verplichting voor de levering aan data.overheid.nl te voldoen.
3. DCAT-EU is verplicht: voor het aanleveren van metadata aan het EU dataportaal. Dit geldt alleen voor data.overheid.nl. Omdat DCAT-AP-DONL een specificering is van DCAT-EU voldoet data.overheid.nl automatisch aan deze verplichting.
4. DCAT-EU is gewenst: voor alle publieke en private partijen in de EU die dataset informatie uitwisselen die geen data van de Nederlandse overheid betreft. Er bestaat op dit moment geen DCAT-NL.
5. DCAT (W3C) is gewenst: voor alle publieke en private partijen wereldwijd die dataset informatie uitwisselen die geen data van de Nederlandse overheid betreft. De w3C versie van DCAT is de moeder-versie van alle andere DCAT toepassingsprofielen.
Het staat partijen daarnaast vrij om afgeleide toepassingsprofielen te maken van de al gepubliceerde toepassingsprofielen van de EU en data.overheid.nl, waarbij idealiter een mapping wordt gepubliceerd naar de leidende profielen.
Op dit moment (eind 2020) wordt DCAT-DONL aangemeld voor opname op de pas-toe-of-leg-uit lijst van het Forum. Verzoek is of DCAT-DONL een voor overheidsorganisaties verplichte standaard kan worden opgenomen.
Op dit moment is alleen de generieke DCAT standaard van W3C als advies opgenomen op de lijst.
De nieuwe versie van DCAT is nog niet in gebruik op data.overheid.nl
Sinds februari 2020 is een nieuwe versie van DCAT ontwikkeld door het W3C (https://www.w3.org/TR/vocab-dcat-2/). Op 29 juni 2020 publiceerde de Europese Unie haar versie 2.0.1 van een toepassingsprofiel voor deze versie van DCAT (link naar DCAT 2.0 op EU Joinup). Dit betekent dat data.overheid.nl aan het werk kan om de DCAT-DONL te upgraden naar versie 2.0.
In de nieuwe versie van DCAT is rekening gehouden met het toevoegen van informatie voor het delen van data: condities. Deze condities kunnen als een "policy" aan een dataset of databron worden gekoppeld en beschrijven welke toegang- en/of gebruiksvoorwaarden gelden voor de data.
Daarnaast biedt de nieuwe DCAT meer mogelijkheden om begrippen en datamodellen te koppelen aan een dataset. Een begrip is bijvoorbeeld "lantaarnpaal" of "ladder in sluis" zodat preciezer kan worden aangeduid welke concepten in de data zijn beschreven.
Datamodellen zijn er in veel verschillende soorten. Een datamodel beschrijft de structuur van de data. Voor een hergebruiker is het relevant om deze structuur te kunnen inzien, of nog beter: te kunnen zoeken op de namen van de velden of kolommen. DCAT biedt de mogelijkheid om meer dan deze informatie te koppelen aan een dataset.
In 2021 zullen we starten met een pilot om condities, datakwaliteit, begrippen en modellen toe te voegen aan datasets op data.overheid.nl. Verschillende overheidsorganisaties zullen hiervoor use cases aanleveren. Parallel hieraan zullen we de implementatie van de nieuwe DCAT 2.0 versie op data.overheid.nl oppakken. Dit geeft ons de mogelijkheid om bij de implementatie rekening te houden met de inzichten uit de pilot.
We zullen op deze pagina meer informatie geven zodra hiervoor een planning bekend is. De huidige status is dat we onderzoeken op welke manier we DCAT 2.0 kunnen implementeren in data.overheid.nl. We verwachten in 2021 de implementatie uit te voeren.
De nieuwe versie van DCAT is backwards compatible met de vorige versie van DCAT. We verwachten dat de impact van de implementatie van DCAT 2.0 voor aangesloten leveranciers en overheden daarom gering zal zijn. Een aanlevering in DCAT 1.1 formaat zal volledig compatible zijn met de nieuwe DCAT 2.0.
Informatie over de releases van het data.overheid.nl portaal.
De release 5.0 van data.overheid.nl (codenaam Zeeleeuw) heeft wat langer op zich laten wachten. De release is geïnstalleerd op een nieuwe server omgeving voor toekomstbestendigheid. Dit heeft meer tijd gekost dan gepland, vooral door de inrichting van CKAN.
Waarom integraal zoeken?
Data.overheid.nl bevat steeds meer aanvullende informatie naast datasets. Gebruikers zoeken vaak eerst naar dataverzoeken van andere gebruikers, handige groepen, toepassingen en pas later naar een specifieke datasets. Integraal zoeken biedt de gebruiker de mogelijkheid om met één zoekopdracht alle relevante content op data.overheid.nl te vinden.
Het integraal zoeken is beschikbaar op vrijwel alle pagina's van data.overheid.nl. De zoekbox biedt de mogelijkheid om "Alles" te doorzoeken of direct een specifiek soort content te zoeken zoals "dataverzoeken".
Inzicht in impact van data
We willen meer inzicht geven in het gebruik en de impact van data. Er zijn nieuwe informatie typen toegevoegd: toepassingen, groepen en communities. De dataverzoeken en organisaties zijn ook aangepast. Alle typen zijn doorzoekbaar (zie integraal zoeken).
Integraal zoeken: zoeken op contentpagina's onder "actueel" en "support" werkt niet goed.
Werking van de synchronisatie tussen Nationaal Georegister en Data.overheid.nl
Data.overheid.nl haalt elke nacht een update van de metadata van datasets op bij het Nationaal Georegister (NGR). Hiervoor wordt de API van NGR bevraagd met een script.
Niet alle datasets van NGR worden opgehaald. Alleen de datasets die voldoen aan een aantal criteria worden geselecteerd uit de API.
De synchronisatie vindt plaats in twee stappen:
Voor elke dataset leest data.overheid.nl de waarden in de NGR API uit en selecteert de bruikbare waarden die noodzakelijk zijn in data.overheid.nl. NGR heeft meer velden die een voor data.overheid.nl noodzakelijke waarde kunnen bevatten.
De waarden die uit NGR zijn geselecteerd worden vervolgens "gemapped" op het informatie model van data.overheid.nl gebaseerd op het DCAT 1.1 toepassingsprofiel DCAT-DONL.
Als beide stappen succesvol verlopen, is de NGR dataset toegevoegd of geupdate in data.overheid.nl. Datasets uit NGR waarvoor in stap 2 geen mapping is gevonden worden in principe niet opgenomen in data.overheid.nl.
Datasets met een voor data.overheid.nl bekende licentie worden opgehaald. De toegestane licenties zijn opgenomen in een waardelijst. Datasets met een onbekende waarde voor licentie worden opgenomen als "gesloten licentie".
De werking van het script voor licenties wordt in de bijlage onderin deze pagina toegelicht. De beheerders van data.overheid.nl ontvangen een rapportage over het verloop na elke synchronisatie.
Onderstaande Xpath selectors worden gebruikt om in de XML response van de NGR API te zoeken naar de ‘mogelijke licentie’ van een dataset. Alle Xpath selectors die we gebruiken per veld voor de datasets van het NGR zijn in te zien in het configuratiebestand gepubliceerd op Github.com onder de “xpath_selectors" JSON key (https://github.com/dataoverheid/donlsync/blob/master/config/catalog_NGR.json).
Uit deze lijst van ‘mogelijke licenties’ selecteren we de ‘waarschijnlijke licentie’ door een voor een te checken:
Is het een URI/URL? Dan is dit de ‘waarschijnlijke licentie’ en gaan we direct verder naar de volgende stap
Zit er geen URI/URL in de lijst van ‘mogelijke licenties’ dan wordt de eerste niet lege string uit de lijst gekozen als ‘waarschijnlijke licentie’
Nu wordt er gecontroleerd of er een mapping aanwezig is voor de ‘waarschijnlijke licentie’, zo ja, dan wordt de gemapte variant als ‘waarschijnlijke licentie’ gekozen. Alle mappings staan gepubliceerd op https://github.com/dataoverheid/donlsync-mappings
Er zijn technisch gezien ook nog checks op basis van een whitelist en/of blacklist, maar die worden niet gebruikt voor het licentieveld van datasets van het NGR; dus is hier niet relevant.
Nu wordt er gecontroleerd of de ‘waarschijnlijke licentie’ voorkomt in de DCAT-AP-DONL waardelijst voor licenties:
Zo, ja: de ‘waarschijnlijke licentie’ wordt als licentie gebruikt voor de dataset in data.overheid.nl
Zo, nee: de ‘fallback’ licentie wordt gebruikt (http://standaarden.overheid.nl/owms/terms/geslotenlicentie)
Known Issue: de NGR licentie “Geen beperkingen” wordt op de " gesloten licentie" URI gemapped omdat we dit niet kunnen mappen naar een van de specifieke open licenties uit de waardelijst. "Geen beperkingen" kan zowel PublicDomain als CC-O inhouden.
Informatie over de releases van het data.overheid.nl portaal.
De release 5.1 van data.overheid.nl (codenaam Zeeleeuwtje) is inmiddels geïnstalleerd op onze omgeving. De release is geïnstalleerd op de nieuwe server omgeving voor die in release 5.0 in gebruik is genomen.
In deze release zijn de volgende punten meegenomen:
Previews beschikbaar bij datasets met een CSV formaat
Basisregistraties zichtbaar op data.overheid.nl
Community, nieuws en support pagina's doorzoekbaar in het portaal
Zoeken in communities
Kleine verbeteringen voor data-eigenaren bij het beheren van datasets
Kleine verbeteringen bij tonen van een dataset
Een preview biedt de gelegenheid om eenvoudig in een dataset te zoeken, zonder dat je de data direct naar je toe haalt. Wij hebben signalen ontvangen dat het prettig is voor hergebruikers om te weten wat er in een dataset zit, zonder direct de data te hoeven downloaden. Met behulp van een preview bieden we deze mogelijkheid.
Vooralsnog tonen we een preview alleen bij datasets met een CSV formaat waar we een directe link van hebben. De komende periode horen we graag verbeterpunten, zodat we onze dienstverlening optimaal kunnen maken.
Een overzicht van de meeste essentiële datasets van Nederland, de Basisregistraties. De informatie over de datasets is verspreid over verschillende sites. Op data.overheid.nl brengen we deze informatie nu zoveel mogelijk bij elkaar. Alle basisregistraties zijn hier te vinden.
Waarom integraal zoeken?
Data.overheid.nl bevat steeds meer aanvullende informatie naast datasets. Gebruikers zoeken vaak eerst naar dataverzoeken van andere gebruikers, handige groepen, toepassingen en pas later naar een specifieke datasets. Integraal zoeken biedt de gebruiker de mogelijkheid om met één zoekopdracht alle relevante content op data.overheid.nl te vinden.
In de release 5.0 is een start gemaakt met het integraal zoeken. In deze release is het integraal doorzoeken aangevuld met de community, nieuws en support pagina's.
Er zaten wat bugs in het zoeken naar data in de communities. Met de release 5.1 hebben we deze bugs verholpen. Hierdoor wordt het gemakkelijker om te zoeken naar datasets bij de communities. Meer informatie over de communities op data.overheid.nl is hier te vinden.
We streven ernaar het voor data-eigenaren zo eenvoudig mogelijk maken om datasets te publiceren op data.overheid.nl. In het kader hiervan zijn er kleine verbeteringen aangebracht in de beheerpagina's van data-eigenaren.
De bestemmingspagina van een dataset was na de release 5.0 niet meer zichtbaar bij een dataset. Dit hebben we in ere hersteld.
Welke technische en functionele componenten gebruikt data.overheid.nl? Een globaal overzicht.
Data.overheiud.nl bestaat uit de volgende componenten:
Dit is de homepage en vrijwel alle pagina's in dataoverheid. In het portaal zijn de volgende informatie objecten in beheer:
Actueel: Contentpagina's
Ondersteuning: Contentpagina's
Groepen: Drupal objecten
Organisaties: Drupal objecten
Dataverzoeken: Drupal objecten
Toepassingen: Drupal objecten
Technische invulling voor portaal: Drupal 8
Het dataregister is de plek waar de dataset informatie wordt bewaard. De presentatie van de datasets op data.overheid.nl verloopt via Drupal die de informatie uit CKAN ophaalt. Het dataregisters heeft API's voor aanleveren en uitleveren van de dataset informatie.
Technische invulling voor het dataregister: CKAN + maatwerk API's en ETL
Veel pagina's in data.overheid.nl worden opgebouwd op een zoekresultaat vanuit een index met CKAN en Drupal informatie.
Technische invulling voor zoekvoorziening: SOLR
De discussie fora die in een aantal data communities beschikbaar zijn, worden ingevuld met externe Discourse fora.
Technische invulling voor discussiefora: Discourse [hosted].
Documentatie die technisch of uitgebreid is wordt niet in Drupal opgenomen. De documentatie wordt in een op Github gebaseerde documentatie tool onderhouden. Deze tool wordt door meer Europese dataportalen gebruikt.
Technische invulling documentatie server: GitBook [hosted]
De kennisbank van de communities hebben we ondergebracht op Gitbook. Deze handleiding biedt uitleg over het Discussieforum van data.overheid.nl en de communities.
De kennisbank van de data.overheid.nl communities hebben we ondergebracht op Gitbook. Hierop publiceren we relevante informatie en documentatie ter ondersteuning van de communities op data.overheid.nl. Zo hebben we hier ook deze handleiding geplaatst van het Discussieforum van data.overheid.nl. Deze maakt gebruik van het open source programma Discourse.
Op de communities zijn thema's en onderwerpen specifiek voor Onderwijs en Mobiliteit benoemd. Regel op de community is dat elk thema of onderwerp een verantwoordelijke moderator heeft.
De opbouw en onderwerpen op het forum volgen de thema en onderwerpenlijsten:
Om op de Discourse, het discussieforum van data.overheid.nl en de communities, te komen ga je naar https://forum.datacommunities.nl/. Hier kun je je registreren voor een account zodat je berichten kan plaatsen of op berichten kan reageren. Als je je al hebt geregistreerd kun je je hier ook aanmelden om toegang te krijgen.
Discourse werkt met verschillende toegangsniveau's voor gebruikers. Je kunt aan andere leden van het discussieforum vragen om je een hoger niveau te maken. De beste manier om een hoger niveau te bereiken is om actief te reageren en posten op Discourse; elke interactie levert je "karmapunten" op die bijdragen aan je waardering op het Discussieforum.
Je kunt je accountgegevens en instellingen bekijken door rechtsboven op je initiaal te klikken en vervolgens op je gebruikersnaam. Onder Voorkeuren kun je je gebruikersnaam en wachtwoord wijzigen. Bij Activiteit vind je al je geplaatste topics en reacties terug. Ook kun je hier instellen of je meldingen wilt ontvangen, en anderen uitnodigen voor de Discourse.
Bovenaan de startpagina vind je onderstaande uitleg over het Discussieforum:
Welkom op het discussieforum van data.overheid.nl, als onderdeel van de data community pilot. Of je nu een data aanbieder bent, of als (her)gebruiker juist op zoek bent naar data van de overheid. Deze data community is dé plek voor het gesprek over overheidsdata.
Stel hier vragen over het gebruik van data, deel een idee voor een leuke toepassing, vraag om feedback en attendeer elkaar op inspirerende voorbeelden en data evenementen.
Meer weten? Een overzicht van de data communities vind je op data.overheid.nl: https://data.overheid.nl/community/
Op de homepagina kun je alle categorieën zien, deze sorteren op nieuwste of top berichten, en aan de rechterkant zie je wat de nieuwste berichten op de Discourse zijn.
Maak een nieuw topic aan door op de homepage op de grijze knop “nieuw topic” te klikken. Vergeet hierbij niet een categorie toe te voegen zodat je topic makkelijk vindbaar is. Je kunt vanuit ieder onderdeel op het forum een nieuw topic aanmaken.
Probeer zo volledig mogelijk te zijn in je vraag/verzoek/bericht. Zo kunnen anderen je helpen of gericht reageren op je topic.
Zet je onderwerp in de juiste categorie. Kijk altijd voordat je iets plaatst of er misschien al iets over hetzelfde onderwerp geplaatst is. Hier kun je dan op reageren in plaats van een nieuwe topic maken.
Post niet hetzelfde topic/vraag in meerdere categorieën.
Gebruik de Vind ik leuk-knop (het hartje) bij een topic om aan te geven dat je het ergens mee eens bent.
De belangrijkste functies voor data.overheid.nl die op de backlog staan.
Onderdeel
Feature
Status
Organisaties
Relaties tonen bij organisaties naar dataverzoeken, communities, toepassingen
Backlog
Communities
Dataverzoeken, toepassingen en organisaties tonen
Backlog
Content
Content actueel en ondersteuning doorzoekbaar maken
Bezig
Content
Overzicht basisregistraties maken
Bezig