Kennis uitwisselen met SKOS en OpenSKOS

Presentatie over: "Kennis uitwisselen met SKOS en OpenSKOS"— Transcript van de presentatie:

1 Kennis uitwisselen met SKOS en OpenSKOS
Hennie Brugman Meertens Instituut

2 Overzicht Inleiding Ontstaansgeschiedenis Begrippen
Functionele beschrijving Toepassingen in de praktijk Content en beschikbaarheid Stakeholders en toekomstige ontwikkelingen 0 inleiding probleemstelling algemene visie in 1 slide: wat is het? 1 ontstaansgeschiedenis rol van diverse partijen 2 "technische acronymen" SKOS, concept versus term-based linked data, RESTful web services 3 functionele beschrijving en demo API OAI-PMH Dashboard 4 toepassingen in de praktijk Memorix en GTAA-gebruik generieke browser clavas link naar DEN thesaurus-overzicht 5 content en beschikbaarheid (open source, open data) gtaa, aat, ... licenties 6 stakeholders en toekomstige ontwikkeling belangstellende en betrokken partijen thesaurus-editor Beeld en Geluid 7 basis/onderdeel van een (inter)nationaal platform? samenwerkingsverband RCE, Beeld en Geluid, Naturalis

3 Inleiding

4 Problemen mbt gebruik van vocabulaires
Bouwen en beheren van thesauri is tijdrovend Liever hergebruik Hoe ontdek en evalueer je bestaande thesauri? Je software-tools moeten specifieke thesauri ondersteunen Nog vaak als browsable en doorzoekbare website gepubliceerd Niet als data, niet in standaardvorm Toolbouwers moeten veel maatwerk verrichten

5 OpenSKOS visie: een marktplaats voor SKOS vocabulaires
Iedere knoop implementeert: Upload module RESTful API (autocomplete, find, CRUD) Linked Data toegang OAI-PMH data provider enharvester Editor voor management en curatie

6 OpenSKOS = SKOS formaat + Peer to peer architectuur + RESTful API +
Linked Data + Publicatie dmv upload en OAI-PMH + Management mbv Interactief Dashboard + Ondersteuning voor alignment + Stimuleren van open database licenses Vocabulaire curatie mbv ingebouwde Editor

7 Voordelen aanbieders Anderen je vocabulaires aanbieden kan met een simpele upload actie Of via een eigen OpenSKOS instantie, of via OAI-PMH Het is mogelijk je eigen vocabulaire te gebruiken in andermans tools (al dan niet commercieel), als die tools OpenSKOS aanspreken Vocabulaires kunnen makkelijk en frequent door de bouwer/beheerder worden ge-update, zonder tussenkomst van derden Contextualiseren: et is eenvoudig concepten uit je eigen vocabulaires te koppelen aan andere vocabulaires

8 Nieuwe mogelijkheden tot browsen en zoeken
Voordelen gebruikers Het is eenvoudig om vocabulaires te ontdekken, evalueren en te gebruiken Minder noodzaak ze zelf te construeren Nieuwe mogelijkheden tot browsen en zoeken In vocabulaires, in collectie-beschrijvingen Altijd up-to-date versies van vocabulaires beschikbaar

9 Voordelen toolbouwers
Geen maatwerk per vocabulaire meer nodig, geen periodieke updates door te voeren Kunnen profiteren van werk van andere toolbouwers en vocabulaire-aanbieders Kunnen OpenSKOS gebruiken voor een reeks van nieuwe use cases

10 Ontstaansgeschiedenis

11 Eerste CATCHPlus versie
Jarenlang stabiel gedraaid en toegepast voor gebruik Beeld en Geluid thesaurus door Nationaal Archief (via Pictura’s Memorix tool) Gedurende half jaar intensief overlegd door CATCHPlus, RCE, Adlib, Pictura, Trezorix Op initiatief van en gehost door RCE Doel: elkaars tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren Uitkomst: architectuur-concept en REST API specificatie OpenSKOS implementatie (door Picturae) is conform de uitkomsten van dit overleg OpenSKOS Editor toegevoegd in opdracht van Beeld en Geluid

12 Begrippen

13 SKOS, een ultrakorte primer
SKOS kennisstructuren bestaan uit Concepten, onderverdeeld in ConceptSchemes Concepten hebben een URL ter identificatie Concepten hebben labels in 1 of meer talen Concepten kunnen worden gedocumenteerd met ‘notes’ Concepten hebben onderling semantische relaties broader, narrower, related OpenSKOS onderscheidt daarnaast nog Collections en Institutions

14 Term: Economic cooperation Used For: Economic co-operation
Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries. Korte SKOS recapitulatie: Links: termgebaseerd Rechts: conceptgebaseerd (waarbij de termen labels zijn, gekoppeld aan concepten) Term-> prefLabel Used for -> altLabel Broader, narrower term -> broader, narrower concept etc

15 SKOS en Linked Data Concepten kunnen over grenzen van ConceptSchemes worden gelinkt exactMatch, closeMatch, broadMatch, narrowMatch, relatedMatch Mits een Concept een stabiele, resolvable http URI heeft kan er naar gelinkt worden Concepten kunnen zelf linken naar (Linked Open Data op) het web

16 Voor- en nadelen Standardisatie Eenvoudig en generiek data-model
Web-gebaseerd Concept- versus term-gebaseerd Omvat ‘alignment’ Echter Bij transformatie gaat semantiek verloren Data deels niet op SKOS te mappen

17 RESTful web services Web service: RESTful:
Software die interactie tussen machines over het web mogelijk maakt (“protocol mbt vragen en antwoorden”) RESTful: Gebruikt standaard protocollen van world wide web (http) Beschrijft resultaten zoveel mogelijk als (online) ‘resources’ Aan te roepen via gewone URLs In principe eenvoudig in gebruik en schaalbaar Voor gebruik vanuit software Dus primair voor gebruik door programmeurs Linked Data is een specifieke instantie van een RESTful web service

18 Functionele beschrijving

19 OpenSKOS Editor Upload module Interactieve management functies RESTful API OAI-PMH data provider en harvester

20 Stel, ik zoek een thesaurus om molens te beschrijven, of medicijnen, of krantenberichten, of …
Dan kan ik naar openskos.org, waarop allerlei thesauri beschikbaar worden gemaakt

21 dan wil ik informatie over zo’n thesaurus en ik wil er online in browsen en zoeken

22 Stel, ik wil mijn thesaurus online opbouwen en beheren, eventueel met andere instellingen samen
Dan kan ik de OpenSKOS Editor gebruiken, gebouwd voor Beeld en Geluid, als onderdeel van OpenSKOS

23 Stel, ik heb een thesaurus(-update) en wil die aanbieden aan de wereld of aan mijn partner-instelling, die een commerciële tool gebruikt (bv Memorix van Picturae), of een wetenschappelijke (bv Arbil uit CLARIN) Dan kan ik eenvoudig uploaden mbv OpenSKOS

24 Stel, ik wil een OpenSKOS node beheren, dan heb ik interactieve beheerfuncties ter beschikking

25 CRUD (create, retrieve, update, delete) Institutions Collections
RESTful API Concept resolve API Find API Autocomplete CRUD (create, retrieve, update, delete) Institutions Collections Naar aanleiding van uitgebreide, gezamenlijk geprioriteerde lijst van use cases Lucene Query Parser Syntax Sommige endpoints: GET, PUT, POST, DELETE: lezen en schrijven

26 API voorbeelden Concept resolve
{ "tenant": "meertens", "collection": 4, .. "uri": " "uuid": "d921f9f9-f a-cb9d-5f1dcfa00b49", "class": "Concept", [ "UiL-OTS, Utrecht University" ], [ "UiL-OTS, Utrecht University", [ "broader": [ " "SemanticRelations": [ "inScheme": [ " "xmlns": [ "rdf", "skos" "notation": [ "108950" ] } API voorbeelden Concept resolve api/concept?id= RDF, JSON of html <rdf:RDF> <rdf:Description rdf:about=" <rdf:type rdf:resource=" <skos:prefLabel xml:lang="en">UiL-OTS, Utrecht University</skos:prefLabel> <skos:altLabel xml:lang="en">UiL-OTS, Utrecht University</skos:altLabel> <skos:broader rdf:resource=" <skos:inScheme rdf:resource=" </rdf:Description> </rdf:RDF>

27 API voorbeelden Find API api/find-concepts?q=crisis&format=rdf
{"response": { "numFound": 4, "start": 0, "docs": [ … { "scopeNote": [ "veldrijder" ], "prefLabel": [ "Rutte, Marcel" "xmlns": [ "rdf", "skos", "dcterms" ] }, "minister-president VVD, fractievoorzitter VVD Tweede Kamer, staatssecretaris OCW en Sociale Zaken, voorzitter JOVD" "Rutte, Mark" } API voorbeelden Find API api/find-concepts?q=crisis&format=rdf api/find-concepts?q=crisis+collection:4&format=json api/find-concepts?q=crisis+tenant:rkd&format=json api/find-concepts?q=prefLabelText:rutte+collection:4+inScheme:http*Persoonsnamen&format=json&fl=prefLabel,scopeNote

28 API voorbeelden Autocomplete API
api/autocomplete/politi?returnLabel=prefLabel api/autocomplete/speelf?returnLabel=prefLabel

29 Institutions, Collections API
API voorbeelden Institutions, Collections API in RDF: /api/institutions in HTML: /api/institutions?format=html /api/collections/beng:gtaa.html

30 OAI-PMH voorbeelden

31 Toepassingen in de praktijk

32 OpenSKOS instanties Instantie(s) tbv intern gebruik, publicatie en beheer van de GTAA thesaurus van Beeld en Geluid Ongeveer 8 instanties tbv (internationale) klanten van Picturae Meertens instantie tbv CLARIN-NL CLAVAS project Experimentele instantie tbv CLARIN-EU bij Institute for Corpus Linguistics and Text Technology, Wenen Tbv thesaurus-constructie bij Cologne Center for eHumanities Test-installatie bij Europeana ihkv project

33 Client tools OpenSKOS editor zelf Memorix (Picturae)
Gepland: Arbil (CMDI metadata editor, CLARIN)

34

35 Content en beschikbaarheid

36 Vocabulaires GTAA (Beeld en Geluid) AAT-NED (RKD)
Library of Congress Subject Headings CLAVAS ISO language codes ISOcat metadata profile Organisatie-namen Getest met enkele andere bestaande SKOS thesauri Getest met versie van Thesaurus Nationaal Farmaceutisch Museum ?? Overkoepelende registry ontbreekt nog

37 Beschikbaarheid Broncode is onder Open source licentie en online beschikbaar (GitHub) Open Database licenties en Creative Commons aanbevolen We promoten vrij gebruik van services M.u.v. schrijf-acties via API en Editor, en management functies Iedereen kan eigen instantie van OpenSKOS draaien Picturae biedt 10 jaar hosting van OpenSKOS aan ihkv CATCHPlus contract

38 Stakeholders en toekomstige ontwikkelingen

39 Beeld en Geluid CLARIN-NL/Clavas, CLARIN-EU DARIAH (Task Force Reference Data and Controlled Vocabularies) Meertens Instituut Nationaal Archief Picturae RCE RKD Digitale Collectie NL (Europeana aggregator) Europeana ??

40 (Mogelijke) toepassingen in concrete projecten
Toekomst (Mogelijke) toepassingen in concrete projecten OpenSKOS community in oprichting (werkgroep: Meertens, Picturae, Digitale Collectie NL, Beeld en Geluid, Europeana) Functionele wensen Vrij browsen en zoeken voor iedereen ‘discovery’ van thesauri Uitbouwen gedistribueerde opzet

41 Hartelijk dank. ???