Kennis uitwisselen met SKOS en OpenSKOS Hennie Brugman Meertens Instituut

Overzicht Inleiding Ontstaansgeschiedenis Begrippen Functionele beschrijving Toepassingen in de praktijk Content en beschikbaarheid Stakeholders en toekomstige ontwikkelingen 0 inleiding probleemstelling algemene visie in 1 slide: wat is het? 1 ontstaansgeschiedenis rol van diverse partijen 2 "technische acronymen" SKOS, concept versus term-based linked data, RESTful web services 3 functionele beschrijving en demo API OAI-PMH Dashboard 4 toepassingen in de praktijk Memorix en GTAA-gebruik generieke browser clavas link naar DEN thesaurus-overzicht 5 content en beschikbaarheid (open source, open data) gtaa, aat, ... licenties 6 stakeholders en toekomstige ontwikkeling belangstellende en betrokken partijen thesaurus-editor Beeld en Geluid 7 basis/onderdeel van een (inter)nationaal platform? samenwerkingsverband RCE, Beeld en Geluid, Naturalis

Inleiding

Problemen mbt gebruik van vocabulaires Bouwen en beheren van thesauri is tijdrovend Liever hergebruik Hoe ontdek en evalueer je bestaande thesauri? Je software-tools moeten specifieke thesauri ondersteunen Nog vaak als browsable en doorzoekbare website gepubliceerd Niet als data, niet in standaardvorm Toolbouwers moeten veel maatwerk verrichten

OpenSKOS visie: een marktplaats voor SKOS vocabulaires Iedere knoop implementeert: Upload module RESTful API (autocomplete, find, CRUD) Linked Data toegang OAI-PMH data provider enharvester Editor voor management en curatie

OpenSKOS = SKOS formaat + Peer to peer architectuur + RESTful API + Linked Data + Publicatie dmv upload en OAI-PMH + Management mbv Interactief Dashboard + Ondersteuning voor alignment + Stimuleren van open database licenses Vocabulaire curatie mbv ingebouwde Editor

Voordelen aanbieders Anderen je vocabulaires aanbieden kan met een simpele upload actie Of via een eigen OpenSKOS instantie, of via OAI-PMH Het is mogelijk je eigen vocabulaire te gebruiken in andermans tools (al dan niet commercieel), als die tools OpenSKOS aanspreken Vocabulaires kunnen makkelijk en frequent door de bouwer/beheerder worden ge-update, zonder tussenkomst van derden Contextualiseren: et is eenvoudig concepten uit je eigen vocabulaires te koppelen aan andere vocabulaires

Nieuwe mogelijkheden tot browsen en zoeken Voordelen gebruikers Het is eenvoudig om vocabulaires te ontdekken, evalueren en te gebruiken Minder noodzaak ze zelf te construeren Nieuwe mogelijkheden tot browsen en zoeken In vocabulaires, in collectie-beschrijvingen Altijd up-to-date versies van vocabulaires beschikbaar

Voordelen toolbouwers Geen maatwerk per vocabulaire meer nodig, geen periodieke updates door te voeren Kunnen profiteren van werk van andere toolbouwers en vocabulaire-aanbieders Kunnen OpenSKOS gebruiken voor een reeks van nieuwe use cases

Ontstaansgeschiedenis

Eerste CATCHPlus versie Jarenlang stabiel gedraaid en toegepast voor gebruik Beeld en Geluid thesaurus door Nationaal Archief (via Pictura’s Memorix tool) Gedurende half jaar intensief overlegd door CATCHPlus, RCE, Adlib, Pictura, Trezorix Op initiatief van en gehost door RCE Doel: elkaars tools en omgevingen op elkaar aansluiten mbt vocabulaires/kennisstructuren Uitkomst: architectuur-concept en REST API specificatie OpenSKOS implementatie (door Picturae) is conform de uitkomsten van dit overleg OpenSKOS Editor toegevoegd in opdracht van Beeld en Geluid

Begrippen

SKOS, een ultrakorte primer SKOS kennisstructuren bestaan uit Concepten, onderverdeeld in ConceptSchemes Concepten hebben een URL ter identificatie Concepten hebben labels in 1 of meer talen Concepten kunnen worden gedocumenteerd met ‘notes’ Concepten hebben onderling semantische relaties broader, narrower, related OpenSKOS onderscheidt daarnaast nog Collections en Institutions

Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries. Korte SKOS recapitulatie: Links: termgebaseerd Rechts: conceptgebaseerd (waarbij de termen labels zijn, gekoppeld aan concepten) Term-> prefLabel Used for -> altLabel Broader, narrower term -> broader, narrower concept etc

SKOS en Linked Data Concepten kunnen over grenzen van ConceptSchemes worden gelinkt exactMatch, closeMatch, broadMatch, narrowMatch, relatedMatch Mits een Concept een stabiele, resolvable http URI heeft kan er naar gelinkt worden Concepten kunnen zelf linken naar (Linked Open Data op) het web

Voor- en nadelen Standardisatie Eenvoudig en generiek data-model Web-gebaseerd Concept- versus term-gebaseerd Omvat ‘alignment’ Echter Bij transformatie gaat semantiek verloren Data deels niet op SKOS te mappen

RESTful web services Web service: RESTful: Software die interactie tussen machines over het web mogelijk maakt (“protocol mbt vragen en antwoorden”) RESTful: Gebruikt standaard protocollen van world wide web (http) Beschrijft resultaten zoveel mogelijk als (online) ‘resources’ Aan te roepen via gewone URLs In principe eenvoudig in gebruik en schaalbaar Voor gebruik vanuit software Dus primair voor gebruik door programmeurs Linked Data is een specifieke instantie van een RESTful web service

Functionele beschrijving

OpenSKOS Editor Upload module Interactieve management functies RESTful API OAI-PMH data provider en harvester

Stel, ik zoek een thesaurus om molens te beschrijven, of medicijnen, of krantenberichten, of … Dan kan ik naar openskos.org, waarop allerlei thesauri beschikbaar worden gemaakt

dan wil ik informatie over zo’n thesaurus en ik wil er online in browsen en zoeken

Stel, ik wil mijn thesaurus online opbouwen en beheren, eventueel met andere instellingen samen Dan kan ik de OpenSKOS Editor gebruiken, gebouwd voor Beeld en Geluid, als onderdeel van OpenSKOS

Stel, ik heb een thesaurus(-update) en wil die aanbieden aan de wereld of aan mijn partner-instelling, die een commerciële tool gebruikt (bv Memorix van Picturae), of een wetenschappelijke (bv Arbil uit CLARIN) Dan kan ik eenvoudig uploaden mbv OpenSKOS

Stel, ik wil een OpenSKOS node beheren, dan heb ik interactieve beheerfuncties ter beschikking

CRUD (create, retrieve, update, delete) Institutions Collections RESTful API Concept resolve API Find API Autocomplete CRUD (create, retrieve, update, delete) Institutions Collections Naar aanleiding van uitgebreide, gezamenlijk geprioriteerde lijst van use cases Lucene Query Parser Syntax Sommige endpoints: GET, PUT, POST, DELETE: lezen en schrijven

API voorbeelden Concept resolve { "tenant": "meertens", "collection": 4, .. "uri": "http://openskos.meertens.knaw.nl/Organisations/3ffbdaf6-d07f-4f04-8ea9-aba0c2749670", "uuid": "d921f9f9-f759-475a-cb9d-5f1dcfa00b49", "class": "Concept", "prefLabel@en": [ "UiL-OTS, Utrecht University" ], "LexicalLabels@en": [ "UiL-OTS, Utrecht University", "altLabel@en": [ "broader": [ "http://openskos.meertens.knaw.nl/Organisations/78d67e6a-0a2a-4ba3-8757-146eaf7fed7d" "SemanticRelations": [ "inScheme": [ "http://openskos.meertens.knaw.nl/Organisations" "xmlns": [ "rdf", "skos" "notation": [ "108950" ] } API voorbeelden Concept resolve api/concept?id=http://openskos.meertens.knaw.nl/Organisations/78d67e6a-0a2a-4ba3-8757-146eaf7fed7d&format=html RDF, JSON of html <rdf:RDF> <rdf:Description rdf:about="http://openskos.meertens.knaw.nl/Organisations/3f..70"> <rdf:type rdf:resource="http://www.w3.org/2004/02/skos/core#Concept"/> <skos:prefLabel xml:lang="en">UiL-OTS, Utrecht University</skos:prefLabel> <skos:altLabel xml:lang="en">UiL-OTS, Utrecht University</skos:altLabel> <skos:broader rdf:resource="http://openskos.meertens.knaw.nl/Organisations/78..7d"/ <skos:inScheme rdf:resource="http://openskos.meertens.knaw.nl/Organisations"/> </rdf:Description> </rdf:RDF>

API voorbeelden Find API api/find-concepts?q=crisis&format=rdf {"response": { "numFound": 4, "start": 0, "docs": [ … { "scopeNote": [ "veldrijder" ], "prefLabel": [ "Rutte, Marcel" "xmlns": [ "rdf", "skos", "dcterms" ] }, "minister-president VVD, fractievoorzitter VVD Tweede Kamer, staatssecretaris OCW en Sociale Zaken, voorzitter JOVD" "Rutte, Mark" } API voorbeelden Find API api/find-concepts?q=crisis&format=rdf api/find-concepts?q=crisis+collection:4&format=json api/find-concepts?q=crisis+tenant:rkd&format=json api/find-concepts?q=prefLabelText:rutte+collection:4+inScheme:http*Persoonsnamen&format=json&fl=prefLabel,scopeNote

API voorbeelden Autocomplete API api/autocomplete/politi?returnLabel=prefLabel api/autocomplete/speelf?returnLabel=prefLabel

Institutions, Collections API API voorbeelden Institutions, Collections API in RDF: /api/institutions in HTML: /api/institutions?format=html /api/collections/beng:gtaa.html

OAI-PMH voorbeelden

Toepassingen in de praktijk

OpenSKOS instanties Instantie(s) tbv intern gebruik, publicatie en beheer van de GTAA thesaurus van Beeld en Geluid Ongeveer 8 instanties tbv (internationale) klanten van Picturae Meertens instantie tbv CLARIN-NL CLAVAS project Experimentele instantie tbv CLARIN-EU bij Institute for Corpus Linguistics and Text Technology, Wenen Tbv thesaurus-constructie bij Cologne Center for eHumanities Test-installatie bij Europeana ihkv 1914-1918 project

Client tools OpenSKOS editor zelf Memorix (Picturae) Gepland: Arbil (CMDI metadata editor, CLARIN)

Content en beschikbaarheid

Vocabulaires GTAA (Beeld en Geluid) AAT-NED (RKD) Library of Congress Subject Headings CLAVAS ISO 639-3 language codes ISOcat metadata profile Organisatie-namen Getest met enkele andere bestaande SKOS thesauri Getest met versie van Thesaurus Nationaal Farmaceutisch Museum ?? Overkoepelende registry ontbreekt nog

Beschikbaarheid Broncode is onder Open source licentie en online beschikbaar (GitHub) Open Database licenties en Creative Commons aanbevolen We promoten vrij gebruik van services M.u.v. schrijf-acties via API en Editor, en management functies Iedereen kan eigen instantie van OpenSKOS draaien Picturae biedt 10 jaar hosting van OpenSKOS aan ihkv CATCHPlus contract

Stakeholders en toekomstige ontwikkelingen

Beeld en Geluid CLARIN-NL/Clavas, CLARIN-EU DARIAH (Task Force Reference Data and Controlled Vocabularies) Meertens Instituut Nationaal Archief Picturae RCE RKD Digitale Collectie NL (Europeana aggregator) Europeana ??

(Mogelijke) toepassingen in concrete projecten Toekomst (Mogelijke) toepassingen in concrete projecten OpenSKOS community in oprichting (werkgroep: Meertens, Picturae, Digitale Collectie NL, Beeld en Geluid, Europeana) Functionele wensen Vrij browsen en zoeken voor iedereen ‘discovery’ van thesauri Uitbouwen gedistribueerde opzet

Hartelijk dank. ???