Vertrouwen van een onderzoeker in semantisch zoekresultaat

Presentatie over: "Vertrouwen van een onderzoeker in semantisch zoekresultaat"— Transcript van de presentatie:

1 Vertrouwen van een onderzoeker in semantisch zoekresultaat
Kwestie van adequaat of transparant systeem?

2 Overzicht Context Probleemstelling Doelstelling Vraagstelling
Uitwerking Spanningsveld Vragen Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

3 Context PBL : Planbureau voor de leefomgeving Onderzoeker
Exploratieve vraag Semantisch kennisexploratiesysteem Zoekdomein PBL Het PBL is het nationale instituut voor strategische beleidsanalyses op het gebied van milieu, natuur en ruimte. PBL onderzoek heeft een interdisciplinair karakter en heeft betrekking op verschillende ruimtelijke schalen, van stadswijk tot mondiaal. Bij vakgebieden hoort vaak een eigen vocabulaire. Eenzelfde concept kan met andere termen omschreven worden en gerelateerde concepten verschillen per vakgebied. Een onderzoek op lokaal niveau zal meer gedetailleerde concepten gebruiken in vergelijking met een mondiaal onderzoek met een hoog aggregatieniveau. Onderzoeker Het zoeken naar en vinden van informatie in de eigen annalen, de beleidswereld, de wetenschappelijke wereld en de maatschappij is een belangrijk element in het werk van een PBL onderzoeker. Exploratieve vraag: Vraag die niet beantwoord wordt door één passend antwoord, maar door een verzameling van mogelijk interessante resultaten over een bepaald concept. Definitie Semantische kennisexploratiesysteem Onder semantische kennisexploratiesysteem versta ik een zoeksysteem: waar de zoekruimte (intranet, extranet, internet) instelbaar is; het zoekalgoritme naast een keyword search gebruik maakt van een of meer ontologieën; er gebruik gemaakt wordt van automatische annotatie in de zoekruimte. Het zoekresultaat bestaat uit een verzameling tripels. Het systeem biedt mogelijkheden om het zoekresultaat te exploreren. Zoekdomein: de bronnen voor informatie retrieval. Belangrijke aspecten zijn schaal ( internet, extranet, intranet), het type bron (websites, databases, opslagmedia, , …) en de formaten ( html, pdf, docx,…) Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

4 Probleemstelling Wat is de kwaliteit van een zoekresultaat. Wat bepaalt het vertrouwen van een onderzoeker in het resultaat dat zij terugkrijgt op een zoekopdracht binnen een zoekdomein. Neemt het vertrouwen toe door: transparantie naar het systeem adequaatheid van het systeem Werkdefinitie concept vertrouwen in informatiesystemen Vertrouwen is een complex concept. Het is een relatie met aan de ene kant de gebruiker met haar doel (taak), behoefte en kennis en aan de andere kant het systeem met zijn doel, gebruiksmogelijkheden en gebruikswijze. In de context van dit onderzoek is de gebruiker een onderzoeker en het informatiesysteem een semantisch kennisexploratiesysteem. Factoren bij vertrouwen zijn onder meer: Transparantie naar het systeem; Controle over het systeem: in hoeverre kan de gebruiker het systeem manipuleren in de richting van haar behoefte en Adequaatheid: voldoet het systeem aan de behoefte van de onderzoeker. Definitie transparantie Onder transparantie wordt in dit onderzoek verstaan het inzicht in de werking en de keuzes van het systeem. Hoe komt het systeem van de input naar de output. Definitie adequaatheid Een systeem is adequaat als het geschikt is voor het beoogde gebruik, in het Engels komt het overeen met de term "fitness for use". Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

5 Doelstelling Doel van het onderzoek is:
inzicht te krijgen in wat bepalend is voor de kwaliteit van zoekresultaat voor een onderzoeker met een kennisvraag, in hoeverre draagt transparantie en/of adequaatheid bij aan vertrouwen op basis van bovenstaande aanbevelingen te doen voor de uitwerking van de presentatie van zoekresultaat uit een semantisch kennisexploratiesysteem in een onderzoeksinstituut. Het onderzoek richt zich op de relatie van gebruikers en informatiesystemen, in het bijzonder PBL onderzoekers met een exploratieve kennisvraag en de presentatie van zoekresultaat van een semantisch kennisexploratiesysteem. Hoe beïnvloedt de inhoudelijke functionaliteit van het systeem het vertrouwen van de onderzoeker Met zoekresultaat bedoel ik de totale resultaat verzameling gegenereerd door een semantisch kennisexploratiesysteem, typisch getoond met een faceted browser interface. Met inhoudelijke functionaliteit bedoel ik dat wat het systeem toont en tot welk type informatie het systeem toegang geeft. Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

6 Vraagstelling Wat zijn voor een onderzoeker de factoren die spelen bij het vertrouwen in een zoekresultaat uit een semantisch kennisexploratiesysteem? Heeft transparantie invloed van op het vertrouwen in een semantisch kennisexploratiesysteem? Heeft adequaatheid invloed van op het vertrouwen in een semantisch kennisexploratiesysteem? Hoe verhouden transparantie en adequaatheid zich tot elkaar in relatie met het vertrouwen? Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

7 Uitwerking Capita selecta Literatuurstudie Vooronderzoek
Opstellen conceptueel model voor vertrouwen - Het construeren van een semantisch kennisexploratiesysteem Uitvoeren van een experiment Analyse van de resultaten uit het experiment - Literatuurstudie: wat is de huidige stand van de wetenschap voor de beschrijvende vragen - Vooronderzoek: Plegen van een vooronderzoek door een bijeenkomst te organiseren met een aantal onderzoekers, waarin aan de hand van een aantal voorbeeldvragen geprobeerd wordt de factoren te achterhalen die een rol spelen in vertrouwen. - Het verwerken van de resultaten uit de literatuurstudie het vooronderzoek in een conceptueel model voor vertrouwen, dat gebruikt kan worden bij het onderzoek experiment. - Het construeren van een semantisch kennisexploratiesysteem op basis van (i) bestaande aan elkaar gerelateerde SKOS ontologieën; (ii) IR componenten en (iii) bestaande methode. Dit zoeksysteem moet het mogelijk maken op een voor-gedefinieerde zoekvraag een resultaat verzameling te genereren, die de basis vormen voor de user-interfaces Uitvoeren van een experiment, , deels kwantitatief-deels kwalitatief. In het experiment voeren PBL onderzoekers een test uit met user-interfaces naar semantische zoekresultaten uit het PBL domein. Doel van het experiment is de invloed te bepalen van: transparantie op het vertrouwen in het zoekresultaat; adequaatheid op het vertrouwen in het zoekresultaat; de combinatie van transparantie en adequaatheid. In het experiment worden de volgende controle variabelen opgenomen: expertise op het kennisdomein van het zoekresultaat; verwachting ten aanzien van het resultaat; aantal jaren onderzoekservaring; type onderzoeksgebied; ervaring met software, in het bijzonder zoeksystemen; geslacht en leeftijd. Analyse van de resultaten uit het experiment en deze verwerken tot bevindingen en aanbevelingen. Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

8 Semantic search system
Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

9 Basis datamodel voor de browse interfaces
Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

10 Spanningsveld Onderzoek voorstel PBL Weten-schap Ik zelf OU OU
Begeleider LLoyd met expertise, interesse (interfaces, HCI) Voorzitter Stef Joosten Wetenschap: de wetenschappelijke relevantie, wat is een onderzoeksvraag, die iets toevoegt. Wat is de stand, wat is er al gedaan. PBL: context voor onderzoek, met eigenbelang, en de onderzoekers, Voor een bevredigend experiment is het noodzakelijk dat er een realistische browse ervaring kan worden geboden. Ikzelf: interese in semantiche technologie, informatiesystemen Ik zelf OU Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12

11 Vragen Van mij aan jullie Van jullie aan mij Vooral de haalbaarheid
?????? Rineke Oostenrijk, afstudeer bijeenkomst 7/8/12