De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Eric sieverts Opleiding Media, Informatie & Communicatie Hogeschool van Amsterdam Universiteitsbibliotheek Utrecht sector Innovatie & Ontwikkeling retrieval.

Verwante presentaties


Presentatie over: "Eric sieverts Opleiding Media, Informatie & Communicatie Hogeschool van Amsterdam Universiteitsbibliotheek Utrecht sector Innovatie & Ontwikkeling retrieval."— Transcript van de presentatie:

1 eric sieverts Opleiding Media, Informatie & Communicatie Hogeschool van Amsterdam Universiteitsbibliotheek Utrecht sector Innovatie & Ontwikkeling retrieval en ontsluiting taaltechnologische aanpak voor zoekproblemen

2 waarin uiten zoekstrategische problemen zich? in variabele mate in uiteenlopende soorten systemen: catalogi, bibliografische databases, full-text bestanden, enterprise search, het web, …. onvoldoende recall  met zoekvraag mis je te veel relevante informatie onvoldoende precisie  zoekvraag levert (te) veel niet-relevante informatie

3 oorzaken voor lage recall (de recall-killers) inherent aan free-text zoeken in documenten: variatie in spelling en woordvorm van gebruikte woorden in tekst staan synoniemen, impliciete aanduidingen, woorden in andere taal, … variëteit aan mogelijke (specifiekere) woorden voor generieke begrippen term-armoede van documenten (catalogus) schuld van de zoeker: verkeerde zoekterm (ongebruikelijk, spelling) te weinig varianten met OR gecombineerd te veel zoek-elementen met AND gecombineerd

4 oorzaken voor lage precisie (de precisie-killers) inherent aan free-text zoeken in documenten : in tekst is geen of onbedoeld verband tussen met AND gecombineerde termen zoekwoorden komen in tekst in andere betekenis voor (homografen, acroniemen, andere taal) term-rijkdom van full-text documenten (laag term-gewicht) schuld van de zoeker : verkeerde zoekterm (te algemeen, betekenis) te weinig zoek-elementen met AND gecombineerd

5 klassieke oplossing : gebruik van: classificatie / taxonomie thesaurus waarom kan dit een oplossing bieden? formaliseert betekenis (homograaf-probleem) kan verwijzen naar gebruikelijke(r) term (vervangend zoeken) kan term-rijkdom uniformeren (dus gelijk term-gewicht; o.a. door diepte-indexering) legt inhoudelijke relaties tussen onderwerpen/termen (generiek zoeken) kan verband leggen tussen facetten van onderwerp (precoordinatie)

6 nadelen van klassieke oplossing gebrek aan flexibiliteit (schrik van de vak-specialist) gebruik van kunstmatige informatietaal (schrik van de ergonoom) duur omdat mensen termen moeten toekennen (schrik van de manager)

7 (taal)technologische alternatieven best-match zoeken met relevantie-ordening truncatie, wordstemming, fuzzy search semantische kennis toevoegen suggereren van betere zoektermen suggereren van aanvullende zoektermen zoekresultaat clusteren in "domeinen/contexten” terugkoppeling van zoekersoordeel

8 relevance ranking factoren 1.meer van de gevraagde termen in een document 2.gevraagde termen op belangrijke plek in document (titel, koppen, eerste paar regels, ….) 3.gevraagde termen komen in document herhaald voor 4.gevraagde termen staan in document dicht bij elkaar 5.termen in document staan in zelfde volgorde als in vraag 6.zeldzame termen krijgen zwaarder gewicht dan algemene 7.hoeveel hyperlinks naar document verwijzen 8.hoe vaak een document / site wordt "bezocht" 9.of site/pagina/bericht tot je sociale netwerk hoort 10.… werkt goed op het web, maar ook op een intranet?

9 relevance ranking factoren 1.meer termen 2.termen in titel/kop/begin 3.termen herhaald 4.termen dicht bij elkaar 5.termen in volgorde 6.zeldzame termen zwaarder 7.hyperlinks naar document 8.bezoek aan document 9.in sociale netwerk  meer concepten ge-AND  hoger term-gewicht  juiste verband  belang specifieke term  (kwaliteit) [alleen als er links zijn]  (kwaliteit)  (context) [alleen op open web]

10 relevance ranking factoren 1.meer van de gevraagde termen in een document 2.gevraagde termen op belangrijke plek in document (titel, koppen, eerste paar regels, …) 3.gevraagde termen komen in document herhaald voor 4.gevraagde termen staan in document dicht bij elkaar 5.termen in document staan in zelfde volgorde als in vraag 6.zeldzame termen krijgen zwaarder gewicht dan algemene 7.hoeveel hyperlinks naar document verwijzen 8.hoe vaak een document / site wordt "bezocht" 9.of site/pagina/bericht tot je sociale netwerk hoort allemaal gericht op hogere relevantie voor "de eerste tien", dus op precisie

11 truncatie / word-stemming / fuzzy trunceren computer   computeronderwijs stemming computer  computing, computation, computed, computers communism  community, communication ?? sieverts  sievert?? fuzzy duivendak  duijvendak, duyvendak serajevo  sarajevo, serajewo medvedev  medvediev, medwedew, … kok  kop, kak,... ??

12 trunceren computer   computeronderwijs stemming computer  computing, computation, computed, computers communism  community, communication ?? sieverts  sievert?? fuzzy duivendak  duijvendak, duyvendak serajevo  sarajevo, serajewo medvedev  medvediev, medwedew, … kok  kop, kak,... ?? truncatie / stemming / fuzzy compenseert variatie in woordvorm & spelling  betere recall maar pas op voor ongewenste effecten !!

13 semantische kennis voorbeeld: retrievalware van convera twenty-one van irion in semantisch netwerk worden betekenissen van woorden vastgelegd (hele woordenboek) & worden betekenisrelaties gelegd tussen inhoudelijk verwante woorden (in één of meer talen) door omgeving van woord in het netwerk kan betekenis worden onderscheiden (in document en in query) omgeving van woord in het netwerk kan termen leveren om query mee te expanderen (woorden binnen bepaalde "semantische afstand" van zoekwoord)

14 visualisatie van “wordnet”

15 bepaalde gewenste betekenissen van zoekterm geselecteerd

16

17

18 in semantisch netwerk worden betekenissen van woorden vastgelegd (hele woordenboek) & worden betekenisrelaties gelegd tussen inhoudelijk verwante woorden (in één of meer talen) –door omgeving van woord in het netwerk kan betekenis worden onderscheiden (in document en in query) –omgeving van woord in het netwerk kan termen leveren om query mee te expanderen (woorden binnen bepaalde "semantische afstand" van zoekwoord ) semantische kennis verbeteren van precisie verbeteren van recall maar semantisch netwerk voor specialistisch domein moet je zelf nog bouwen/aanvullen

19 termen verbeteren computer suggereert iets afwijkende term door fuzzy-search in woordenboek door fuzzy search in eigen index >> term die (veel) meer oplevert door generieke kennis van vaak gemaakte tikfouten bijv.: Google (did you mean …)

20

21 termen verbeteren computer suggereert iets afwijkende term door fuzzy-search in woordenboek door fuzzy search in eigen index naar term die (veel) meer oplevert door generieke kennis van vaak gemaakte tikfouten bijv.: Google (did you mean …) verbetert recall

22 aanvullende termen extraheren computer haalt karakteristieke (andere) woorden/begrippen uit eerste N documenten van zoekresultaat (statistiek - tf  idf) gebruiker kiest daaruit termen om zoekactie in te perken (soms ook termen uit te sluiten, of juist resultaat met OR uit te breiden) bijv.: Quintura (frontend voor Yahoo) Scirus database van Elsevier Aquabrowser (o.a. bij bibliotheek.nl)

23

24

25

26

27

28 AND

29 zelf in OR te veranderen !

30 wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen ook “faceted” zoeken, waarbij zoekresultaat al wordt opgedeeld aan de hand van daarin aanwezige "geformaliseerde metadata"

31 ook “faceted” zoeken, waarbij zoekresultaat wordt opgedeeld aan de hand van daarin aanwezige "geformaliseerde metadata"

32

33 computer haalt karakteristieke (andere) woorden/begrippen uit eerste N documenten van zoekresultaat (statistiek - tf  idf) gebruiker kiest daaruit termen om zoekactie in te perken (soms ook termen uit te sluiten, of juist resultaat met OR uit te breiden) bijv.: Quintura (frontend voor Yahoo) Scirus database van Elsevier aquabrowser (o.a. bij bibliotheek.nl) aanvullende termen extraheren inperken op juiste betekenis of context  betere precisie uitbreiden met meer “synoniemen”  verbetert recall

34 automatisch clusteren/classificeren op grond van kennisregels (en bestaande “taxonomie”) in feite toepassing automatische classificatie, waarbij klassen als verdelingscriterium dienen op grond van statistiek of patronen –Clusty/Yippy, Polymeta, …. –Autonomy

35 custom search folders

36 toekenning document aan taxonomy-term gebaseerd op rules base, zoals bijvoorbeeld bij product van Verity

37

38

39 automatisch clusteren/classificeren op grond van kennisregels (en bestaande “taxonomie”) in feite toepassing automatische classificatie, waarbij klassen als verdelingscriterium dienen op grond van statistiek of patronen –Clusty/Yippy, Collarity –Autonomy kiezen van juiste betekenis of context  betere precisie werkt niet gegarandeerd altijd goed

40 terugkoppeling gebruiker klikt bij relevante hit op “more like this” computer zoekt op grond van daarin aanwezige termen of patronen naar daarop lijkende documenten bijv.:Scirus, GoogleScirus SimilarPages (Firefox Add-on) Autonomy gebruiker markeert relevante hits zoektermen of patronen die in die documenten voorkomen krijgen hoger gewicht → bij toekomstige zoekacties krijgen documenten met die termen of patronen een hogere berekende relevantie bijv.: Autonomy en ook personal Google?

41 max havelaar keurmerk product max havelaar - het boek

42

43 gelijkenis-“patronen” bij Google goede site site 1site 2site 3site 4site 5site 6site 7site 8site 9 hyperlinks similar site similar site similar site similar site similar site similar site similar site

44 "similar pages" add-on gebruikt combinatie van content en link-structuur maar: "similar pages" blijkt dus geen "pages" maar "sites" te vergelijken

45

46 terugkoppeling gebruiker klikt bij relevante hit op “more like this” computer zoekt op grond van daarin aanwezige termen of patronen naar daarop lijkende documenten bijv.:Scirus, Google Similar_Pages (Firefox Add-on) Autonomy gebruiker markeert relevante hits zoektermen of patronen die in die documenten voorkomen krijgen hoger gewicht → bij toekomstige zoekacties krijgen documenten met die termen of patronen een hogere berekende relevantie bijv.: Autonomy en ook personal Google? kiezen van juiste betekenis of context (door gelijkenis of door personalisatie van relevance ranking)  betere precisie

47 precisie-verbeterend relevance ranking automatisch onderscheiden van context/betekenis statistiek (clusty, quintura, scirus)automatisch kennisregels + mens-gedefinieerde categorieën (northernlight, verity) half-automatisch woordrelaties in semantisch netwerk half-automatisch “more-like-this” vanuit document in goede context (scirus, google)automatisch

48 recall-verbeterend meenemen van woordvarianten word-stemming (pas op: taalafhankelijk)automatisch fuzzy searchautomatisch did-you-meanautomatisch toevoegen van andere termen statistiek (scirus)automatisch semantisch netwerk half-automatisch synoniemenlijst half-automatisch

49

50


Download ppt "Eric sieverts Opleiding Media, Informatie & Communicatie Hogeschool van Amsterdam Universiteitsbibliotheek Utrecht sector Innovatie & Ontwikkeling retrieval."

Verwante presentaties


Ads door Google