De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Een zoeksysteem voor de eigen organisatie: een praktische introductie tot de technologie en het keuzetraject Eric Sieverts Universiteitsbibliotheek Utrecht&

Verwante presentaties


Presentatie over: "Een zoeksysteem voor de eigen organisatie: een praktische introductie tot de technologie en het keuzetraject Eric Sieverts Universiteitsbibliotheek Utrecht&"— Transcript van de presentatie:

1 Een zoeksysteem voor de eigen organisatie: een praktische introductie tot de technologie en het keuzetraject Eric Sieverts Universiteitsbibliotheek Utrecht& Instituut voor Media- en Informatie Management (Hogeschool van Amsterdam) Boyd Hendriks Informatieland& TFPL ook met medewerking van: Frank HofstedeSearch Expertise Centrum PvE longlist con tent RFIshortlist PoCtest RfQ keuze

2 1.de meeste organisaties beschikken over grote hoeveelheden aan (digitale) informatie die van levensbelang is voor primair proces en kernactiviteiten van de organisatie (open deur?) © eric sieverts PvE longlist con tent RFIshortlist PoCtest RfQ keuze het waarom

3 maar die "content" is niet altijd even toegankelijk voor alle medewerkers die er baat bij zouden hebben

4 2.het google -effect –mede dankzij Google is "zoeken" een alomtegenwoordige voorziening geworden –daardoor verwachtingspatroon dat er altijd een zoekvenster zal zijn (the ubiquitous search box) en dat alles te vinden is (ambient findability) –dankzij Google daarbij als randvoorwaarden een even simpel interface als Google even makkelijk relevante resultaten te krijgen als met Google © eric sieverts PvE longlist con tent RFIshortlist PoCtest RfQ keuze het waarom

5 het is maar de vraag of aan zulke hooggespannen verwachtingen altijd makkelijk kan worden voldaan –een intranet is geen internet –wat op internet werkt (methoden van relevance ranking) hoeft op een intranet nog niet te werken –eisen aan relevantie en volledigheid van zoekresultaten zijn in een werkomgeving anders dan in een consumenten-omgeving © eric sieverts PvE longlist con tent RFIshortlist PoCtest RfQ keuze het waarom

6 uit onderzoek van de Delphi Group (april 2006) : –34% van medewerkers zoekt > 6 uur/week –42% van medewerkers besteedt > 40% van die tijd aan doorploegen van irrelevante informatie –67% heeft geen zoekfunctie of heeft vaak vind-problemen; maar 3% zegt: "intranet search is great" –52% is ontevreden met "search experience" daarom uitdaging voor elke organisaties te zorgen voor: –kwaliteit van het zoekinterface van de organisatie –kwaliteit van de "user experience" © eric sieverts PvE longlist con tent RFIshortlist PoCtest RfQ keuze het waarom

7 belangrijke trend bij zoeken is op dit moment "integratie" –integratie intranet  desktop –integratie intranet  internet –integratie desktop activiteiten  search © eric sieverts PvE longlist con tent RFIshortlist PoCtest RfQ keuze trend

8 PvE longlist con tent RFI shortlist PoCtest RfQ keuze doel groep programma van eisen request for information proof of concept request for quotation algemeen schema voor keuzetraject = handvat voor verloop van workshop

9 zoekmachine-software is zelden kant-en-klaar product, dat gekozen kan worden op basis van een paar productspecificaties en in standaard-configuratie kan worden geïmplementeerd het is "tool", waarbij meestal veel kan worden aangepast aan specifieke eisen van te doorzoeken informatie, aan soort(en) gebruikers en aan gewenste soort toepassing onder die omstandigheden is een gefundeerde keuze niet snel even te maken alleen weten managers dat niet altijd PvE longlist con tent RFIshortlist PoCtest RfQ keuze waarom zo complex? © eric sieverts

10 PvE longlist con tent RFIshortlist PoCtest RfQ keuze elke organisatie heeft te doorzoeken content –eigen digitaal geproduceerd materiaal –gedigitaliseerd materiaal –ontvangen/aangeschaft digitaal materiaal –.... dat materiaal kan allerlei vormen hebben –word-files –pdf –webpagina's –.... content als beginpunt © eric sieverts

11 PvE longlist con tent RFIshortlist PoCtest RfQ keuze de aard van de content (naar inhoud en naar -technische- vorm) is een belangrijke bepalende factor voor : –hoe je er in wilt (en kunt) zoeken –dus: welke functionele en technische eisen gesteld moeten worden –dus: welke zoeksoftware het meest geschikt is –en hoe die software geconfigureerd moet worden content als beginpunt © eric sieverts

12 PvE longlist con tent RFIshortlist PoCtest RfQ keuze daarom eerst een inventarisatie: wat moet bij u doorzoekbaar worden gemaakt? –(inhoudelijke) aard van het materiaal –gestructureerd in velden of niet? –(ook) metadata aanwezig? –full-text = "veel" tekst? –technische specificaties (pdf, word, html, xml,....) content als beginpunt © eric sieverts

13 daarom eerst een inventarisatie: wat moet bij u doorzoekbaar worden gemaakt?

14 wat daar allemaal onder kan vallen –puur functionele eisen –puur technische eisen –organisatorische & leveranciers-eisen –ook al gedetailleerde eisen hoe het er voor de gebruiker moet uitzien? PvE longlist con tent RFIshortlist PoCtest RfQ keuze een programma van eisen © eric sieverts

15 een paar soorten technische eisen (vanuit ICT-afd.) –operating system en hardware –documentatie en ondersteuning –gebruik van standaards en protocollen –toegankelijkheid en connectivity voor/met andere systemen –ontwikkel-tools –toegang & beveiliging –performance –analyse, monitoring & tuning –out-of-the-box vs. configureerbaarheid –gemak van aanpasbaarheid gebruikersinterface PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

16 geheel naar eigen wensen aanpasbaar gebruikersinterface vaak belangrijk –om aan te kunnen passen aan specifieke doelgroep –om aan te kunnen passen aan specifiek type content –om te kunnen aansluiten bij bepaalde uitgangspunten van de organisatie (huisstijl, eenvoud, …) –om geen problemen te ondervinden in geval van "voortschrijdend inzicht" PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

17 voorbeeld: Interface van Utrechts Omega-systeem heeft in eerste versie met nieuwe zoekmachine exact zelfde uiterlijk als het had met vorige zoekmachinesoftware

18

19

20 met zelfde content en techniek kan 2 de versie een heel nieuw interface krijgen

21 eisen aan de leverancier e.d. –betrouwbaarheid en continuiteit –ondersteuning en documentatie –gebruikerstraining –licentie- en tarief-structuur –andere gebruikers PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

22 categorieën functionele eisen –indexering –spider –retrieval zoekfuncties presentatie van zoekresultaat feedback mechanismen en vraagverbetering –personalisatie en attenderingsdiensten –…. PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

23 zijn alle eisen altijd even belangrijk? als elke eis "hard" is, houd je geen keuze over! oplossing: –geef van elke eis de "status" aan: maak onderscheid tussen "must have" en "nice to have" –nuanceer "nice to have" met gewichtsfactoren –zo kun je afweging van producten "meetbaar" maken –maar: verlies je niet in pseudo-kwantificeerbaarheid PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

24 bijdrage van Boyd Hendriks PvE longlist con tent RFIshortlist PoCtest RfQ keuze © eric sieverts

25 opdracht: stel een programma van eisen op, voor een zoeksysteem voor uw eigen organisatie –voor een intranet met documenten en materiaal van de eigen organisatie, of –voor elders digitaal ingekochte content doe dit per groepje met gelijksoortige interesse geef bij elke eis een indicatie van het belang ervan PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

26 wat elementen voor in uw programma van eisen: –te indexeren documenttypes –ondersteuning van veldstructuur –"spider" voor (externe) webpagina's –toe te passen zoektechniek (booleaans, best-match,....) –aan te bieden zoekfuncties (velden, truncatie, fuzzy,....) –hulp bij vraagverbetering –aanpasbaarheid van interface –personalisatie PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

27 functionele eisen - indexering / zoeken veel zoekmogelijkheden worden bepaald door de wijze waarop te doorzoeken gegevens worden geïndexeerd eisen dienen niettemin vooral aan de zoekmogelijkheden te worden gesteld, want het is aan de producten om op een slimme manier geschikte indexeermethoden in te zetten om de gewenste zoekfunctionaliteiten te realiseren PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

28 functionele eisen - zoekmethode afweging tussen klassiek booleaans combineren (architectuur OR bouwkunst) AND (modern OR hedendaags OR 20ste eeuws) AND (nederland OR holland) en best-match zoeken (met "relevance ranking") "hedendaagse nederlandse architectuur" of [more like this] pas op: wens/verwachting van informatie-professional is niet altijd dezelfde als die van de eindgebruiker PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

29 functionele eisen - zoekmethode –als je "best match" / "probabilistisch" wilt zoeken, moet het dan "all of the terms" of "any of the terms" zijn? –internet met zijn 50 miljard documenten (Google) kiest voor "all of the terms" (impliciet AND) –op intranet met (?) documenten misschien liever kiezen voor "any of the terms" (impliciet OR met ranking) o.a. om zoeker geen resultaten te laten missen denk ook hier aan afweging tussen wens/verwachting/belang van informatie-professional en van eindgebruiker PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

30 functionele eisen voor relevance ranking? –welke aspecten spelen mee bij ranking? hoeveel/welke van de zoekwoorden waar ze voorkomen in document hun onderlinge positie eerder zoekgedrag van de gebruiker documentgewicht –beoordeling hoe goed product dat doet lastig daarvoor objectieve criteria vast te stellen PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

31 functionele eisen - zoekfunctionaliteit –exact phrase –proximity (nog nodig bij goed ranking techniek?) –word stemming (morfologische varianten; aan/uit zetten) –fuzzy zoeken (hoe "erg", welke techniek) –veld-zoeken –filteren (vooraf) / parametric search (achteraf) op geformaliseerde metadata PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

32 functionele eisen - automatische "query expansie" vaak via taalafhankelijke taaltechnologie –klassiek "generiek" zoeken bij thesaurus –woorden met zelfde woordstam (regels / uitzonderingen) –fuzzy-varianten (spelling, sound-alike) –inhoudelijk verwante termen (semantisch netwerk) aandacht voor "acceptatie" door gebruiker: –het moet "goed" werken PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

33 semantisch netwerk

34 functionele eisen voorbeelden van terugkoppeling en vraagverbetering –op basis van allerlei statistiek op vrije tekst (refine) –op basis van geformaliseerde metadata-velden (parametric search) PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

35

36

37 wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen

38 wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen

39

40

41 functionele eisen - presentatie zoekresultaten –terugkoppeling waarop is gezocht –terugkoppeling waarom document is gevonden welke zoektermen aanwezig zijn waar ze in document staan (highlighting, KWIC) –ordening van zoekresultaten relevantie-ordening ordening op ander element (bijv. datum) clustering van zoekresultaat –"winkelwagentje" om resultaten te verzamelen PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

42 functionele eisen - personalisatie –persoonlijke attenderingsprofielen –persoonlijke standaard voorselecties –weging van zoekresultaten op basis van eerdere persoonlijke voorkeuren –persoonlijke "boekenplank" PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

43 functionele eisen - indexering –indexering van gewenste documenttypen (html, word, xml, pdf, rdbms,....) –indexering van velden (xml, field-tags) –specificatie indexeerregels per veld –specificatie indexeerregels per index/deelcollectie –verwerking diacrieten in verschillende codering –toepassing word-stemming –indexeermethode die ranking toestaat PvE longlist con tent RFIshortlist PoCtest RfQ keuze programma van eisen © eric sieverts

44 welke producten komen in principe in aanmerking? samenstellen van een longlist op basis van: –reeds aanwezige kennis –eigen onderzoek websites met productoverzichten, bijvoorbeeld: via rapporten en websites van adviesorganisaties als Gartner of Delphi-group –uitbesteden / expert(s) vragen PvE longlist con tent RFIshortlist PoCtest RfQ keuze marktverkenning © eric sieverts

45 bijdrage van Frank Hofstede over de markt en aanpak bij een RFI PvE longlist con tent RFIshortlist PoCtest RfQ keuze © eric sieverts

46 hoe kom je erachter welke producten uit je longlist (het best) aan je PvE voldoet? –zelf testen (meestal praktisch onmogelijk) –kijken of ander dat al heeft uitgezocht (onwaarschijnlijk) –leveranciers via RFI vragen uit PvE laten beantwoorden (antwoorden kritisch beoordelen)  op basis van essentiële eisen ("must have") en weegfactoren bij de andere eisen ("nice to have") zo goed mogelijk kwantificeren PvE longlist con tent RFIshortlist PoCtest RfQ keuze wat voldoet aan PvE? © eric sieverts

47 de rest van het keuzetraject long list apr autonomy collexis convera eidetica fast fulcrum google inxight irion northernlight verity k2 verity ultraseek programma van eisen request for information request for information PvE longlist con tent RFIshortlist PoCtest RfQ keuze © eric sieverts proof of concept proof of concept short list autonomy irion verity k2

48 van een beperkt aantal best scorende producten (de shortlist) –de RFI-gegevens nog zorgvuldiger analyseren en onduidelijke details daarvan navragen –demonstraties laten geven door leveranciers, op basis van strikte eisen voortkomend uit PvE en RFI –representatieve andere gebruikers bezoeken en bevragen –leveranciers een "proof of concept" laten verzorgen PvE longlist con tent RFIshortlist PoCtest RfQ keuze hoe eindkeuze maken? © eric sieverts

49 leveranciers prototypes laten bouwen op basis van de belangrijkste eisen uit jouw specifieke PvE met daarin jouw eigen materiaal, indien: –PvE heel specifieke eigen wensen bevat –geen standaard-implementatie mogelijk lijkt –het om veel gegevens gaat zodat je goed idee krijgt hoe het met die software gaat werken PvE longlist con tent RFIshortlist PoCtest RfQ keuze proof of concept © eric sieverts

50 in specifieke situatie in Utrecht 3 prototypes –elk met (zelfde) 1 miljoen documenten (10% van collectie) –die moesten voldoen aan belangrijkste functionele eisen uit PvE –gedurende twee weken simultaan uitgeprobeerd en volgens vastgelegd scenario beoordeeld en vergeleken door groep power users (informatiespecialisten die eindgebruikers instrueren en ondersteunen) –nog geen eisen aan gebruikersinterface PvE longlist con tent RFIshortlist PoCtest RfQ keuze proof of concept © eric sieverts

51 uitvoering van de (functionele) test: –testprotocol direct laten aansluiten op PvE –nadruk op zoekfunctionaliteit –ook aandacht voor moeilijk te objectiveren criteria –bijkomend voordeel: creatie van draagvlak voor nieuwe product PvE longlist con tent RFIshortlist PoCtest RfQ keuze proof of concept & test © eric sieverts

52 uitvoering van de (functionele) test: –controle op correcte uitvoering van zoekopdrachten booleaanse combinaties, exacte phrase zoeken op velden (titel, auteur,...) formele inperkingen (datum, deelcollectie,...) –kwaliteit van toegepaste taaltechnologie word stemming fuzzy search eventuele query-expansie –... >>> PvE longlist con tent RFIshortlist PoCtest RfQ keuze proof of concept & test © eric sieverts

53 uitvoering van de (functionele) test: (vervolg) –... –analyse & vergelijking van op zoekresultaat toegepaste relevance ranking hoeveel gevonden relevantie als functie van volgnummer aanwezigheid en plaats van zoektermen PvE longlist con tent RFIshortlist PoCtest RfQ keuze proof of concept & test © eric sieverts

54 proof of concept blijkt lastig geschikt te maken voor gelijksoortige technische test ICT-ers laten onderzoeken: –"toegankelijkheid" van de software voor configureren, implementeren, aanpassen, koppelen door bestudering van documentatie door uitgebreide uitleg door PoC-bouwers –ervaringen van andere gebruikers –wat nog zelf te ontwikkelen? ook hier: creatie van draagvlak PvE longlist con tent RFIshortlist PoCtest RfQ keuze technische test © eric sieverts

55 (vaak parallel aan PoC) "request for quotation" vraagt gedetailleerder prijsopgave dan in RFI was gedaan –voor specifieke situatie (aantal gebruikers, processoren,...) –met eventueel benodigde extra modules –met eventuele op maat gemaakte aanvullingen –inclusief eventuele implementatie, training, support e.d. ook moment voor prijsonderhandelingen –er kan vaak nog wel wat van de prijs af PvE longlist con tent RFIshortlist PoCtest RfQ keuze offertes aanvragen © eric sieverts

56 in uiteindelijke keuze zal vaak meer meespelen dan alleen resultaten van PoC en prijs, zoals: –voorkeuren van ICT-afdeling (ook daar draagvlak) implementeerbaarheid onderhoudbaarheid migreerbaarheid.... –projectmatige realiseerbaarheid van eigen wensen PvE longlist con tent RFIshortlist PoCtest RfQ keuze © eric sieverts

57 hoe zorgvuldig het keuzetraject ook gedaan, wees voorbereid dat bijna elke implementatie nog tegenvallers oplevert –langduriger –complexer –bij 10x zoveel content als in PoC toch traag –.... maar blijf optimistisch PvE longlist con tent RFIshortlist PoCtest RfQ keuze keuze geslaagd? © eric sieverts


Download ppt "Een zoeksysteem voor de eigen organisatie: een praktische introductie tot de technologie en het keuzetraject Eric Sieverts Universiteitsbibliotheek Utrecht&"

Verwante presentaties


Ads door Google