longlist RfQ con tent PvE keuze RFI shortlist PoC test Een zoeksysteem voor de eigen organisatie: een praktische introductie tot de technologie en het keuzetraject Eric Sieverts Universiteitsbibliotheek Utrecht & Instituut voor Media- en Informatie Management (Hogeschool van Amsterdam) Boyd Hendriks Informatieland & TFPL ook met medewerking van: Frank Hofstede Search Expertise Centrum

longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test de meeste organisaties beschikken over grote hoeveelheden aan (digitale) informatie die van levensbelang is voor primair proces en kernactiviteiten van de organisatie (open deur?) © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

maar die "content" is niet altijd even toegankelijk voor alle medewerkers die er baat bij zouden hebben

het waarom het google -effect longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test het google -effect mede dankzij Google is "zoeken" een alomtegenwoordige voorziening geworden daardoor verwachtingspatroon dat er altijd een zoekvenster zal zijn (the ubiquitous search box) en dat alles te vinden is (ambient findability) dankzij Google daarbij als randvoorwaarden een even simpel interface als Google even makkelijk relevante resultaten te krijgen als met Google © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test het is maar de vraag of aan zulke hooggespannen verwachtingen altijd makkelijk kan worden voldaan een intranet is geen internet wat op internet werkt (methoden van relevance ranking) hoeft op een intranet nog niet te werken eisen aan relevantie en volledigheid van zoekresultaten zijn in een werkomgeving anders dan in een consumenten-omgeving © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

het waarom uit onderzoek van de Delphi Group (april 2006): longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test uit onderzoek van de Delphi Group (april 2006): 34% van medewerkers zoekt > 6 uur/week 42% van medewerkers besteedt > 40% van die tijd aan doorploegen van irrelevante informatie 67% heeft geen zoekfunctie of heeft vaak vind-problemen; maar 3% zegt: "intranet search is great" 52% is ontevreden met "search experience" daarom uitdaging voor elke organisaties te zorgen voor: kwaliteit van het zoekinterface van de organisatie kwaliteit van de "user experience" © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

trend "integratie" belangrijke trend bij zoeken is op dit moment longlist RfQ con tent PvE keuze RFI shortlist trend PoC test belangrijke trend bij zoeken is op dit moment "integratie" integratie intranet  desktop integratie intranet  internet integratie desktop activiteiten  search © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

algemeen schema voor keuzetraject = handvat voor verloop van workshop programma van eisen request for information proof of concept doel groep request for quotation longlist RfQ con tent PvE keuze RFI shortlist PoC test algemeen schema voor keuzetraject = handvat voor verloop van workshop

longlist RfQ con tent PvE keuze RFI shortlist waarom zo complex? PoC test zoekmachine-software is zelden kant-en-klaar product, dat gekozen kan worden op basis van een paar productspecificaties en in standaard-configuratie kan worden geïmplementeerd het is "tool", waarbij meestal veel kan worden aangepast aan specifieke eisen van te doorzoeken informatie, aan soort(en) gebruikers en aan gewenste soort toepassing onder die omstandigheden is een gefundeerde keuze niet snel even te maken alleen weten managers dat niet altijd © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

content als beginpunt elke organisatie heeft te doorzoeken content longlist RfQ con tent PvE keuze RFI shortlist content als beginpunt PoC test elke organisatie heeft te doorzoeken content eigen digitaal geproduceerd materiaal gedigitaliseerd materiaal ontvangen/aangeschaft digitaal materiaal .... dat materiaal kan allerlei vormen hebben word-files pdf webpagina's © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

content als beginpunt de aard van de content longlist RfQ con tent PvE keuze RFI shortlist content als beginpunt PoC test de aard van de content (naar inhoud en naar -technische- vorm) is een belangrijke bepalende factor voor : hoe je er in wilt (en kunt) zoeken dus: welke functionele en technische eisen gesteld moeten worden dus: welke zoeksoftware het meest geschikt is en hoe die software geconfigureerd moet worden © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

content als beginpunt daarom eerst een inventarisatie: longlist RfQ con tent PvE keuze RFI shortlist content als beginpunt PoC test daarom eerst een inventarisatie: wat moet bij u doorzoekbaar worden gemaakt? (inhoudelijke) aard van het materiaal gestructureerd in velden of niet? (ook) metadata aanwezig? full-text = "veel" tekst? technische specificaties (pdf, word, html, xml, ....) © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

daarom eerst een inventarisatie: wat moet bij u doorzoekbaar worden gemaakt?

een programma van eisen longlist RfQ con tent PvE keuze RFI shortlist een programma van eisen PoC test wat daar allemaal onder kan vallen puur functionele eisen puur technische eisen organisatorische & leveranciers-eisen ook al gedetailleerde eisen hoe het er voor de gebruiker moet uitzien? © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test een paar soorten technische eisen (vanuit ICT-afd.) operating system en hardware documentatie en ondersteuning gebruik van standaards en protocollen toegankelijkheid en connectivity voor/met andere systemen ontwikkel-tools toegang & beveiliging performance analyse, monitoring & tuning out-of-the-box vs. configureerbaarheid gemak van aanpasbaarheid gebruikersinterface © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test geheel naar eigen wensen aanpasbaar gebruikersinterface vaak belangrijk om aan te kunnen passen aan specifieke doelgroep om aan te kunnen passen aan specifiek type content om te kunnen aansluiten bij bepaalde uitgangspunten van de organisatie (huisstijl, eenvoud, …) om geen problemen te ondervinden in geval van "voortschrijdend inzicht" © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

voorbeeld: Interface van Utrechts Omega-systeem heeft in eerste versie met nieuwe zoekmachine exact zelfde uiterlijk als het had met vorige zoekmachinesoftware

met zelfde content en techniek kan 2de versie een heel nieuw interface krijgen

programma van eisen eisen aan de leverancier e.d. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test eisen aan de leverancier e.d. betrouwbaarheid en continuiteit ondersteuning en documentatie gebruikerstraining licentie- en tarief-structuur andere gebruikers © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen categorieën functionele eisen indexering spider longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test categorieën functionele eisen indexering spider retrieval zoekfuncties presentatie van zoekresultaat feedback mechanismen en vraagverbetering personalisatie en attenderingsdiensten …. © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen zijn alle eisen altijd even belangrijk? longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test zijn alle eisen altijd even belangrijk? als elke eis "hard" is, houd je geen keuze over! oplossing: geef van elke eis de "status" aan: maak onderscheid tussen "must have" en "nice to have" nuanceer "nice to have" met gewichtsfactoren zo kun je afweging van producten "meetbaar" maken maar: verlies je niet in pseudo-kwantificeerbaarheid © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

bijdrage van Boyd Hendriks longlist RfQ con tent PvE keuze RFI shortlist PoC test bijdrage van Boyd Hendriks © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen opdracht: longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test opdracht: stel een programma van eisen op, voor een zoeksysteem voor uw eigen organisatie voor een intranet met documenten en materiaal van de eigen organisatie, of voor elders digitaal ingekochte content doe dit per groepje met gelijksoortige interesse geef bij elke eis een indicatie van het belang ervan © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen wat elementen voor in uw programma van eisen: longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test wat elementen voor in uw programma van eisen: te indexeren documenttypes ondersteuning van veldstructuur "spider" voor (externe) webpagina's toe te passen zoektechniek (booleaans, best-match, ....) aan te bieden zoekfuncties (velden, truncatie, fuzzy, ....) hulp bij vraagverbetering aanpasbaarheid van interface personalisatie © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - indexering / zoeken longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - indexering / zoeken veel zoekmogelijkheden worden bepaald door de wijze waarop te doorzoeken gegevens worden geïndexeerd eisen dienen niettemin vooral aan de zoekmogelijkheden te worden gesteld, want het is aan de producten om op een slimme manier geschikte indexeermethoden in te zetten om de gewenste zoekfunctionaliteiten te realiseren © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - zoekmethode afweging tussen longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - zoekmethode afweging tussen klassiek booleaans combineren (architectuur OR bouwkunst) AND (modern OR hedendaags OR 20ste eeuws) AND (nederland OR holland) en best-match zoeken (met "relevance ranking") "hedendaagse nederlandse architectuur" of [more like this] pas op: wens/verwachting van informatie-professional is niet altijd dezelfde als die van de eindgebruiker © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - zoekmethode longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - zoekmethode als je "best match" / "probabilistisch" wilt zoeken, moet het dan "all of the terms" of "any of the terms" zijn? internet met zijn 50 miljard documenten (Google) kiest voor "all of the terms" (impliciet AND) op intranet met 50.000 (?) documenten misschien liever kiezen voor "any of the terms" (impliciet OR met ranking) o.a. om zoeker geen resultaten te laten missen denk ook hier aan afweging tussen wens/verwachting/belang van informatie-professional en van eindgebruiker © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen voor relevance ranking? longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen voor relevance ranking? welke aspecten spelen mee bij ranking? hoeveel/welke van de zoekwoorden waar ze voorkomen in document hun onderlinge positie eerder zoekgedrag van de gebruiker documentgewicht beoordeling hoe goed product dat doet lastig daarvoor objectieve criteria vast te stellen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - zoekfunctionaliteit longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - zoekfunctionaliteit exact phrase proximity (nog nodig bij goed ranking techniek?) word stemming (morfologische varianten; aan/uit zetten) fuzzy zoeken (hoe "erg", welke techniek) veld-zoeken filteren (vooraf) / parametric search (achteraf) op geformaliseerde metadata © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - automatische "query expansie" longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - automatische "query expansie" vaak via taalafhankelijke taaltechnologie klassiek "generiek" zoeken bij thesaurus woorden met zelfde woordstam (regels / uitzonderingen) fuzzy-varianten (spelling, sound-alike) inhoudelijk verwante termen (semantisch netwerk) aandacht voor "acceptatie" door gebruiker: het moet "goed" werken © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

semantisch netwerk

programma van eisen functionele eisen longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen voorbeelden van terugkoppeling en vraagverbetering op basis van allerlei statistiek op vrije tekst (refine) op basis van geformaliseerde metadata-velden (parametric search) © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen

wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen

programma van eisen functionele eisen - presentatie zoekresultaten longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - presentatie zoekresultaten terugkoppeling waarop is gezocht terugkoppeling waarom document is gevonden welke zoektermen aanwezig zijn waar ze in document staan (highlighting, KWIC) ordening van zoekresultaten relevantie-ordening ordening op ander element (bijv. datum) clustering van zoekresultaat "winkelwagentje" om resultaten te verzamelen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - personalisatie longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - personalisatie persoonlijke attenderingsprofielen persoonlijke standaard voorselecties weging van zoekresultaten op basis van eerdere persoonlijke voorkeuren persoonlijke "boekenplank" © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

programma van eisen functionele eisen - indexering longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - indexering indexering van gewenste documenttypen (html, word, xml, pdf, rdbms, ....) indexering van velden (xml, field-tags) specificatie indexeerregels per veld specificatie indexeerregels per index/deelcollectie verwerking diacrieten in verschillende codering toepassing word-stemming indexeermethode die ranking toestaat © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

marktverkenning welke producten komen in principe in aanmerking? longlist RfQ con tent PvE keuze RFI shortlist marktverkenning PoC test welke producten komen in principe in aanmerking? samenstellen van een longlist op basis van: reeds aanwezige kennis eigen onderzoek websites met productoverzichten, bijvoorbeeld: http://www.searchtools.com/tools/tools.html via rapporten en websites van adviesorganisaties als Gartner of Delphi-group uitbesteden / expert(s) vragen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

bijdrage van Frank Hofstede over de markt en aanpak bij een RFI longlist RfQ con tent PvE keuze RFI shortlist PoC test bijdrage van Frank Hofstede over de markt en aanpak bij een RFI © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist wat voldoet aan PvE? PoC test hoe kom je erachter welke producten uit je longlist (het best) aan je PvE voldoet? zelf testen (meestal praktisch onmogelijk) kijken of ander dat al heeft uitgezocht (onwaarschijnlijk) leveranciers via RFI vragen uit PvE laten beantwoorden (antwoorden kritisch beoordelen) op basis van essentiële eisen ("must have") en weegfactoren bij de andere eisen ("nice to have") zo goed mogelijk kwantificeren © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

de rest van het keuzetraject longlist RfQ con tent PvE keuze RFI shortlist de rest van het keuzetraject PoC test long list apr autonomy collexis convera eidetica fast fulcrum google inxight irion northernlight verity k2 verity ultraseek programma van eisen proof of concept request for information short list autonomy irion verity k2 © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist hoe eindkeuze maken? PoC test van een beperkt aantal best scorende producten (de shortlist) de RFI-gegevens nog zorgvuldiger analyseren en onduidelijke details daarvan navragen demonstraties laten geven door leveranciers, op basis van strikte eisen voortkomend uit PvE en RFI representatieve andere gebruikers bezoeken en bevragen leveranciers een "proof of concept" laten verzorgen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist proof of concept PoC test leveranciers prototypes laten bouwen op basis van de belangrijkste eisen uit jouw specifieke PvE met daarin jouw eigen materiaal, indien: PvE heel specifieke eigen wensen bevat geen standaard-implementatie mogelijk lijkt het om veel gegevens gaat zodat je goed idee krijgt hoe het met die software gaat werken © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

proof of concept in specifieke situatie in Utrecht 3 prototypes longlist RfQ con tent PvE keuze RFI shortlist proof of concept PoC test in specifieke situatie in Utrecht 3 prototypes elk met (zelfde) 1 miljoen documenten (10% van collectie) die moesten voldoen aan belangrijkste functionele eisen uit PvE gedurende twee weken simultaan uitgeprobeerd en volgens vastgelegd scenario beoordeeld en vergeleken door groep power users (informatiespecialisten die eindgebruikers instrueren en ondersteunen) nog geen eisen aan gebruikersinterface © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

proof of concept & test uitvoering van de (functionele) test: longlist RfQ con tent PvE keuze RFI shortlist proof of concept & test PoC test uitvoering van de (functionele) test: testprotocol direct laten aansluiten op PvE nadruk op zoekfunctionaliteit ook aandacht voor moeilijk te objectiveren criteria bijkomend voordeel: creatie van draagvlak voor nieuwe product © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

proof of concept & test uitvoering van de (functionele) test: longlist RfQ con tent PvE keuze RFI shortlist proof of concept & test PoC test uitvoering van de (functionele) test: controle op correcte uitvoering van zoekopdrachten booleaanse combinaties, exacte phrase zoeken op velden (titel, auteur, ...) formele inperkingen (datum, deelcollectie, ...) kwaliteit van toegepaste taaltechnologie word stemming fuzzy search eventuele query-expansie ... >>> © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist proof of concept & test PoC test uitvoering van de (functionele) test: (vervolg) ... analyse & vergelijking van op zoekresultaat toegepaste relevance ranking hoeveel gevonden relevantie als functie van volgnummer aanwezigheid en plaats van zoektermen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist technische test PoC test proof of concept blijkt lastig geschikt te maken voor gelijksoortige technische test ICT-ers laten onderzoeken: "toegankelijkheid" van de software voor configureren, implementeren, aanpassen, koppelen door bestudering van documentatie door uitgebreide uitleg door PoC-bouwers ervaringen van andere gebruikers wat nog zelf te ontwikkelen? ook hier: creatie van draagvlak © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist offertes aanvragen PoC test (vaak parallel aan PoC) "request for quotation" vraagt gedetailleerder prijsopgave dan in RFI was gedaan voor specifieke situatie (aantal gebruikers, processoren, ...) met eventueel benodigde extra modules met eventuele op maat gemaakte aanvullingen inclusief eventuele implementatie, training, support e.d. ook moment voor prijsonderhandelingen er kan vaak nog wel wat van de prijs af © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist keuze PoC test in uiteindelijke keuze zal vaak meer meespelen dan alleen resultaten van PoC en prijs, zoals: voorkeuren van ICT-afdeling (ook daar draagvlak) implementeerbaarheid onderhoudbaarheid migreerbaarheid .... projectmatige realiseerbaarheid van eigen wensen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

longlist RfQ con tent PvE keuze RFI shortlist keuze geslaagd? PoC test hoe zorgvuldig het keuzetraject ook gedaan, wees voorbereid dat bijna elke implementatie nog tegenvallers oplevert langduriger complexer bij 10x zoveel content als in PoC toch traag .... maar blijf optimistisch © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric