Expertise en besluitvorming in inkoopmanagement Chris Snijders (c.c.p.snijders@tm.tue.nl) Technologiemanagement Technische Universiteit Eindhoven

Inkoopmanagement: overzicht Onderzoek aan cap-groep Sociologie, UU, later ook TUE probleemomschrijving decision support bij inkoopbeslissingen Eerder onderzoek Vervolgonderzoek: de inkoopopdracht Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Inkoopbeslissingen: het probleem Inkoop van (IT-)produkt  dit kan goed of fout aflopen [te laat, te duur, werkt niet goed, etc] Inkoper bepaalt: wat doe ik om problemen te voorkomen Vraag 1: hoe doen inkopers dit? Vraag 2: hoe goed gaat dat? Vraag 3: hoe kunnen we dit proces ondersteunen? Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Besluitvorming als optimalisering m staat voor managementinspanning, U voor opbrengst (‘utility’) U(0) = 0 U(m) = Prob{Goed} * Opbrengst(Goed) + (1 – Prob{Goed}) * Opbrengst(Fout) - Kosten Taak van inkoper: vind de waarde van m die de opbrengst U maximaliseert. [algemeen doel: toepassen van dit model op andere ‘management besluiten’] Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Waarom inkoop van IT producten? Relatief complex (vs eenvoudig : dan is decision support via virtual marketplaces mogelijk) Veel problemen in de praktijk … zegt men (“altijd te laat”, “altijd te duur”) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Inkoop van IT producten Kies juiste managementsoort en –inspanning aan de hand van U(m) = Prob{Goed} * Opbrengst(Goed) + (1 – Prob{Goed}) * Opbrengst(Fout) - Kosten Dit veronderstelt ten minste dat je Prob{Goed} kunt voorspellen bij gegeven m. Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Decision support bij inkoop? Bekijk alle relevante gegevens (we willen dit inkopen, het gaat ongeveer zoveel kosten, we kunnen kopen bij leverancier X, die kennen we goed, of Y die we minder goed kennen, etc). Decision support mogelijk door procesondersteuning. Hierna bepaalt de inkoopexpert het optimale management. Decision support geeft suggesties voor het optimale management. We bekijken dit laatste. Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Werkhypothese De expert neemt dit soort beslissingen al zijn leven lang. Door ervaring leert de expert (bij ons: de inkoper) hoe dit soort beslissingen goed te nemen. Bovendien: de inkopers die er slecht in zijn, vallen in de loop van de tijd af. Hypothese: inkopers, vooral degenen met veel ervaring, zijn erg goed in het nemen van inkoopbeslissingen. Gevolg: het zal lastig zijn om hier decision support te bieden, want het is nauwelijks meer nodig. Wellicht is het mogelijk om modellen te maken die de expert tamelijk goed benaderen. Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

De literatuur over voorspellingen Gegeven: een aantal “inputs”. Gevraagd: voorspelling van output. “statistical prediction” (=“mechanical prediction”) voorspelling door gebruik van formule “clinical prediction” (=expertvoorspellingen) voorspelling door expert / professional (in de medische wetenschap: “best clinical estimate”) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Waarom doet de expert dit beter? Vaak jarenlange ervaring op het betreffende gebied. Dat zorgt voor: Weet (intuïtief of bewust) hoe de inputs te combineren. Wat is over het algemeen belangrijk, wat niet? Weet rekening te houden met speciale omstandigheden D.w.z. de expert weet niet alleen “wat gemiddeld genomen waar is”, maar ook wanneer af te wijken van dit gemiddelde. INSCHATTING = TREND + WETEN WANNEER AF TE WIJKEN Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Model of expert? Soorten onderzoek Medisch expert overlevingsduur/overlevingskans kwaadaardigheid tumoren recidive Experts op educatief gebied voltooien van opleiding arbeidsmarktsucces Experts op zakelijk gebied failliet gaan van ondernemingen Overig : bv. het aankomen van een pass bij american football [nb de inputs zjin bekend en het resultaat ook; vraag: in welke gevallen gaat mechanische voorspelling relatief goed?] Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Onderzoeksresultaten (Meehl) Percentage studies waarin “clinical prediction” het beter deed dan “mechanical prediction”? nb clinical -> professionals / experts mechanical -> eenvoudige lineaire formule, vaak gevonden dmv cross-validatie DIT PERCENTAGE = ? Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Expert is kennelijk toch niet beter Moeilijk voor mensen: onze mentale ‘floating frankfurters’ Expert heeft vaak selectieve steekproef van kennis Ons geheugen is verschrikkelijk (vergeten / ‘confirmation bias’ / selectief / terughalen van onwaarheden) Combineren van veel inputs (>6) is voor veel mensen moeilijk consistent te doen Voorspellingen typisch moeilijk in situaties met ruis/stochastiek (stoplicht) Leren aan de hand van indirecte en niet eenduidige feedback is lastig Omgaan met kansen kunnen mensen niet zo goed Ingesleten ideeen zijn te robuust (‘confirmation bias’ + ‘mental sets’) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 “Mental sets” Verbind de 9 punten met hooguit 4 rechte lijnen, zonder pen van het papier af te halen. • • • Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Omgaan met kansen Veronderstel: een bepaalde inkoper heeft bij zijn transacties een hele goede intuïtie, namelijk als bij een transactie een probleem gaat ontstaan: “interne bel rinkelt” met kans 90% Als bij een transactie GEEN probleem gaat ontstaan: “interne bel rinkelt” met kans 20% Inkoper gaat een transactie aan, en “zijn interne bel rinkelt”. Wat is de kans dat de transactie problematisch wordt? Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 ‘Base rate neglect’ Je hebt onvoldoende gegevens! Het antwoord is afhankelijk van hoe groot de kans op een probleem überhaupt is (de ‘base rate’). Als bijv. 60%  kans op probleem na signaal = 87% 10%  kans op probleem na signaal = 33% 1%  kans op probleem na signaal = 4% Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Aangepaste probleemstelling De literatuur laat zien: dat er veel aanwijzingen zijn die suggereren dat het voor mensen moeilijk is om beslissingen te nemen van de soort zoals een inkoper die neemt dat op andere gebieden al is aangetoond dat modellen het zeker zo goed doen als experts (zie artikel Grove) Probleemstelling: Is statistical prediction ook in inkoop even goed als of beter dan clinical prediction? Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Dat zijn we gaan we onderzoeken … … aan de hand van survey-gegevens die we hadden verzameld. The external Management of AuTomation (MAT): inkoop van IT-producten door het MKB 1995: 800 Nederlandse MKB (1000 transactions) 1998: nieuwe vragenlijst naar deelnemers 95 (info over 550 transacties van 95) (300 nieuwe transacties) 1995/6: kleinschalige replicatie in Duitsland (150 MKB, 175 transacties) 1999: grootschalige survey in Duitsland (750 MKB, 1000 transacties) 2003: replicatie in Nederland (1000 MKB + groter, 1000 transacties) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Inhoud inkoopvragenlijst (1) Totaal: meer dan 300 issues per transactie gemeten Vooraf: zoeken en selecteren #offertes, soort informatie gebruikt, investeringen in menskracht, ... Tijdens: contract investering in menskracht, technische en juridische zaken in het contract, … Achteraf: uitvoering van het contract en after-sales soort en ernst van de problemen, wijze van oplossen, … Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Inhoud inkoopvragenlijst (2) Transactiekarakteristieken Monitoring kosten, switchings costs, belang van duurzaamheid, financieel volume, … Eigenschappen van kopende en leverende bedrijf Costs of contracting, size, age, … Relationele karakteristieken Historie met zelfde leverancier, verwachting over toekomstig zaken doen, band met de leverancier, Netwerkeigenschappen Dichtheid van netwerk, kennen van andere klanten leverancier, ... Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Voorbeeld: resultaten ... “IT-projecten vaak over budget, incompatibel, en te laat” Problemen: (groot) (enigszins) Over budget 3.1 % 21.6 % Incompatibel 3.8 % 26.5 % Specificaties kloppen niet 3.9 % 29.4 % Installatie niet in orde 4.1 % 30.0 % Product te traag of te beperkt 6.6 % 32.2 % Product incompleet 6.9 % 35.8 % Beroerde ondersteuning 7.5 % 41.8 % Geen of trage service 7.9 % 37.3 % Te laat opgeleverd 8.2 % 36.7 % Geen noodz. aanpassingen gedaan 10.4 % 38.5 % Documentatie niet goed 11.7 % 43.4 % Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Aan de hand van de database: Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Deze methode heet “vignetonderzoek” (ook wel “conjoint analysis” genoemd) Beschrijft voor de respondent een ‘case’ aan de hand van een beperkt aantal variabelen Vraag naar mening / gedrag respondent Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Vignetonderzoek Voordelen relatief veel gegevens per respondent respondent krijgt meer variatie dan in praktijk, dus beter zicht op gedrag respondent situatie is gestructureerd, geen “ruis” relatief goedkoop voor de hand liggende ‘aanloop’ naar grootschalig surveyonderzoek Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Vignetonderzoek Nadelen situaties zijn kunstmatig -> relevante dimensies ontbreken wellicht -> gevaar: respondent zoekt naar ‘juiste’ antwoord (“wat zouden ze willen dat ik zeg”) het levert geen beschrijvende gegevens Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

“Clinical vs statistical” in inkoop: Vergelijk de antwoorden van … Experts (inkoopmanagers) Studenten Een computermodel … met de echte antwoorden Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Resultaten bij IT-inkoop? Vorige keer: inschattingen vergeleken van studenten informatiekunde met inschattingen inkoopmanagers. We vonden: de ‘experts’ doen het zeker niet beter dan de studenten, en een modelmatige voorspelling wel. Inkopers = 0.24 (6.2) Studenten informatiekunde = 0.26 (6.3) Model = 0.37 (6.9) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Logisch vervolg (al eerder gedaan) ... Hoe valt beter gebruik te maken van de kennis van experts? Er blijkt: experts zijn “te wild” Maak experts systematischer door [1] gedwongen samenspraak met andere expert [2] gedwongen verantwoording van voorspelling dit helpt (een beetje) dit helpt even goed (het model is nog steeds het best) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Inkoopopdracht: decision support in inkoop LEERDOELEN Kennis over besluitvorming via ‘inkoopcase’ zicht op wat anderen aan onderzoek deden zelf onderzoek doen op dit gebied Kennis over (toepassing van) decision support via ‘inkoopcase’ Interviewervaring opdoen Rapporteren over onderzoek Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Decision support bij inkoop Kennelijk doen de experts het toch niet zo goed. Hoe valt hier toch op een verstandige manier iets te doen aan decision support? Vraag 1: op welke manier gaat het fout, ofwel zit er systematiek in de manier waarop experts het niet goed doen? Vraag 2: zijn experts bereid decision support te accepteren? Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

De inkoopopdracht (zie web voor details) Eerst individueel: Doe zelf de “vignettentest” (online) Benader een inkoopmanager voor een interview Neem interview af Inkoopmanager doet ook “vignettentest” Manager denkt hierbij hardop, denkproces wordt opgenomen Hierna mondeling interview Dan in duo’s: Rapporteer over de resultaten (insteek: wat leer je van de manier waarop de respondenten hun beslissingen namen over de wijze waarop je voor inkoopmanagers decision support tools moet ontwerpen?) Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Vignettentest (uiterlijk maandag a.s.) Vragen over de persoon Acht “inkoopcases”. Gevraagd wordt per case te voorspellen Of je problemen verwacht Welke dan? Hoe zeker ben je over je antwoord? Dan nog eens acht “inkoopcases” Zelfde, alleen hierbij moet je proberen zo min mogelijk informatie “open te klikken” Nog wat slotvragen Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Voorbeeld: Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Inkoopmanager zoeken Ideaal is: IT-inkoopmanager Als dat niet lukt: -> manager met ervaring in IT-inkoop -> IT-medewerker met ervaring in IT-inkoop Maar niet: -> Bloemist die net een nieuwe pc heeft gekocht -> Collega student die veel van pc’s weet Bij twijfel: vraag RJB of een respondent geschikt is! Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Het interview (tussen 10 en 24 september) Daarbij is een internetaansluiting op de interviewplek nodig Daarbij heb je een recorder nodig Één recorder per duo, te leen bij RJB (check gebruiksaanwijzing) recorder moet weer retour in originele verpakking met de opgenomen interviews er op zet op je recorder als eerste bericht je eigen naam, username en password. begin het interview met het inspreken van de username en password van de geinterviewde! Bestaat uit: respondent doet test op internet (respondent denkt hardop) en daarna een semi-gestructureerd interview Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Verslag (inleveren voor 1 oktober, 18:00) In duo’s: toelichting wie de respondenten waren de antwoorden van de respondenten op de drie open vragen een beschrijving van de manier waarop jullie zelf te werk zijn gegaan bij het beoordelen van de cases een beschrijving van de manier waarop de respondent te werk is gegaan bij het beoordelen van de cases ten slotte: wat leer je van de manier waarop de respondenten hun beslissingen namen over de wijze waarop je voor inkoopmanagers decision support tools moet ontwerpen? Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04 Op 7 oktober … … kom ik de resultaten van de tests vertellen … Replicatie: model > experts > studenten ? Verbetert de voorspelling van problemen door een slimme combinatie model / mens? Hoe vallen de voorspellingen van experts te verbeteren? Maken ze standaard dezelfde soort fouten? Er is een prijs voor de student met de beste voorspellingen. Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04

Lees de tekst van de inkoopopdracht goed! Nu eerst te doen: Naar RJB: je als duo opgeven + recorder + brief ophalen Vignettentest maken Afspraak maken met inkoopmanager Groupware - Inkoopbeslissingen - Chris Snijders – 10 Sept 04