Project Cycle Management Logisch Kader methodiek PCM voor Attaché’s Project Cycle Management Logisch Kader methodiek

Logisch Kader voor deze opleiding Interventie logica Verifieerbare indicatoren Verificatie- bronnen Veronder- stellingen 1.Effectiviteit in de OS is verhoogd 2. Lokaal meersterschap verhoogd De voorbereidingstijd (ident+form) wordt in 2 j tijd gehalveerd Algemene objectieven De Attaché weet wat verwacht wordt in alle fasen ve project en kan consistente projectvoorstellen mede-opmaken Identificatie documenten zijn in x% van de gevallen aanvaardbaar voor Brussel DGOS documenten per land Specifiek objectief 1. Attaché begrijpt de samenhang vn het LK 2. Attaché kent rol binnen PCM 1.Alle deelnemers kunnen samenhang van LK uitleggen 2. Attaché kan overzicht van PCM-taken voorleggen Korte test bij einde cursus Attachés blijven minstens gedurende 3 jaar binnen hun functie Resultaten 11. Theoretische toelichting PCM-fasen en LK-stappen 12. Toepassing op strategie/sector nota 21. Verduidelijkende discussie over rol Attaché in PCM-fasen 22.SWOT vd procedure + formuleren van voorstellen tot verbetering Middelen - 4 mandagen Kosten - Activiteiten Start- voorwaarden

Projecten en projectcycli Verschillende vormen & voorstellingen mogelijk Hoe de voorstelling ook is, het hangt van de organisatorische & procedurele context af hoe de principes kunnen toegepast worden

Projectfasen (1)

Programma- en Projectfasen

Principes van Project Cyclus Management Project cyclus fasen – gestructureerde aanpak van de projectcyclus Partner/stakeholder orientatie – betrekken van de belanghebbenden in de beslissingsvorming Logframe planning – omvattende en consistente analyse Duurzaamheid – mechanismen instellen om de continuiteit van de projectvoordelen te verzekeren Geïntegreerde benadering - verticale integratie & gestandardiseerde documentatie Basic format

PCM versus LK

The PCM Toolkit LK tools: Aanvullende tools: Stakeholder analysis Problem analysis Analysis of objectives Strategy analysis Logframe Activity planning Resource scheduling Aanvullende tools: Participatory workshops Environmental assessment Gender analysis Institutional appraisal Economic & financial analysis

PCM – LK matrix Stakeholders analysis Problem analysis Identi-fication Formulation Imple-menta-tion Evaluation Stakeholders analysis Problem analysis Objectives analysis Strategic analysis Logical Framework Activities planning Resources planning

Quality Indicators Relevance relates to whether the project addresses the real problems of the intended beneficiaries. Feasibility relates to whether the project objectives can be effectively achieved. Sustainability relates to whether project benefits will continue to flow after the period of external assistance has ended. ?

Role of PCM PCM provides structure to ensure that: Projects are relevant to the real needs of beneficiaries; this implies that beneficiaries are actively involved in the planning process, in implementation and in M&E from an early stage problem analysis is thorough goals are clearly stated Projects are feasible & sustainable; efforts are made to ensure that outputs & objectives are logical risks and assumptions are taken into account monitoring concentrates on relevant issues and helps adjusting implementation benefits will continue to flow for the beneficiaries after the project results from evaluation are used to learn from experience and rethink the content of a project

Factors Ensuring Sustainability Policy support Appropriate technology Environmental protection Socio-cultural aspects / gender issues Institutional and management capacity Ownership Economic and financial viability

Logframe Approach ANALYSIS PHASE PLANNING PHASE Stakeholder Analysis - identifying & characterising major stakeholders, target groups & beneficiaries, defining whose problems will be addressed by a future intervention Problem analysis - identifying key problems, constraints and opportunities; determining cause and effect relationships Analysis of objectives - developing objectives from the identified problems; identifying means to end relationships Strategy analysis - identifying the different strategies to achieve objectives; selecting the most appropriate strategy(ies); determining the major objectives (overall objectives and project purpose) Logical framework - defining the project/ programme structure, testing its internal logic, formulating objectives in measurable terms, defining means and cost (overall) Activity scheduling - deter-mining the sequence and dependency of activities; estimating their duration, setting milestones and assigning responsibility Resource scheduling - from the activity schedule, developing input schedules and a budget

Vooraf: Bepalen van de kernvraag (entiteit) Vooraleer van start kan gegaan worden moet de uitgangsproblematiek of het idee duidelijk bepaald worden. Een andere basisvraagstelling kan leiden tot een totaal ander project. Het is niet uitgesloten dat tijdens de probleemanalyse of de volgende stappen de entiteit dient aangepast te worden. Vb.: Hoe directe armoede bestrijden? Hoe toegang tot basisonderwijs vergemakkelijken? Welke financiële drempels doen zich voor inzake toegang tot het basisonderwijs?

Belanghebbenden - Stakeholders Elk individu, groep van mensen, instelling of organisatie die een relatie kan hebben met het project of programma Elk kan daarbij direct of indirect, positief of negatief beïnvloed worden door het proces of de uitkomst van het project of programma.

Types belanghebbenden I Primaire belanghebbenden: (eind)begunstigden of doelgroepen: diegenen voor wie uiteindelijk het project bedoeld is en er de positieve vruchten zullen van dragen Secundaire of intermediaire belanghebbenden: betrokkenen in het hulpverleningsproces (project partners) Tertiare belanghebbenden: Groepen, organisaties en instellingen die bijkomende inzichten en diensten kunnen leveren aan het project (universiteiten, NGOs, consultancybureau‘s, etc.) Opgepast: er kunnen ook belanghebbenden die negatief beïnvloed worden door het project

Types belanghebbenden II Kernbelanghebbenden (Key stakeholders) diegenen die rechtstreeks participeren in de verschillende fases van de project cyclus Bij verschillende fases kunnen verschillende kernbelanghebbenden participeren

Analyse belanghebbenden? Analyse van de belanghebbenden houdt volgende stappen in: Identificatie van alle belanghebbenden bij de entiteit In kaart brengen van de belangen van iedere belanghebbende (noden, verwachtingen, aanblik van de problematiek, ideeën over de toekomstige ontwikkelingsrichtingen) Inschatten van de belangrijkheid en de invloed van elke belanghebbende op de problematiek Bepalen van de graad van participatie in het ontwerp en de uitvoering van het project.

Participatie – met wie en hoe Bij participatie draait alles rond de vraag: wie en in welke mate worden belanghebbenden betrokken in het definiëren van het project? In welke mate? - Verschillende vormen van participatie Informatie: belanghebbenden hebben toegang tot de informatie over hoe en waarom beslissingen werden genomen Consultatie: belanghebbenden worden (vrijblijvend) geraadpleegd Wie ? Enkel coördinerend agency en de donor? Enkel coördinerende agency, sectorale ministeries, donoren? Ook (eind)begunstigden? NGO’s? Andere kern-belanghebbenden? Onderhandeling: belanghebbenden formuleren voorstellen en suggesties en onderhandelen hun belangen/ verwachtingen in het project Gedeelde verantwoordelijkheid: belanghebbenden krijgen een medebeslissingsmacht en worden medeverantwoordelijk bij de projectomschrijving en –uitvoering.

Grid van de belanghebbenden Kenmerken socio-economisch structuur organisatie houdingen Belangen & verwachtingen tav het project Mogelijke inbreng – (eventuele) mandaten inbreng middelen kennis, ervaring Belangrijk-heid Invloed (macht) Eventuele implicaties voor het project – Hoe met de groep omgaan? Primaire Secun-daire Tertiaire Let wel: op deze moet eventueel teruggekomen worden en vervolledigd/aangepast na de probleemanalyse * kernbelanghebbenden

Belang van participatie voor de kwaliteit van projecten Voor een suksesvol project zijn acceptatie, een draagvlak en „commitment“ essentieel. Enkel echte participatie kan dit bewerkstelligen. Participatie moet van bij de start de neuzen van alle betrokkenen in dezelfde richting zetten Participatie laat toe het project aan te passen aan de sociale, economische en politieke realiteiten Participatie verhoogt het „ownership“ van de interventie Participatie verhoogt de relevantie, haalbaarheid en duurzaamheid van het project Participatie versterkt het leerproces en de institution building bij locale partners en gebruikers Participatie verhoogt de motivatie van alle betrokkenen.

Probleemanalyse - wat Het analyseren van de bestaande situatie door het identificeren van kernproblemen zoals ze door de verschillende belanghebbenden ervaren worden, en het visualiseren van de problemen en in een probleemboom, waarin problemen in een oorzaak-gevolg relatie voorgesteld worden.

Probleemanalyse - hoe Identificeer de problemen rond de entiteit (brainstorming in workshop) met kernbelanghebbenden Selecteer een “starterprobleem”. Plaats andere problemen onder het starterprobleem als ze starterprobleem veroorzaken boven het starterprobleem als ze het gevolg zijn van starterprobleem naast het starterprobleem als er geen verband is met starterprobleem Plaats alle geïdentificeerde problemen in dergelijke oorzaak-gevolg relaties Verbind de oorzaak-gevolg relaties door pijlen Verifieer op het einde de validiteit van alle relaties en de volledigheid van de problemen.

Probleemanalyse - principes Verwoordt problemen als negatieve situaties Eén probleem per kaart Identificeer enkel bestaande problemen, geen toekomstige problemen Een probleem is geen afwezigheid van een oplossing !! Vb.: - niet: geen pesticides beschikbaar - wel: oogst door pest verwoest

Probleemboom

Objectievenanalyse – wat Methodologische stap waarbij de gewenste toekomstige situatie na oplossing van de problemen beschreven wordt de objectieven geïdentificeerd worden en gehiërarchiseerd de middel-doel relaties in een objectievenboom gevisualiseerd worden Op die manier krijgen we een globaal en duidelijk inzicht in de positieve situatie die men in de toekomst wil bekomen.

Objectievenanalyse - hoe Herformuleer de negatieve situaties van de probleemboom in positieve, na te streven situaties die: Gewenst zijn Realistisch haalbaar zijn Verifieer of de oorzaak-gevolg relaties wel degelijk middel-doel relaties geworden zijn Verifieer of de doelstellingen uitgedrukt zijn als een (bereikte) toestand (voltooid deelwoord) Niet: verhoging van de productie Wel: productie verhoogd

Objectievenboom

Analyse van de strategieën - wat Het is de stap die de verschillende mogelijke strategieën identificeert om het globale doel te bereiken, op basis van een aantal criteria, de keuze maakt welke strategie het project zal uitwerken.

Analyse van de strategieën - hoe Groepeer samenhangende objectieven in clusters of strategieën Identificeer die objectieven in de objectievenboom die niet zullen nagestreefd worden (niet gewenst of niet bereikbaar) Beoordeel welke strategie het best tegemoet komt aan de vooropgestelde criteria Bepaal het projectobjectief - algemeen doel voor het project.

Strategische analyse Strategy B : Strategy A : “Rice production” “Hill treatment”

Analyse van de strategieën – mogelijke criteria Relevantie (relevance) Haalbaarheid (feasibility: technische, economische, politieke, sociale) Duurzaamheid (sustainability) Beschikbaarheid van de middelen Prioriteit voor de belangrijkste belanghebbende(n) Tijdsperspectief van de gerealiseerde baten Dringendheid Bijdrage tot meer sociale gelijkheid Complementariteit met andere projecten ………

Analyse van de strategieën - keuze OUT IN ALGENENE OBJECTIEVEN SPECIFIEK OBJECTIEF RESULTATEN Keuze gebaseerd op: budget, prioriteiten, beschikbare middelen, sociale aanvaardbaarheid, urgentie, ...

Invullen van het Logisch Kader – wat Het Logisch Kader is een samenvatting, volgens een vaste systematiek, van de kerngegevens van een project. Het vat alle noodzakelijke projectinformatie samen in een 4x4 matrix. Het heeft een antwoord op de vragen: waarom het project wordt uitgevoerd wat het project geacht wordt te bereiken hoe het project zijn doelstellingen zal bereiken welke externe factoren van belang zijn om de doelstellingen te bereiken welke middelen noodzakelijk zijn wat het project zal kosten

Logisch Kader Interventie logica Verifieerbare indicatoren Verificatie- bronnen Veronder- stellingen Algemene objectieven Specifiek objectief Resultaten Middelen Kosten Activiteiten Start- voorwaarden

Invullen van het Logisch Kader – de interventie logica (1) Eerste en tevens startkolom voor het invullen van het Logisch Kader Wordt in eerste instantie afgeleid uit de objectievenboom en aangevuld indien nodig of gewenst Belangrijk is dat deze kolom bij opwaarts of neerwaarts lezen logisch én volledig is Het projectobjectief moet de voordelen uitdrukken die de begunstigden blijvend zullen verkrijgen als gevolg van het project.

Invullen van het Logisch Kader – de interventie logica (2) Hoe bepalen we de “activiteiten”? Vanuit de objectievenboom Vanuit voor-onderzoek Vanuit discussies met de belanghebbenden Enkel de voornaamste activiteiten worden vermeld in het logisch kader Activiteiten worden volgens de WBS-methode afgeleid voor elk tussentijds resultaat Nummer de activiteiten per resultaat.

Van objectievenboom naar Logisch Kader

Programmes- Projects

WBS-Work Breakdown Structure

Invullen van het Logisch Kader – objectief verifieerbare indicatoren (1) Specifiëren hoe we “sukses” in het behalen van de gestelde objectieven (op de verschillende niveau’s) objectief gaan meten Ze vormen de maatstaf voor het beheer, opvolgen en evalueren van het project Per objectief kunnen verscheidene indicatoren vastgelegd worden. Samen vormen ze een betrouwbare manier om na te gaan of en hoe het te bereiken objectief werd bereikt.

Invullen van het Logisch Kader – objectief verifieerbare indicatoren (2) Een goede indicator (OVI) moet Specifiek zijn betreffende de kwaliteit en de kwantiteit Representatief zijn voor het niveau waarvoor de indicator staat Verifieerbaar zijn, dwz er moeten betrouwbare gegevens over bestaan of (relatief) eenvoudig kunnen aangemaakt worden Als het objectief moeilijk meetbaar is kunnen “proxy” indicatoren worden gebruikt.

Invullen van het Logisch Kader – objectief verifieerbare indicatoren (3) SMART Specific: meten wat het wordt verondersteld te meten Measurable: meetbaar zijn Available: beschikbaar zijn tegen een redelijke prijs en aanvaardbaar voor de betrokkenen Relevant: duidelijk slaan op het objectief dat men wil meten Time-bound: een tijdsdimensie hebben

Invullen van het Logisch Kader – objectief verifieerbare indicatoren (4) Criteria waaraan indicatoren moeten voldoen: Validiteit– geeft de indicator een juiste voorstelling van het gewenste resultaat dat het wil meten? Objectief– is de definitie precies en niet-ambigu in wat het wil meten? Betrouwbaar – zijn de data consistent en vergelijkbaar in de tijd? Nuttig – hebben de data enige nutiigheid voor het nemen van beslissingen of het leren? « Owned » – gaan partners en stakeholders akkoord dat deze inidcator zinvol is om te gebruiken?

Invullen van het Logisch Kader – objectief verifieerbare indicatoren (5) projectobjectief: de graad van pollutie van het afvalwater in de Blauwe Rivier is gedaald de indicator: Concentratie van zware metalen (Pb, Cd, Hg) specifieer de indicator: kwantiteit:... is gedaald met 75% in vergelijking met het niveau van het jaar x ... (de basisstartwaarde moet natuurlijk duidelijk gekend zijn) kwaliteit: ...om tegemoet te komen aan de limiten van het irrigatiewater... doelgroep: ... , gebruikt door de landbouwers uit de streek, ... plaats: ... in de Boven-Blauwe Rivier ... tijd: ... 2 jaar na de start van het project.

Indicators op diverse niveau’s (1) Interventie Logica Objectief Verifieerbare Indicatoren Algemene Objectieven Indicatoren voor Algemene Objectieven duiden toegenomen voordelen aan voor de brede bevolking, veranderingen in het gedrag in de samenleving Indicatoren voor het Specifiek Objectief reflecteren de voordelen die toevloeien aan de bedoelde begunstigden van het project zijn onafhankelijk van de indicatoren van de Resultaten Specifiek objectief

Indicatoren op diverse niveau’s (2) Interventie Logica Objectief Verifieerbare Indicatoren Resultaten Indicatoren voor project resultaten omvatten graad van bereik van doelgroepen, toegang tot, gebruik van, tevredenheid met de projectdiensten (begunstigden onderzoek) Activities

Indicatoren & Project Monitoring & Evaluatie Sectorale indicatoren verschaffen een basis voor prestatie monitoring van de samenwerkingsprogramma’s. Evaluatie laat toe de duurzaamheid en de bereikte indicatoren na te gaan en de te leren lessen te achterhalen. Discussie over objectieven & mogelijke indicatoren helpen de belangen van de stakeholders te identificeren en ‘ownership op te bouwen Monitoring vergelijkt de geplande vs de actuele bereikte doelstellingen (budget, activiteitenplan, resultaten) teneinde noodzakelijke aanpassende acties te identificeren. Finale selectie van de indicatoren, identificatie van de veronderstellingen en ontwikkeling van het budget verschaffen een basis voor het M&E plan

Invullen van het Logisch Kader –verificatiebronnen De derde kolom duidt, op het gepaste niveau, aan waar en in welke vorm de informatie kan gevonden worden om de OVI’s te toetsen. In de rij “activiteiten” wordt een kort overzicht van de kosten van het project vermeld.

Selecting Sources of Verification Specific sample surveys Cost Beneficiary interviews Adapted routine statistics Routine statistics Management reports Administrative records Complexity

Invullen van het Logisch Kader – veronderstellingen – wat (1) Veronderstellingen zijn Externe factoren die ontsnappen aan de directe controle van het project maar die wel het bereiken van de diverse objectieven kunnen beïnvloeden, zelfs verhinderen. Het is belangrijk ze te vermelden omdat deze factoren door het project moeten opgevolgd worden om eventuele aanpassingsacties binnen het project uit te voeren. Een startvoorwaarde is een veronderstelling die moet gerealiseerd zijn vooraleer van start kan gegaan worden met het project.

Invullen van het Logisch Kader – wat (2) Middelen Kosten Algemene objectieven Specifiek objectief Resultaten Activiteiten Veronder- stellingen Verificatie- bronnen Verifieerbare indicatoren Interventie logica Start- voorwaarden ALS de tussentijdse resultaten gerealiseerd worden EN de veronderstellingen doen zich voor zoals gesteld DAN zal het projectobjectief bereikt worden.

Invullen van het Logisch Kader – veronderstellingen - hoe Ga na in de objectievenboom of er objectieven zijn die niet opgenomen werden in de stategie en die toch van belang zijn voor het sukses van het project Ga de belangrijkheid van deze niet nagestreefde objectieven na volgens het inschattingsalgoritme (zie hierna) en plaats ze op het desbetreffende niveau in het Logisch Kader Identificeer eventueel andere externe factoren die het sukses van het project kunnen verhinderen en volg dezelfde werkwijze Her-verifieer de interventie logica en de veronderstellingen op juistheid en volledigheid.

Hoe externe factoren beoordelen? Is the external factor important? Yes No Will it be realised? Do not include in logframe Almost certainly Do not include in logframe Likely Include as an assumption Unlikely Is it possible to redesign the project in order to influence the external factor? Yes No Redesign the project by adding activities or results; reformulate the Project Purpose if necessary The project is not feasible

Veronderstellingen/risiko’s Interventie Logica Veronderstel-lingen Overall Objectives  Project Purpose Veronderstellingen (level 4) omvatten critische omstandigheden om de algemene doelstellingen te bereiken Veronderstellingen (level 2) en (level 3) kunnen ondersteunende acties bevatten van andere organisaties of projecten die moeten worden gemonitored gedurende de uitvoering Veronderstellingen (level 1) moeten vervuld zijn vooraleer met het project kan aangevangen worden.  Results  Activities 

Management controle en externe factoren Overall Objective: To alleviate poverty in designated area Welfare of farming community improves Farm income rises Changes generate increased physical product Farmers voluntarily re-adjust Farmers evaluate results from new techniques or technology Farmers change practice to try new techniques or technology Farmers change attitude Farmers gain new knowledge and skills Farmers attend advisory sessions & farm demonstrations Service prepares & delivers technical messages & demonstrations Develop messages Activity level: Efficient delivery of technical advice to farmers External factors Management control

Volledig ingevuld Logisch Kader

Typische problemen van LK’s Begunstigden niet duidelijk geïdentificeerd Als belangrijk aangeduide problemen zijn niet de problemen van de nagestreefde begunstigden Objectieven structuur is zwak ontwikkeld Verchillende specifieke project objectieven Veronderstellingen niet goed ontwikkeld Indicatoren niet goed ontwikkeld

Van Logisch Kader naar tijds- en middelenplanning Resultaten-gebaseerde werkplannings & budgetten 5500 1750 4250 750 400 1100 3100 Budget Salaries Allowances Vehicle Op. Office Tel/Fax Seeds Fertiliser 5000 5500 1250 1750 3750 4250 750 750 400 400 850 1100 2300 3100 Workplan

Activiteitenplanning - wat Workplan Aanhouden van de objectieven-georienteerde benadering van het Logisch Kader Detailleren/uitwerken van de activiteiten volgens de WBS-benadering, uitwerkt per tussentijds resultaat Aanbrengen van de sequentie, de duur en de afhankelijkheden tussen de verschillende activiteiten Identificatie van de mijlpalen Aanduiden wie verantwoordelijk is voor iedere activiteit/taak en in welke hoedanigheid Inbrengen van zg. “beheersactiviteiten”: activiteiten/taken die niet leiden tot een specifiek resultaat maar toch noodzakelijk zijn voor de goede werking van het project en het projectteam.

Activiteitenplanning -beheersactiviteiten Beheersactiviteiten moeten net als andere activiteiten worden gepland omdat ze tijd en middelen vragen. Typische beheersactivteiten zijn: financiële beheersactiviteiten: boekhouding, cash flow planning, financiële statistieken, opmaak gedetaileerde budgetten, aanvragen extra budget, … organisatie van het team : jobbeschrijvingen opstellen, briefing meetings, motivatie van het team tijdsbeheer: herschikken activiteiten, plannen van groepmeetings, follow up activiteiten informationbeheer: vergaderingsnotulen, rapporten kwaliteitscontrole: opvolging van de objectief verifieerbare indicatoren.

Activiteitenplanning - stappen

Middelenplanning – budgettering (1) 5500 1750 4250 750 400 1100 3100 Budget Salaries Allowances Vehicle Op. Office Tel/Fax Seeds Fertiliser 5000 5500 1250 1750 3750 4250 750 750 400 400 850 1100 2300 3100 Middelenplanning – budgettering (1) Aanhouden van de objectieven-georienteerde benadering van het Logisch Kader Inbrengen van de noodzakelijke middelen per activiteit/taak en dus per tussentijds resultaat Laat een resultaats-gebaseerde budgettering en opvolging van de cost-effectiviteit toe Resulteert in een middelenplanning in de tijd Belangrijk onderscheid tussen “investeringen” en “operationele kosten”

Middelenplanning – budgettering (2) Investeringen Gemaakte kosten voor goederen of uitrusting die een langere levensduur hebben dan één boekhoudkundige termijn Typische voorbeelden zijn: projectvoertuigen, constructiemateriaal, computers, allerlei uitrusting. Operationele of terugkerende kosten Deze kosten betreffen goederen of diensten die verbruikt worden in de periode dat ze aangekocht worden. Ze worden normaal uitgedrukt op een tijdsbasis: per dag, per maand, per jaar.

Middelenplanning - stappen

Uitvoering De uitvoering slaat op een systematische beheersactiviteit voor (alle niveau’s van) de projectleiding en omvat alle beheersactiviteiten noodzakelijk om het gestelde projectobjectief te realiseren. Het omvat dus Leiden Voortgangsbewaking (monitoring) Meten Analyseren Beslissen Interim evaluatie

Voortgangsbewaking – wat Actuele uitvoering wordt vergeleken met het plan en indien nodig moeten aanpassende maatregelen genomen worden Het meten van het gebruik van tijd, middelen en geld Het nakomen van alle gemaakte afspraken rond communicatie (zowel formele als informele kanalen), rapportage, realiseren van het projectobjectief en het monitoren van de externe factoren Richt zich vooral op de niveau’s middelen, activiteiten en tussentijdse resultaten uit het Logisch Kader.

Voortgangsbewaking – hoe Voortgangsrapporten: moeten alle afwijkingen tov het plan vermelden Stand van zaken Problemen en knelpunten Beslispunten Te ondernemen stappen Terugkoppelingsformulieren: medewerkers verantwoorden besteede tijd Financiële voortgang opvolgen Project review meetings met betrokkenen Conflicten behandelen en oplossen Pas op: maak de papierwinkel niet te zwaar.

Uitvoering – interim evaluatie Vooral bij langere projecten zal een interim evaluatie dikwijls noodzakelijk zijn De basisvraag is of het bij aanvang gestelde objectievenkader nog van toepassing is in de huidige situatie en of iedereen nog achter de gestelde objectieven kan staan? Met de belanghebbenden wordt in feite de analysefase en de planningfase hernomen, eventueel leidend tot een nieuw Logisch Kader, met een nieuw activiteitenplan en budget Terug onderzoeken van de relevantie, de haalbaarheid en de duurzaamheid van het project en de consequenties ervan opnemen in het werkplan.

Evaluatie – wat Het doel van een evaluatie is lessen te trekken uit de projectervaring en deze lessen vast te leggen voor hergebruik in toekomstige (gelijkaardige) projecten of situaties. Projecten moeten worden geëvalueerd op de relevantie van hun objectievenkader, de efficiëntie van de uitvoering, de effectiviteit van het bereikte projectobjectief, de impact en de duurzaamheid van de resultaten van het project op de ruimere context. De evaluatie moet een invloed hebben op het toekomstige beslissingsproces, de planning en de uitvoering van toekomstige projecten.

Duurzame voordelen en impact Evaluatie - types Gewenste situatie Duurzame voordelen en impact PROJECT Tijd Huidige situatie Ex-post of impact evaluatie Einde-project of finale evaluatie Interim evaluatie

DAC - Principles of evaluation Integrative part of planning and management: closely connected to decision making processes Impartiality & independence of the evaluation process = separation of evaluation and responsibility for the project/ programme/policy) Credibility depending on expertise and independence of the evaluators & transparency to be seeked through an open process, wide availability of results, distinction between findings and recommendations Usefulness: relevant, presented in a clear and concise way, reflecting the interests and needs of the parties involved, easily accessible, timely and at the right moment  improved decision-making Participation of stakeholders (donor, recipient...); if possible: views and expertise of groups affected should form integral part of the evaluation; involving all parties  capacity building

Evaluatie – criteria (1) Duurzaamheid De kans dat de voordelen zullen blijven toevloeien naar de doelgroep nadat het project is beëindigd. Impact Het effect dat het projectobjectief heeft op zijn bredere omgeving en zijn bijdrage tot de algemene objectieven levert. Effectiviteit De mate waarin de tussentijdse resultaten bijdragen tot het bereiken van het projectobjectief en hoe de veronderstellingen de projectresultaten hebben beïnvloed. Efficientie Evalueert de mate waarin de middelen en de tijd werden omgezet tot tussentijdse resultaten en de kwaliteit van die resultaten. Relevantie Beoordeling van de mate waarin de diverse objectieven erin geslaagd zijn tegemoet te komen aan de werkelijke problemen van de begunstigden en de fysische en politieke omgeving waarin het project zich afspeelt.

Evaluatie – criteria (2) Hebben en zullen de voordelen blijven voortvloeien? Welke blijvende voordelen vloeien toe aan de bredere omgeving? Hoe goed droegen de resultaten bij tot het projectobjectief? Hoe goed werden inputs en activiteiten omgezet in het bereiken van resultaten? Hoe relevant was het project om de problemen van de begunstigden op te lossen? duurzaamheid Algemene doelstellingen Impact verandering Projectobjectief + veronderstellingen aanwending Effectivi- teit Resultaten + veronderstellingen actie Efficientie Activiteiten + veronderstellingen toewijzing Middelen + beginvoorwaarden Relevantie

Evaluatie - relevantie Identificatie van de reële problemen en de juiste doelgroepen/begunstigden Algemene ontwerpsterkten en -zwakten, zoals: Kwaliteit van het Logisch Kader (of Logische Kaders als er multi-component sub-projecten zijn) Duidelijkheid en interne consistentie van de vemelde objectieven Zijn de indicatoren (OVI’s) goed gekozen en is er overeenstemming over Realisme in de keuze en de kwantiteit van de middelen/inputs Kwaliteit van de veronderstellingen Graad van flexibiliteit Beoordeling van de absorptiecapaciteit van de organisatie Kwaliteit van de voorbereidende activiteiten Aangepastheid van de voorbereidende consultaties met en de participatie van de belanghebbenden Complementariteit van het project met andere ondernomen activiteiten.

Evaluatie - efficientie Berekent input/kosten per eenheid output t.a.v. van de belanghebbenden Richting gevende vragen: Kon er méér bereikt worden met het gegeven budget? Hebben vergelijkbare projecten méér bereikt tegen een lagere prijs?

Evaluatie - effectiviteit Werden de geplande voordelen bereikt en hoe zijn ze gespreid over de verschillende tijdsperioden? Waren er ook niet geplande resultaten? Welke invloed had dit op de gegenereerde voordelen? Waren de indicatoren passend, en indien niet, heeft de projectleiding ze aangepast? Hoe flexibel heeft de projectleiding zich aangepast aan de zich wijzigende omgeving? Werd ze daarbij gesteund door de kernbetrokkenen? Welke ondersteunende maatregelen werden of hadden moeten genomen worden door de projectactoren, en met welk gevolg?

Evaluatie - impact In welke mate werden de algemene doelen bereikt? Waren de indicatoren op dit niveau passend en terecht? Hoe hebben niet geplande impacts invloed gehad op de algemene doelen? Hoe flexibel hebben de projectactoren (o.a. opdrachtgevende organisatie) ingespeeld op de veranderende omgeving? Kon de gewenste impact beter bereikt worden op een alternatieve manier?

Evaluatie - duurzaamheid Duurzaamheid van het project wordt onderzocht op diverse vlakken: Het commitment van de belanghebbenden De managementondersteuning tav van het project De institutionele capaciteit van de ontvangende organisatie De technologische capaciteit van de ontvangende organisatie De financiële duurzaamheid De economische duurzaamheid

Annexes

Evaluation, Monitoring and Audit What? mainly analysis of efficiency and effectiveness (i.e. measuring actual against planned deliverables); is a systematic management activity How? rapid and continuous analysis, immediately useful to improve on-going actions; of key importance to improving performance Who? internal and external (staff, monitors.....) When? regularly, several times per year

Evaluation, Monitoring and Audit What? mainly analysis of the efficiency, effectiveness, impact, relevance and sustainability of aid policies and actions How? in-depth analysis Who? external evaluators specialised in the subjects evaluated When? once or twice, essentially at the end or 'ex-post' drawing lessons from the past in order to orient future policies and actions but also during implementation: mid-term evaluation to (re-) orient implementation

Evaluation, Monitoring and Audit What? traditionally checks whether financial operations and statements are in compliance with the legal and contractual obligations. More concerned with compliance, but better financial management can also contribute to improving current and future actions. More recently: Performance audit is strongly concerned with questions of efficiency amd good management How? verification of financial records (financial audit) Who? external, professional auditors When? during or after implementation .

Evaluation of Impact Analysis of the overall effects of the project Analysis of the contribution of the project purpose to the overall objectives Focus on long-term changes in the environment of the project “Collection” and analysis of information at the levels of communities and society at large focusing on the final beneficiaries of the project Also analysis of unintended impacts (negative and positive) Overall Objectives Project Purpose + Assumptions Results Activities allocation action utilisation change Impact + Preconditions Means 34

The Logframe and the 3 basic evaluation criteria Overall Objectives Overall Objectives Overall Objectives change change change Impact Project Purpose Project Purpose Project Purpose + Assumptions + Assumptions + Assumptions Effective- ness utilisation utilisation utilisation Results Results Results + Assumptions + Assumptions + Assumptions action action action Activities Efficiency Activities Activities + Assumptions + Assumptions + Assumptions allocation allocation allocation + Pre-conditions Means Means Means + Pre-conditions + Pre-conditions

Evaluation of Efficiency Overall Objectives Project Purpose + Assumptions Results Activities + Preconditions allocation action utilisation change Efficiency Means Analysis on how successful the project has been in transforming the means (i.e. the resources and inputs allocated to the project) through project activities into concrete project results Provides the stakeholders with information on inputs / costs per unit produced 34

Evaluation of Effectiveness Analysis on how well the production of project results contributes to the achievement of the project purpose, i.e.: Are there clear indications of changes and improvements that benefit the beneficiaries of the project? Uses base-line information on the pre-project situation as a starting point Overall Objectives change Project Purpose + Assumptions utilisation Effectiveness Results + Assumptions action Activities + Assumptions allocation + Preconditions Means 34

Annex: Activiteitenplanning – basics (1) Pert Project Evaluation and Review Technique 1958: Planning Polaris ballistische raket Cruciaal aandachtspunt: tijd en onzekerheid Vandaar: probabilistisch gericht en weining aandacht voor middelen CPM Critical Path Method 1956-1959: Dupont-Remington Cruciaal aandachtspunt: tijd/kost trade-off Vandaar: vooral aandacht voor minimale projectkosten Beide maken gebruik van de zg. netwerkplanning, een grafische voorstelling van sequentiële relaties van de verschillende activiteiten Activity-on-arrow: Activity-on-node:

Annex: Activiteitenplanning – basics (2) afhankelijkheden PDM Precedence Diagramming Method Sequentiële activiteiten: De eerste activiteit (A) moet beëindigd zijn vooraleer de tweede activiteit (B) kan starten. Voorafgaande activiteit of voorganger : Activiteit A is de voorganger van B. Activteit A moet beëindigd zijn vooraleer B kan starten. Afhankelijke activiteit : Activiteit B is een afhankelijke activiteit. Ze hangt af van het einde van activiteit A vooraleer ze kan starten. Paralelle activiteiten: Activiteiten (A en B) kunnen tegelijkertijd plaatsgrijpen. Beide A en B zijn onafhankelijk van elkaar en zijn voorgangers voor activiteit C.

Annex: Activiteitenplanning – basics (3) afhankelijkheden Vier types van afhankelijkheden Finish-to-start (FS): B kan enkel starten als A klaar is Start-to-start (SS): B moet op hetzelfde moment starten als A (als de lag time = 0 is) Finish-to-finish (FF): B en A moeten op hetzelfde moment klaar zijn (als de lag time = 0 is) Start-to-finish (SF) : zoals FS maar het plaatst activiteit B vóór A. Lag time (verschil in tijd) : is de tijd die moet verlopen tussen twee afhankelijke activiteiten.

Annex: Activiteitenplanning – basics (4) duur van activiteiten De duur schatten op basis van ervaring, maar wat als er geen ervaring is? Formule: Te = berekende schatting van de duur Tm = meest waarschijnlijke tijd nodig To = optimistische (kortste) tijd (waarin 1% van gelijkaardige projecten verwenlijkt worden) Tp = pessimistische (langste) tijd (waarin 99% van gelijkaardige projecten gerealiseerd worden) Standaard deviatie: in 68,26% van de gevallen zal de taak beëindigd zijn in Te + of - 2 maal de standaard deviatie in 95,44% van de gevallen zal de taak beëindigd zijn in Te + of - 3 maal de standaard deviatie

Annex: Activiteitenplanning – basics (5) critisch pad De minimum projectduur is de kortste termijn waarin een project kan beëindigd worden. Hoe berekenen? Voorwaartse pas Bereken de Earliest Start (vroegste start) (ES) en het Earliest Finish (vroegste einde) (EF) van elke activiteit de EF van de laatste activiteit is de minimum tijd waarin een project kan beëindigd worden. formule: ES + duur = EF

Annex: Activiteitenplanning – basics (6) voorbeeld

Annex: Activiteitenplanning – basics (7) critisch pad Het critisch pad is de sequentie van die activiteiten doorheen het netwerk die de minimum projectduur bepalen. Hoe berekenen? Achterwaartse pas Bereken van het einde naar het begin toe het Latest Finish (laatste einde) (LF) en de Latest Start (laatste start) (LS) van elke activiteit formule: LF – duur = LS Waarvoor nuttig? Om het projectmanagement attent te maken op die activiteiten die de eigenlijke duur van het project bepalen. Uitlopen op die activiteiten maakt dat het project in zijn geheel uitloopt.

Annex: Activiteitenplanning – basics (8) critisch pad Voor activiteiten die niet op het critisch pad liggen is er een veschil tussen hun ES en LS. Dit wordt float of slack (speling) genoemd en duidt de duur aan dat een activiteit mag uitlopen zonder dat het project op zijn geheel zal vertraagd zijn. Activiteiten op het critisch pad hebben een zero speling. Opgepast: bij de uitvoering kan het critisch pad zich verleggen!

Annex: Activiteitenplanning – basics (9) bron – duur - inzet - werk Bron (resource): de mensen of de uitrusting toegewezen aan een taak en de graad van toewijzing (units) (100% is full-time). Duur (duration) is de werkelijke tijd die verloopt voor een taak is afgelopen. Werktijd (work) is de inspanning die bronnen in een taak stoppen. Bijv. twee schilders werken elk twee dagen van 8 uur aan een taak. Totale werk 32 uur. Bron Toewijzing Werktijd Jan 100% 8 uur/dag Piet 50% 4 uur/dag

Annex: Activiteitenplanning – basics (9) bron – duur - inzet - werk Vaste duur: de tijd nodig om te taak te beëindigen wordt vastgelegd, ongeacht het aantal bronnen dat wordt ingezet. Vaste werktijd: de hoeveelheid inspanning (werkuren nodig) wordt bepaald. Inzet van méér bronnen zal de duur verkorten. Vaste inzet: inzet wordt altijd 100% geacht en 1 dag veronderstelt automatisch 8 uur werk. Als de inzet minder dan 100% is zal de (berekende) duur langer worden. Een inzet van 1 dag à 50% maakt dat de duur van de taak 2 dagen bedraagt.

Annex: Activiteitenplanning – basics (10) bron – duur - inzet - werk Vaste duur: 3 dagen Jan: 100% x 3d x 8u = 24u Piet: 100% x 3d x 8u = 24u Totaal: 48u werk maar een duur van 3 dagen Vaste inzet: 3 dagen Inzet is 3 x 8 u Als er slechts partime gewerkt wordt, wordt de duur van de taak 6 dagen Vaste werktijd: 24 u Met één full-time bron: duur van de taak wordt 3 dagen Met twee full-time bronnen: duur van de taak wordt 1,5 d