Human Error Hoe wapent u zich daar tegen ING Ronald van den Bosch

About ING ING is a global financial institution with a strong European base, offering banking services through its operating company ING Bank. The purpose of ING Bank is empowering people to stay a step ahead in life and in business. ING Bank’s more than 52,000 employees offer retail and commercial banking services to customers in over 40 countries. More detailed information can be found on ING.com.

Waarom belangrijk? Facilities, energievoorziening, koeling en netwerkbekabeling zijn de fundatie van het data center. Falen van deze laag hebben effect op alle applicaties.

Drie pijlers Data Center Organisatie Techniek Mens Vaak wordt zwaar ingezet op techniek maar de mensen en organisatie dragen net zo goed bij aan een robuust data center

Swiss Cheese Model (J.Reason, 1990) Tijdens werkzaamheden worden per definitie extra gaten gemaakt in de lagen van defensie. Bij herstellen van storingen worden vaak lagen verwijderd waardoor meer kans op falen ontstaat.

Meerdere lagen van veiligheden Organisatorische maatregelen: Change proces Werkvergunningen Toezicht, vier ogen principe Technische maatregelen Redundantie Preventief onderhoud Menselijke maatregelen Instructie Scholing Organisatie Techniek Mens Het gedrag van mensen wordt vaak als de zwakste schakel in de keten gezien, omdat dit gedrag in vergelijking met de techniek onvoorspelbaar is en mensen fouten kunnen maken.

15 jaar Analyse van “Abnormal” DC incidents Bron: Uptime Institute Catastrofale incidenten zijn nooit het gevolg van één oorzaak; er zijn tussen de 5 en 10 (typisch 7) opeenvolgende incidenten nodig om ongeplande down time te veroorzaken. 70% van deze catastrofes hebben te maken met menselijk handelen 2/3 (50% van totaal) hebben te maken met management (latente fouten) 1/3 (20% van totaal) hebben te maken met individuele fout (overtreding van regels en foute handelingen) Met management wordt ook bedoeld de organisatie van werkzaamheden en het operationele toezicht op de uitvoering daarvan.

Karol Joseph “Bo” Bobko Bo’s law The fastest way to get yourself killed on a manned space flight is not to follow standard operating procedures The second quickest way to get yourself killed is to always follow standard operating procedures Karol Joseph “Bo” Bobko Om human error te voorkomen zijn procedures, bijvoorbeeld draaiboeken en schakelbrieven, van belang. Echter moeten deze met verstand worden uitgevoerd, ook schakelbrieven kunnen fouten bevatten of er ontstaan onverwachte situaties.

Wat is human error Human error Risicovol gedrag Roekeloos gedrag Onbedoelde actie: Vergissing, Uitgeschoten, … Een keuze: Risico niet herkend, Risico onvoldoende ingeschat. Bewust negeren van latente risico’s: Bewust onveilig werken Overgenomen van PSOW Conference 2015 Paramedic Systems of Wisconsin

Wat is human error Human error Risicovol gedrag Roekeloos gedrag Onbedoelde actie: Vergissing, Verkeerd begrepen, … Een keuze: Risico niet herkend, Risico onvoldoende ingeschat. Bewust negeren van latente risico’s: Bewust onveilig werken Beïnvloeden door: Processen Procedures Training Ontwerp Omgeving Haal prikkels weg voor risicovol gedrag Stimuleer veilig gedrag Vergroot het risico bewust zijn Beïnvloed door: Corrigerende maatregelen Strafmaatregelen Human error en risicovol gedrag is te verminderen met training en opleding.

Stel een opleidingsmatrix op   Technisch Beheerder Projectleider Service manager Functie gebonden opleidingen Locatie gebonden opleidingen Taken Bevoegdheden Verantwoordelijkheden Competenties Voor elke organisatie en elke functie is een eigen matrix op te stellen met vaardigheden die daarvoor gewenst zijn.

Training en opleiding Introductie nieuwe medewerker Flyers, In Case of Emergency, huisregels Uitwerken en vastleggen (werk-)processen Instructie werkzaamheden in DC On the job training Incidenten oefeningen Uitvoeren testscenario’s Oefenen noodprocedures CDCxP, Certified Data Center xxx Professional Extern toetsen b.v. The Uptime Institute Mogelijkheden zij uiteenlopend van korte werkinstructie tot uitgebreide opleidingen. Er zijn mogelijkheden om dit extern te toetsen.

Van de andere kant benaderd High Reliability Organisations (HiRO) managen complexe technologie om catastrofale incidenten te voorkomen die een organisatie verlammen of kunnen vernietigen. (J. Reasen 2000) Denk aan organisaties zoals: Vliegdekschepen Kerncentrales Petrochemische industrie Data Centers Er zijn vergelijkbare organisaties waar de fouttolerantie laag is. Hoewel door J. Reasen niet genoemd schaar ik data centers daar ook onder.

High Reliability Organisations (J. Reasen 2000) Misschien wel het belangrijkste onderscheidende kenmerk van hoge betrouwbaarheid organisaties is hun collectieve zorg over mogelijk falen. Ze verwachten fouten te maken en trainen hun personeel om dit te herkennen en te herstellen. In HiRO organisaties zijn medewerkers voorbereid op falen. Training is daarin een sleutelwoord.

Is uw kennis voldoende geborgd?

Contactgegevens ING Facilities Data Centers Ronald van den Bosch ronald.van.den.bosch@ing.nl