Professorship Personalised Digital Health: Working on self management with technology and data science Hilbrand Oldenhuis

Health: ‘Health is a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity’ (WHO, 1948). Who is healthy…? What is the aim of health care…?

Health: Now: ‘The ability to adapt and self manage in the face of physical, emotional and social challenges of life’ (Huber et. al., 2011). flexible, dynamic Illness or constraint does not necessarily mean ‘unhealthy’

Health: Core concepts: Self management Focus at functioning in daily life instead of on illness and constraints Resilience Multidisciplinarity: Healthcare and social work more and more intertwined

Focus at self management: How to stimulate self management? eHealth: ‘an attempt to enhance health or health service delivery through use of modern information technology and electronic communication resources’ (Glasgow & Solomon, 2014) Let wel: het gaat altijd primair om het verbeteren van gezondheid, dus om het verhogen van dat vermogen. Technologie is en blijft slechts een tool…! En er staat ook niets over kosten….

Healthcare costs in the Netherlands: 1972: 8% Gross Domestic Product 2010: 13% GDP 2040: 19-31% GDP Causes: More care Better care More expensive care Technology as solution?

Focus at self management : eHealth is promising because of 2 (related) reasons: Patient/consumer is less dependent of (health care) professionals for obtaining relevant information

Example: www.thuisarts.nl Afname bezoek huisarts met 12% (675.000 consulten per maand) Succesfactoren: betrouwbaar, door huisartsen ontwikkeld, up to date, meer dan 90% van de huisartsen gebruikt het, eenvoudig te begrijpen Betrouwbare informatie Regelmatige updates Eindgebruiker centraal Privacy en security Ondersteuning vanuit professionals: >90%

Example: self-tracking devices Deze devices kunnen helpen om meer kennis of eigen gezondheid te verzamelen die op meer gebaseerd is dan vermoedens

Focus at self management: eHealth is promising because of 2 (related) reasons : Patient/consumer is less dependent of (health care) professionals for obtaining relevant information eHealth tools can support patients/consumers (‘personalized’) to behave healthy and in doing so make them less dependent of (health care) professionals in the short as well as in the long run Data science and Persuasive technology Voorbeelden persuasieve technologie: oplichtend pad naar de trap

Behavior Model (Fogg, 2009) Technologie kan op alle drie de elementen inspelen op heel persoonlijk niveau d.m.v. data science/big data: heel veel data uit verschillende bronnen, realtime verzameld. Dat moet ‘smart data’ worden op basis waarvan ’actionable insights’ geformuleerd zouden moeten worden

Focus at self management: Next step: Data mining and data science: searching for meaningful patterns in personal data Result: personally relevant feedback, obtaining meaningful insights concerning health status and behavior, just-in-time tailored feedback Ecological Momentary Assessments and Interventions (EMA and EMI) Om effective interventies met wearables op te kunnen zetten om zelf-management van patienten te verhogen is datamining een veelbelovende aanpak. Data mining is het gericht zoeken naar (statistische) verbanden in gegevensverzamelingen met als doel profielen op te stellen voor wetenschappelijk, journalistiek of commercieel gebruik. De naam komt voort uit de overeenkomsten tussen het zoeken naar statistische verbanden en het graven (mining) naar iets waardevols in een grote berg. (wikipedia). Dit graven in de data kan leiden tot het persoonlijk relevante feedback, het bieden van belangrijke inzichten in gezondheidsgedrag van de gebruiker en het aanbieden van de feedback op het juiste moment. Data van de wearable kan bijvoorbeeld worden gebruikt als input voor het terugkoppelen van feedback via bijvoorbeeld een mobiele applicatie. Het voordeel is dat het 24 per dag beschikbaar is om een gebruiker op het juiste moment de juiste persoonlijke relevante informative te bieden. Dit is ten opzichte van een menselijke coach namelijk niet het geval. Datamining is bijna een voorwaarde om just-in-time tailored feedback mogelijk te maken. Uit onderzoek blijkt dat mensen graag (ramanathan) niet alleen samenvatting van verzamelde data maar ook ontdekken van patronen, trends en afwijkingen over tijd en connecties tussen gedrag en het identificeren van context dat bijdraagt aan positief of negatief gedrag. Inzicht in het feit dat je maar 5 uur hebt geslapen biedt je natuurlijk geen handvaten om tot een goed slaappatroon te komen en kan zelfs frustrerend zijn want mensen weten niet hoe het probleem aan te pakken. Je wilt weten waarom je slecht slaapt en wat je er tegen kunt doen. Om dit soort feedback te kunnen geven is het nodig om verschillende data samen te voegen om  data mining.

Focus at self management: Just-in-time tailored feedback can be obtained in two ways: Controlled discovery of knowledge: with a certain goal doel. Uncontrolled discovery of knowledge: without a certain goal (Fawcett, 2015). ‘Based on data about your eating pattern it is unlikely that you are allergic for gluten. There is a possibility that carbohydrates and caffeine influence your productivity in the afternoon. You may consider the following test to investigate this suggestion.’ Het mergen/aggregeren van data wordt steeds normaler. Iedereen kent bijvoorbeeld de cookies op websites. Deze cookies zorgen ervoor dat jij persoonlijke reclame via google of facebook krijgt aangeboden door bij te houden welke sites jij bezoekt en dus interessant vindt. Dit is ook mogelijk door het combineren van verschillende soorten gedragingen van bijvoorbeeld verschillende soorten wearables. Het is in steeds grotere mate mogelijk om data van verschillende wearables te koppelen op een bepaald platform. Hoewel het nu op kleine schaal gebeurt, ligt de druk op de volgende generatie gezondheids-applicaties op het geavanceerder samenvoegen en vergelijken van data om specifieker feedback te kunnen geven op het juiste moment zoals: Een voorbeeld van feedback dat het systeem je zou kunnen geven: Gebasseerd op data van uw voedingpatroon is het onwaarschijnlijk dat je gevoelig bent voor gluten. Daarentegen lijkt het dat koolhydraten en caffeine een effect heeft op je productiviteit in de middag. De volgende test zou u kunnen toepassen om deze suggestie te bevestigen.

Controlled discovery of knowledge: Based on questions like: Why can I hardly resist the temptation to eat unhealthy snacks in the afternoon? Why do I sleep badly? Het mergen/aggregeren van data wordt steeds normaler. Iedereen kent bijvoorbeeld de cookies op websites. Deze cookies zorgen ervoor dat jij persoonlijke reclame via google of facebook krijgt aangeboden door bij te houden welke sites jij bezoekt en dus interessant vindt. Dit is ook mogelijk door het combineren van verschillende soorten gedragingen van bijvoorbeeld verschillende soorten wearables. Het is in steeds grotere mate mogelijk om data van verschillende wearables te koppelen op een bepaald platform. Hoewel het nu op kleine schaal gebeurt, ligt de druk op de volgende generatie gezondheids-applicaties op het geavanceerder samenvoegen en vergelijken van data om specifieker feedback te kunnen geven op het juiste moment zoals: Een voorbeeld van feedback dat het systeem je zou kunnen geven: Gebasseerd op data van uw voedingpatroon is het onwaarschijnlijk dat je gevoelig bent voor gluten. Daarentegen lijkt het dat koolhydraten en caffeine een effect heeft op je productiviteit in de middag. De volgende test zou u kunnen toepassen om deze suggestie te bevestigen.

Controlled discovery of knowledge: Knowledge discovery from episodes Since the goal is knowledge discovery rather than prediction, another approach is to turn the data into episodes based on the phenomena of interest. If we want to know what caused such events, we can analyze the conditions preceding the event; if we want to know the consequences, we can analyze the states following the event. Bijvoorbeeld: alle verzamelde variabelen voorafgaand aan een goede nachtrust vergelijken met alle verzamelde variabelen voorafgaand aan een slechte nachtrust. Helaas blijft het vaak op basis van een correlatie. Unfortunatly, we don’t know whether the relationship is causal or just a correlation. Fortunately, in the quantified self domain we have an option that doesn’t exist in other domains: We can experiment.

Uncontrolled discovery of knowledge: Augemberg’s Lifestream dataset: 15 variables, 6 months Several correlations… The data is taken from 05-27-2013 through 10-20- 2013/6, about six months (146 rows). He collected 15 variables per day, listed in Table 1. They cover activity (steps, minutes of activity), food intake (calories), sleep (time and efficiency), emotional state (positivity and intensity), happiness, life satisfaction, mental state (alertness, cognition), and general health (health, physical energy, stress). There are strong correlations within a few groups: stress and mood intensity; happiness, mood positivity, and life satisfaction; and calories, moderate activity, and steps. Nadeel is: As with all unsupervised rule discovery, association rule learning in QS has the risk of generating many rules, many of which may not be interesting to the end use. Restricting

Personalized Digital Health Uit lectoraatsaanvraag: Interventies binnen Personalised Digital Health worden geïndividualiseerd en effectief door een sterke koppeling tussen persuasieve technologie en Big Data binnen één feedback loop: gedrag wordt gemeten en geanalyseerd voor het bepalen van een interventie, waarna continue de volgende stappen worden bepaald op basis van geconstateerde effecten. Persuasieve technologie en Big Data zijn in dit verband onlosmakelijk met elkaar verbonden. Omdat het gaat om kenmerken van individuen neemt Big Data hier de vorm aan van Personal Data. De toepassing van Big Data vereist het gebruik van het domein van Data Science dat de kennis, tools en technieken levert om Personal Big Data te analyseren en te interpreteren. CRUCIAAL: aansluiting vragen, problemen, context, domein van toepassing. Kennis van domein helpt bij toepassen data science.

Core project PDH Development of ‘virtual coach’: ‘a computational system that assists the user to support behavior that is desired to improve health or well-being’

Example: eating behavior (Spanakis, Weiss, Boh, Lemmens & Roefs, 2017) Input: data gathered by user: craving for (un)healthy food, emotion, location, activity, time (av. 10 times a day) Process: machine learning algorithms (see: https://www.itacademy.nl/evenementen/it-academy-colleges-data-science for Dutch speaking students) Output: Warning signals for users: ‘DANGER’ Forming groups of users based on the aggregated data on the basis of which new users quickly can be applied to a certain group in order to obtain tailored feedback (‘evening at home’, ‘outdoors/social’, ‘circumstances-driven’, ‘very occasional’, ‘after-activity’, ‘unhealthy-cravings satisfaction’)

Example: physical activity (Yom-Tov, Feraru, Kozdoba, Mannor, Tennenholtz & Hochberg, 2017) Diabetes patients: physical activity very important Increase in number of interventions by means of smartphones and/or web based But still little based on ‘personalized learning algorithm to tailor messages to individuals’ In this study: which message does most likely increase the next day’s activity pattern?

Example: physical activity (Yom-Tov, Feraru, Kozdoba, Mannor, Tennenholtz & Hochberg, 2017) 3 month-period in which different types of feedback were being offered Negative feedback: ‘You need to exercise to reach your activity goals. Please remember to exercise tomorrow.’ Positive feedback related to self: ‘You have so far acieved N% of your weekly activity goal. Your exercise level is in accordance with your plan. Keep up the good work.’ Positive feedback related to others: You have so far acieved N% of your weekly activity goal. You are exercising more than the average person in your group. Keep up the good work.’ No message

Example: physical activity (Yom-Tov, Feraru, Kozdoba, Mannor, Tennenholtz & Hochberg, 2017) 3 month-period in which different types of feedback were being offered Afterwards: learning algorithm decides which type of feedback is most effective based on activity level relative to an individual’s goal Result: more activity and better health-related measures in experimental group

Integration of Knowledge Domains Personalization of triggers: context & timing Experiments with Coaching Strategies

Coaching Strategy Platform Lifestyle & Health Data Platform Storage Personalized Feedback (Advice, EMA, Goal) Lifestyle & Health Data Platform Clustered Big Data Storage Analysis Big Data Analysis (Predictive, Change, Classification, …) Collect Compare Filter Summarize Time Series Coaching Feedback Rules Query Engine (MapReduce) Learn from previous patterns Feedback/EMA Templates LOG BOOK

Applications at HUAS: Functional Fitness Monitor for firemen (prof. Johan de Jong)

Holistic approach (physical-mental-social) Test- and measurement technology individual Monitor-feedback + coaching-effect measures (week on, week off) Zephyr (HF-HRV-BF) Actigraph (physical activity + sleep) Digital questionnaires BORG/mindfulness…(smartphone) (privacy, feasibility, pilot)

Fit for Sustainable Employability (Het Nieuwe Werken HG) Personalized physical activity coaching: a machine learning approach (submitted) personalized-coaching 10.000 Personalized Model Algorithm Training To encourage employees to lead a less sedentary life, the Hanze University of Applied Sciences Groningen started a health promotion program. One of the interventions in the program was the use of an activity tracker to record participants' daily step count. The step count data served as input for a periodical coaching session. Starting from the step count data, we investigated the possibility of automating the coaching on physical activity, by enabling personalized feedback during the day on a participant's progression. The gathered step count data was used to train eight different machine learning algorithms to estimate hourly, the probability of achieving the personal, daily steps threshold. To show the practical usefulness, we constructed a Web application that demonstrates the possibility to determine whether the participant will make his goal for the day, throughout the day, by applying an individualized machine learning algorithm based on previous behavior (http://personalized-coaching.compsy.nl/). Corresponding author: T.B. Dijkhuis, HUAS

Applications: ‘Fit for sustainable employability (FIT4SE) Predictive modelling of employees’ resilience using wearable technology (Herman de Vries) Development of stress prevention app for employees working with digital screen equipment (Aniek Lentferink) Based on self-tracking (heart rate, experience sampling) and e-coaching

Applications: ‘Fit for sustainable employability (FIT4SE) Living lab ‘Healthy Workplace’ (http://www.healthy-workplace.nl/): ‘real-life’ office in which a lot of data is being gathered (behavior, environment, performance) (Justin Timmer, Marion Dam, Jan Gerard Hoendervanger) How can we make sense of the data? And how does that improve employees’ sustainable employability?

Applications: Focus on professionals: Development of app LIV for mental health care professionals (Jessica van der Staak) Based on positive psychology Combined with data concerning life style

Applications: Profiling Data minimization Responsibility Possibilities Barriers Objective insights concerning health Just-in-time tailored feedback Sustainable intervention Scalability Ethics Trust Privacy Profiling Data minimization Purpose limitation Responsibility Wrong suggestions Een redelijke aantal onderzoeken zien de combinatie wearables en datamining als een veelbelovende aanpak door een aantal voordelen. Ten eerste kunnen wearables het persoonlijke leefstijlpatroon betrouwbaarder in kaart brengen dan wanneer iemand een inschatting maakt van de leefstijl uit het verleden. De bewustwording van gezondheidsgedrag door deze objectieve weergave kan een belangrijke eerste stap zijn naar een gezonde leefstijl. Wanneer de data van de wearable wordt gebruikt als input voor het terugkoppelen van feedback via bijvoorbeeld een mobiele applicatie heeft dit het voordeel dat het 24 per dag beschikbaar is om een gebruiker op het juiste moment de juiste persoonlijke relevante informative te bieden. Dit is ten opzichte van een menselijke coach namelijk niet het geval. Datamining is bijna een voorwaarde om just-in-time tailored feedback mogelijk te maken. Eerder onderzoek gaf aan dat deze just-in-time tailored feedback zou kunnen bijdragen aan sustainability, dus langer gebruik van de interventie. Daarnaast hebben de meeste mensen een smartphone tot hun beschikking. Daardoor kan een volledig automatische interventie, dus zonder menselijke coach, veel mensen bereiken tegen relatief lage kosten. Naast het feit dat de combinatie van wearables en datamining veel voordelen biedt, kent het ook een aantal barriers. Veilige opslag van persoonlijke gezondheidsdata zou een voorwaarde moeten zijn. De opslag van al deze persoonlijke data brengt een aantal gevaren met zich mee, zoals profiling: derden verzamelen, analyseren en combineren persoonlijke data om een persoon in een bepaalde categorie te plaatsen. Dit kan leiden tot discriminatie van bepaalde personen in het ergste scenario. Vooral wanneer een persoonlijk verkeerd word gecategoriseerd. Privacy: eigenlijk wordt geadviseerd om zo min mogelijk data op te slaan om privacy te garanderen. Het nadeel is dat je meer persoonlijke data nodig hebt wil je specifieker en relevanter feedback geven in de meeste gevallen. Mocht veilige opslag gegarandeerd zijn, dan nog kan het zo zijn dat mensen het niet prettig vinden dat de data ergens in de cloud wordt opgeslagen. Wat betreft ethiek is het bijvoorbeeld zo dat data vandaag de dag wordt verzameld zonder een vooraf opgesteld duidelijk doel. Dit gaat tegenin de purpose limitation wat eerder de standard was voor het verzamelen van data: je moet vooraf weten welke data je nodig hebt en een duidleijk doel voor ogen hebben met die data. Met datamining is het natuurlijk handig zoveel mogelijk data tot je beschikking te hebben. Daarnaast is het vaak zo dat mensen soms niet eens weten dat bepaalde data wordt verzameld of aan elkaar wordt gekoppeld. En waar leg je de verantwoordelijkheid voor het verzamelen van data? Is een informed consent laten tekenen voldoende of moet je ervanuit gaan dat de gebruikers niet vooraf kunnen voorzien wat er allemaal mogelijk is met de data en dus de gevaren niet kennen? Ook is het natuurlijk zo dat het in sommige situaties ook gevaarlijk kan zijn om via datamining feedback te geven die achteraf fout blijkt te zijn. Conclusie: Kosten en baten moeten afgewogen worden: Waar hechten we meer waarde aan? Alle mogelijkheden dat datamining en wearables ons bieden of alle gevaren dat het met zich mee brengt?

Wrong or false? Based on the data of an employee’s smartwatch, that was offered to him by his employer, he was fired, because it turned out that he was visting the zoo instead of ‘working at home’. By means of a Google Glass you can instantly see a person’s name, address, profession and Facebook page by simpy looking at him/her

Interested? Name: Hilbrand Oldenhuis Function: Professor Personalised Digital Health, Hanzehogeschool Email: h.k.e.oldenhuis@pl.hanze.nl