De virtuele presentator Herwin van Welbergen Begeleiders: Dr. Job Zwiers Prof. Dr. Ir. Anton Nijholt Ir. Dennis Reidsma.

Presentatie over: "De virtuele presentator Herwin van Welbergen Begeleiders: Dr. Job Zwiers Prof. Dr. Ir. Anton Nijholt Ir. Dennis Reidsma."— Transcript van de presentatie:

1 De virtuele presentator Herwin van Welbergen Begeleiders: Dr. Job Zwiers Prof. Dr. Ir. Anton Nijholt Ir. Dennis Reidsma

2 6/1/2015Human Media Interaction2 Inhoud Opdrachtomschrijving Proces van presenteren Focus en aanpak Architectuur Scripttaal Synchronisatie van spraak en gebaar Spraak Lichaamshouding Wijsgebaar Onbewuste bewegingen Demo Evaluatie Mogelijke uitbreidingen

3 6/1/2015Human Media Interaction3 Opdrachtomschrijving Tijdens een presentatie worden verschillende kanalen (modaliteiten) gebruikt om informatie over te brengen Spraak Gebaar Sheets Maak een realistische, virtuele, menselijke presentator in een 3D vergaderruimte die gebruik maakt van deze verschillende modaliteiten om te presenteren

4 6/1/2015Human Media Interaction4 Proces van presenteren

5 6/1/2015Human Media Interaction5 Focus en aanpak Alleen het uitvoer proces word gebouwd De invoer van dit proces staat beschreven in een script Dus: maak een architectuur die het mogelijk maakt om uitingen op meerdere modaliteiten te laten zien Demonstreer de werkbaarheid van deze architectuur door een aantal modaliteiten te implementeren Spraak Wijsgebaar Sheet wisseling Postuur wisseling

6 6/1/2015Human Media Interaction6 Architectuur: eisen Timing/synchronisatie Consistentie Uitbreidbaarheid Onderbreekbaar => real-time technieken Gebruik maken van bestaande vergaderruimte

7 6/1/2015Human Media Interaction7 Architectuur: vergaderruimte

8 6/1/2015Human Media Interaction8 Architectuur: sheets

9 6/1/2015Human Media Interaction9 Architectuur

10 6/1/2015Human Media Interaction10 Scripttaal: doel Beschrijft de acties op verschillende modaliteiten Beschrijft de synchronisatie tussen de acties

11 6/1/2015Human Media Interaction11 MultiModalSync Iedere modaliteit heeft een eigen kanaal De kanalen worden gesynchroniseerd door telkens 1 kanaal te laten ‘leiden’

12 6/1/2015Human Media Interaction12 MultiModalSync: voorbeeld

13 6/1/2015Human Media Interaction13 Synchronisatie van gebaar en spraak Fases van een gebaar Preparatie (optioneel) Stroke Retractie (optioneel) fonologische synchronisatie regel: de stroke van een gebaar gaat vooraf aan of eindigt op de fonologische piek lettergreep van de bijbehorende spraak Dus: de stroke moet gesynchroniseerd worden met de piek van de bijbehorende spraak

14 6/1/2015Human Media Interaction14 Spraak Loquendo TTS Synchronizatie met gebaren op woord- niveau Lipsynchronisatie Volume van de spraak=>opening van de mond

15 6/1/2015Human Media Interaction15 Lichaamshouding Defineerd start en eind positie voor de ledematen voor gesture units Wisseling van houding door interpolatie van de begin naar de eind-houding

16 6/1/2015Human Media Interaction16 Wijsgebaar Welke modaliteit (linker hand, rechter hand, hoofd) Hoe lang duurt de preparatie fase Wat is de eind-positie van hand of hoofd Hoe beweegt de hand/het hoofd

17 6/1/2015Human Media Interaction17 Wijsgebaar: modaliteit Wijs naar links met de linkerhand en naar rechts met de rechterhand Oog fixeert op het 'doelwit' gedurende een wijsbeweging Handen bezig met iets anders => wijzen met het hoofd

18 6/1/2015Human Media Interaction18 Wijsgebaar: wet van Fitts Voorspelt de tijd nodig om van een bepaalde start positie naar een eindgebied te bewegen Deze tijd wordt bepaald door de af te leggen afstand en de grootte van het doelwit Modelleerd snelle, gerichte wijs acties Kan dus gebruikt worden om de minimum preparatie tijd te bepalen

19 6/1/2015Human Media Interaction19 Wijsgebaar: Wat is de eindpositie van de hand? De presenter wijst met alleen schouder, elleboog en hand De positie van de pols is gegeven Probleem: wat is de rotatie van de elleboog en de schouder? Analytische oplossing met 1 vrijheidsgraad De elleboog wijst altijd naar beneden

20 6/1/2015Human Media Interaction20 Wijsgebaar: Wat is de eindpositie van het hoofd? De nek heeft 3 vrijheidsgraden De neus op een doelwit richten is een tweedimensionaal probleem Donders wet voor het hoofd: bij iedere kijkrichting horen 3 unieke waardes voor de vrijheidsgraden

21 6/1/2015Human Media Interaction21 Wijsgebaar: Hoe beweegt de hand Snelheidsgrafiek is bubbelvorming Bubbel hoeft niet symmetrisch te zijn Instelbaar: Lengte acceleratie fase Maximum snelheid Aanname De elleboog en hand volgen het kortste pad naar de eindpositie

22 6/1/2015Human Media Interaction22 Wijsgebaar: Hoe beweegt het hoofd De rotatie as van het hoofd is constant gedurende een wijs-kijk beweging De snelheidheidsgrafiek is bubbelvormig

23 6/1/2015Human Media Interaction23 Wijsgebaar: retractie(1) Theorie: Als er een retractie fase is, dan is de beweging in de retractie symmetrisch met die in de preparatie Getest met behulp van videos

24 6/1/2015Human Media Interaction24 Wijsgebaar: retractie(2)

25 6/1/2015Human Media Interaction25 Wijsgebaar: retractie(3) Regels Als het wijsgebaar direct gevolgd wordt door een ander gebaar: sla retractie over en begin met het nieuwe gebaar Zo niet, beweeg dan terug naar de rust positie op dezelfde manier als de er bewogen is in de preparatie (maar achteruit)

26 6/1/2015Human Media Interaction26 Wijsgebaar: Demo

27 6/1/2015Human Media Interaction27 Onbewuste bewegingen Zelfs als we stil staan beweegt ons lichaam op subtiele wijze Ogen knipperen Borstkas en schouders bewegen bij ademen Balanceren Een virtueel mens dat niet dit soort bewegingen maakt ziet er stijf uit Simulatie door kleine willekeurige beweging van gewrichten

28 6/1/2015Human Media Interaction28 Demo

29 6/1/2015Human Media Interaction29 Evaluatie: architectuur Timing Timing op woord niveau is voldoende om aan de fonologische synchronisatie regel te voldoen Meer variatie in timing en strakkere planning kan bereikt worden door de fonologische piek in woorden te identificeren Het model van de wisselende leidende modaliteit is flexibeler dan het gebruik van spraak als leidende modaliteit

30 6/1/2015Human Media Interaction30 Evaluatie: architectuur(2) Consistentie Zoals voorspeld: consistentie conflicten tussen geïmplementeerde en niet geïmplementeerde modaliteiten Uitbreidbaarheid De architectuur wordt en is gebruikt in andere projecten Presenter met interruptie (Jaak Vlasveld) Virtuele gids (Marco van Kessel)

31 6/1/2015Human Media Interaction31 Evaluatie: afzonderlijke modaliteiten Sheets Door rechthoekige gebieden te identificeren kan het wijsgebaar aangepast worden aan de vorm van het gebied Spraak Lichaamshouding Zijn handig om begin en eindpositie van gebaren aan te geven Veranderingen van lichaamshouding zien er niet mooi uit

32 6/1/2015Human Media Interaction32 Evaluatie: Onbewuste beweging Doel: verminderen stijfheid van de presentator Geëvalueerd met gebruikers test 17 proefpersonen vonden de onbewust bewegende presentator natuurlijker 1 proefpersoon zag geen verschil 2 proefpersonen vonden de niet onbewust bewegende presenter natuurlijker Alle proefpersonen vonden de onbewust bewegende presenter minder stijf

33 6/1/2015Human Media Interaction33 Evaluatie: Wijsgebaar Wet van Fitts 3 van de 4 wijsgebaren in de voorbeeldpresentatie konden gemodelleerd worden met de wet van Fitts Minimum tijd nuttig voor planner Symmetrie Wet van Donders IK-techniek Real-time Ziet er wat stijf uit omdat alleen schouder en elleboog gebruikt worden

34 6/1/2015Human Media Interaction34 Mogelijke uitbreidingen Spraak Synchronisatie op lettergreep of piek Wijsgebaar Animatie voor de stroke Minder stijf Verandering van lichaamshouding Voorgebakken animatie Animatie model

35 6/1/2015Human Media Interaction35 Mogelijke uitbreidingen: meer types gebaren Meer types gebaren Beat Iconisch Metaforisch

36 6/1/2015Human Media Interaction36 Vragen

37 6/1/2015Human Media Interaction37 Borrel Torenkamer Bastille

38 6/1/2015Human Media Interaction38 Eastereggs

39 6/1/2015Human Media Interaction39 Waarom virtuele mensen? Tonen en valideren van theorieen over menselijk gedrag of menselijke beweging Mensen reageren op media op dezelfde manier als ze op mensen reageren Theorie: door interactie met media menselijker te maken wordt deze plezieriger en efficienter

40 6/1/2015Human Media Interaction40 Bestaande script-talen(1) Gebruik van stempels met vaste tijden (NITE-XML, CoGest, etc) Vooral gebruikt voor annotatie Limiteerd flexibiliteit, de timing van alle acties moet van te voren bepaald worden SMIL-achtige aanpak (CML, STEP,VHML) Gebruikt par, seq and wait Iedere mogelijke manier van synchronizatie kan hiermee uitgedrukt worden Verschillende modaliteiten zijn niet duidelijk gescheiden Het hele script moet gelezen worden voordat met de uitvoer begonnen kan worden

41 6/1/2015Human Media Interaction41 Bestaande script-talen(2) Defineer een hoofd modaliteit die de timing van de andere modaliteiten bepaald Er bestaat geen modaliteit die de timing van alle andere modaliteiten bepaald Als zo’n modaliteit zou bestaan, dan zou deze moeten kunnen wisselen

42 6/1/2015Human Media Interaction42 Mogelijke uitbreidingen: gebaar/spraak selectie Welke gebaren de presenter gebruikt en wat hij zegt komt nu uit een script Volgende logische abstractiestap: maak het proces dat bepaald welke gebaren en welke spraak geselecteerd worden Bestaand werk: Voor wijsgebaren (Krahmer) Voor iconische gebaren (Cassel)

43 6/1/2015Human Media Interaction43 Andere mogelijke uitbreidingen Interruptie Geavanceerdere presenter Gebruik van vingers voor gebaren Realistische modellen voor bijv. ademen en knipperen van ogen Stijl en emotie

44 6/1/2015Human Media Interaction44 Mogelijke uitbreidingen: meer types gebaren Meer types gebaren Beat Iconisch Metaforisch Conflict oplossing Kies een andere modaliteit Combineer gebaren Voer een van de gebaren niet uit

45 6/1/2015Human Media Interaction45 Gebaar: Wat is een gebaar? Een beweging van het lichaam of de ledematen dat een idee uitdrukt of bekrachtigt Wat is het verschil met andere lichaamsbeweging? Gebaren zijn symmetrisch Piek structuur Duidelijk start en einde

46 6/1/2015Human Media Interaction46 Gebaar: structuur Gesture unit: meerder gebaren die direct achter elkaar worden uitgevoerd

47 6/1/2015Human Media Interaction47 Eisen aan het presentatie-script De synchronisatie moet niet af hangen van constante tijds waarden De synchronizerende modaliteit moet veranderd kunnen worden De modaliteiten moeten duidelijk gescheiden zijn, zodat het script goed te lezen is Het moet mogelijk zijn om te beginnen met de executie van het script voordat het volledig ingelezen en gepland is

48 6/1/2015Human Media Interaction48 MultiModalSync(2) Kanalen worden parallel uitgevoerd Binnen een kanaal worden de expressies sequentieel uitgevoerd Synchronisatie punten kunnen binnen kanalen of binnen expressies worden gedefineerd Een kanaal kan gesynchronizeerd worden met andere kanalen, door te wachten op een synchronizatie punt Expressions kunnen gebruik maken van synchronizatie punten voor hun timing