De virtuele presentator Herwin van Welbergen Begeleiders: Dr. Job Zwiers Prof. Dr. Ir. Anton Nijholt Ir. Dennis Reidsma.

Slides:



Advertisements
Verwante presentaties
Basiselementen in een goede schoolslag (tips en tricks)
Advertisements

Tips voor een goede PowerPointpresentatie
Aantal spelers. : keeper. Datum. : Teamfunctie
Generatief Leiderschap
Bevrijdingsgrepen.
Beginnen met PowerPoint Ga nu naar dia 2.
Time management in het onderwijs
Precht 2 Blz 53 t/m 101.
1 Motion Planning (simpel) •Gegeven een “robot” A in een ruimte W, een verzameling obstakels B, en een start en doel positie, bepaal een beweging voor.
Digitaal Presenteren Publiek boeien Aandacht vasthouden s.
Kunstproject groep 8.
Dienstencatalogus 24 november Programma Wat is een productencatalogus Alle componenten op een rij – De generieke informatie – De specifieke informatie.
Communicatief gedrag + / -
Succesvol communiceren met je klant!
PowerPoint creatief met effecten
27 januari 2013 PTC Barneveld José Oost, Heddy Boelsma & Rob de Bruin
VBS De Bron Meester Ronny Marc Horst
Hoog Leer noten lezen! Deel 1 Laag A - B - C - D - E - F - G
Practica Computerlinguistiek Tekst en uitleg:
Par 3.1: Van stad naar stedelijke zone
Is cosmology a solved problem?. Bepaling van Ω DM met behulp van rotatie krommen.
Project D2: Kempenland Sander Verkerk Christian Vleugels
Niet-rechtlijnige beweging Vr.1
CURSUS NEUROBIOFYSICA
MEDMEC01 Elske Revelman de Vries Mail:
MEDMEC01 – Q1 – JAAR 1 THEMA: het creatieve proces MODULEWIJZER
Stoffen, moleculen en atomen
1 Complexiteit Bij motion planning is er sprake van drie typen van complexiteit –Complexiteit van de obstakels (aantal, aantal hoekpunten, algebraische.
The art of game design Hoofdstuk 20 en 21.
Idee Generatie Wit Papier, Warcraft 3, Thrall, Hoofdpijn, denken, rare les, Karel aan het ijsberen, Schrijven, Opdracht, Schaken, Stappen, Oplichten, Vooruit.
HOGER BEDRIJFSDIPLOMA Hans Daale 8 april Na te lopen… Waarom nu een discussie over een HBd Waarom nu een discussie over een HBd Wat is dan eigenlijk.
WSNS 4 oktober 2007 “Als je doet wat je deed, krijg je wat je kreeg”.
Optimaliseer de communicatie Begrip geeft opening tot samenwerking.
Klas 2 m en herhaling voor klas 3 m
Het werken met portfolio
3 terugkomende trends en hoe worden deze toegepast?
Van probleem naar programma
Ruimte Afstemming in de ruimt eist dat de spieren samenwerken: Intermusculaire coördinatie.
Onderwerp: Aannames A B symbolen Training van de week.
Spreuken: De nederige wijze.
Samenwerken.
6 stappen in Risico management
Onze doelen en visie in beeld
ANW Module 2 Leven Door Gabriella, Melanie, Elise en Fabienne van v4.
Leerstijlen KOLB SJM.
Dia1 Microsoft PowerPoint is een computerprogramma van Microsoft. Het is een pakket waarmee vooral gemakkelijk presentaties gemaakt kunnen worden die.
Shake Song Fort van de Verbeelding Bovenbouw Groep 7 en 8 (en soms ook groep 6)
Methodiek: Plancyclus
Les: Presenteren LBB – Module Groen Ondernemen Coen van Wetering.
Hoe maak ik een PowerPoint presentatie?
Inloggen >> Gegevensaanlevering en controle in Peridos In Release 3.3 van Peridos is er een nieuwe module gebouwd voor het aanleveren en bekijken van gegevens.
Marketing Coen van Wetering
Ontwerpen van E-modules. Inleiding Video en audio Deze e-module maakt gebruik van audio en video. Test hier je geluid en stel het juiste volume in. Als.
Ouderavond Slim Fit unit 5 t/m 8. Inhoud / programma van deze ouderavond Hoe zag onze proefweek eruit? Wat houdt Slim Fit in voor unit 5 t/m 8? Enkele.
Hoogwater Beschermings Programma Contract Spagaat voor risico’s Kabels en Leidingen Hennes de Ridder.
Trimester 2. Hfdst 1: e-Presentatie, master! e-Presentatie Met de hulp van Powerpoint gaan we leren hoe we een elektronische presentatie kan maken.
Hoe zet je leerlingen aan het werk?
IF() ELSE() LES 4: VOORWAARDEN. BOOL Een variabele die slechts 2 mogelijke waarden kan hebben: true(waar) of false(niet waar) duid je aan met bool bool.
# Datum : Teamfunctie : Aanvallen Doelstelling technisch
Lean Six Sigma - Verbetermanagement
Training : 9 Teamfunctie : Verdedigen Doelstelling technisch
Gevorderde programmeer Les
Training : 4 Teamfunctie : Aanvallen Doelstelling technisch
Datum : Teamfunctie : Verdedigen Doelstelling technisch
Digi(bord)boek project <titel project>
De gyroscoop en omgaan met overgevoeligheid
Studie vaardigheden Thema 2 : Plannen.
Twee manieren van benadering
Klantgericht werken StudyEvent Mobiliteit in Beweging
Hoe is menselijke taal ontstaan?
Transcript van de presentatie:

De virtuele presentator Herwin van Welbergen Begeleiders: Dr. Job Zwiers Prof. Dr. Ir. Anton Nijholt Ir. Dennis Reidsma

6/1/2015Human Media Interaction2 Inhoud Opdrachtomschrijving Proces van presenteren Focus en aanpak Architectuur Scripttaal Synchronisatie van spraak en gebaar Spraak Lichaamshouding Wijsgebaar Onbewuste bewegingen Demo Evaluatie Mogelijke uitbreidingen

6/1/2015Human Media Interaction3 Opdrachtomschrijving Tijdens een presentatie worden verschillende kanalen (modaliteiten) gebruikt om informatie over te brengen Spraak Gebaar Sheets Maak een realistische, virtuele, menselijke presentator in een 3D vergaderruimte die gebruik maakt van deze verschillende modaliteiten om te presenteren

6/1/2015Human Media Interaction4 Proces van presenteren

6/1/2015Human Media Interaction5 Focus en aanpak Alleen het uitvoer proces word gebouwd De invoer van dit proces staat beschreven in een script Dus: maak een architectuur die het mogelijk maakt om uitingen op meerdere modaliteiten te laten zien Demonstreer de werkbaarheid van deze architectuur door een aantal modaliteiten te implementeren Spraak Wijsgebaar Sheet wisseling Postuur wisseling

6/1/2015Human Media Interaction6 Architectuur: eisen Timing/synchronisatie Consistentie Uitbreidbaarheid Onderbreekbaar => real-time technieken Gebruik maken van bestaande vergaderruimte

6/1/2015Human Media Interaction7 Architectuur: vergaderruimte

6/1/2015Human Media Interaction8 Architectuur: sheets

6/1/2015Human Media Interaction9 Architectuur

6/1/2015Human Media Interaction10 Scripttaal: doel Beschrijft de acties op verschillende modaliteiten Beschrijft de synchronisatie tussen de acties

6/1/2015Human Media Interaction11 MultiModalSync Iedere modaliteit heeft een eigen kanaal De kanalen worden gesynchroniseerd door telkens 1 kanaal te laten ‘leiden’

6/1/2015Human Media Interaction12 MultiModalSync: voorbeeld

6/1/2015Human Media Interaction13 Synchronisatie van gebaar en spraak Fases van een gebaar Preparatie (optioneel) Stroke Retractie (optioneel) fonologische synchronisatie regel: de stroke van een gebaar gaat vooraf aan of eindigt op de fonologische piek lettergreep van de bijbehorende spraak Dus: de stroke moet gesynchroniseerd worden met de piek van de bijbehorende spraak

6/1/2015Human Media Interaction14 Spraak Loquendo TTS Synchronizatie met gebaren op woord- niveau Lipsynchronisatie Volume van de spraak=>opening van de mond

6/1/2015Human Media Interaction15 Lichaamshouding Defineerd start en eind positie voor de ledematen voor gesture units Wisseling van houding door interpolatie van de begin naar de eind-houding

6/1/2015Human Media Interaction16 Wijsgebaar Welke modaliteit (linker hand, rechter hand, hoofd) Hoe lang duurt de preparatie fase Wat is de eind-positie van hand of hoofd Hoe beweegt de hand/het hoofd

6/1/2015Human Media Interaction17 Wijsgebaar: modaliteit Wijs naar links met de linkerhand en naar rechts met de rechterhand Oog fixeert op het 'doelwit' gedurende een wijsbeweging Handen bezig met iets anders => wijzen met het hoofd

6/1/2015Human Media Interaction18 Wijsgebaar: wet van Fitts Voorspelt de tijd nodig om van een bepaalde start positie naar een eindgebied te bewegen Deze tijd wordt bepaald door de af te leggen afstand en de grootte van het doelwit Modelleerd snelle, gerichte wijs acties Kan dus gebruikt worden om de minimum preparatie tijd te bepalen

6/1/2015Human Media Interaction19 Wijsgebaar: Wat is de eindpositie van de hand? De presenter wijst met alleen schouder, elleboog en hand De positie van de pols is gegeven Probleem: wat is de rotatie van de elleboog en de schouder? Analytische oplossing met 1 vrijheidsgraad De elleboog wijst altijd naar beneden

6/1/2015Human Media Interaction20 Wijsgebaar: Wat is de eindpositie van het hoofd? De nek heeft 3 vrijheidsgraden De neus op een doelwit richten is een tweedimensionaal probleem Donders wet voor het hoofd: bij iedere kijkrichting horen 3 unieke waardes voor de vrijheidsgraden

6/1/2015Human Media Interaction21 Wijsgebaar: Hoe beweegt de hand Snelheidsgrafiek is bubbelvorming Bubbel hoeft niet symmetrisch te zijn Instelbaar: Lengte acceleratie fase Maximum snelheid Aanname De elleboog en hand volgen het kortste pad naar de eindpositie

6/1/2015Human Media Interaction22 Wijsgebaar: Hoe beweegt het hoofd De rotatie as van het hoofd is constant gedurende een wijs-kijk beweging De snelheidheidsgrafiek is bubbelvormig

6/1/2015Human Media Interaction23 Wijsgebaar: retractie(1) Theorie: Als er een retractie fase is, dan is de beweging in de retractie symmetrisch met die in de preparatie Getest met behulp van videos

6/1/2015Human Media Interaction24 Wijsgebaar: retractie(2)

6/1/2015Human Media Interaction25 Wijsgebaar: retractie(3) Regels Als het wijsgebaar direct gevolgd wordt door een ander gebaar: sla retractie over en begin met het nieuwe gebaar Zo niet, beweeg dan terug naar de rust positie op dezelfde manier als de er bewogen is in de preparatie (maar achteruit)

6/1/2015Human Media Interaction26 Wijsgebaar: Demo

6/1/2015Human Media Interaction27 Onbewuste bewegingen Zelfs als we stil staan beweegt ons lichaam op subtiele wijze Ogen knipperen Borstkas en schouders bewegen bij ademen Balanceren Een virtueel mens dat niet dit soort bewegingen maakt ziet er stijf uit Simulatie door kleine willekeurige beweging van gewrichten

6/1/2015Human Media Interaction28 Demo

6/1/2015Human Media Interaction29 Evaluatie: architectuur Timing Timing op woord niveau is voldoende om aan de fonologische synchronisatie regel te voldoen Meer variatie in timing en strakkere planning kan bereikt worden door de fonologische piek in woorden te identificeren Het model van de wisselende leidende modaliteit is flexibeler dan het gebruik van spraak als leidende modaliteit

6/1/2015Human Media Interaction30 Evaluatie: architectuur(2) Consistentie Zoals voorspeld: consistentie conflicten tussen geïmplementeerde en niet geïmplementeerde modaliteiten Uitbreidbaarheid De architectuur wordt en is gebruikt in andere projecten Presenter met interruptie (Jaak Vlasveld) Virtuele gids (Marco van Kessel)

6/1/2015Human Media Interaction31 Evaluatie: afzonderlijke modaliteiten Sheets Door rechthoekige gebieden te identificeren kan het wijsgebaar aangepast worden aan de vorm van het gebied Spraak Lichaamshouding Zijn handig om begin en eindpositie van gebaren aan te geven Veranderingen van lichaamshouding zien er niet mooi uit

6/1/2015Human Media Interaction32 Evaluatie: Onbewuste beweging Doel: verminderen stijfheid van de presentator Geëvalueerd met gebruikers test 17 proefpersonen vonden de onbewust bewegende presentator natuurlijker 1 proefpersoon zag geen verschil 2 proefpersonen vonden de niet onbewust bewegende presenter natuurlijker Alle proefpersonen vonden de onbewust bewegende presenter minder stijf

6/1/2015Human Media Interaction33 Evaluatie: Wijsgebaar Wet van Fitts 3 van de 4 wijsgebaren in de voorbeeldpresentatie konden gemodelleerd worden met de wet van Fitts Minimum tijd nuttig voor planner Symmetrie Wet van Donders IK-techniek Real-time Ziet er wat stijf uit omdat alleen schouder en elleboog gebruikt worden

6/1/2015Human Media Interaction34 Mogelijke uitbreidingen Spraak Synchronisatie op lettergreep of piek Wijsgebaar Animatie voor de stroke Minder stijf Verandering van lichaamshouding Voorgebakken animatie Animatie model

6/1/2015Human Media Interaction35 Mogelijke uitbreidingen: meer types gebaren Meer types gebaren Beat Iconisch Metaforisch

6/1/2015Human Media Interaction36 Vragen

6/1/2015Human Media Interaction37 Borrel Torenkamer Bastille

6/1/2015Human Media Interaction38 Eastereggs

6/1/2015Human Media Interaction39 Waarom virtuele mensen? Tonen en valideren van theorieen over menselijk gedrag of menselijke beweging Mensen reageren op media op dezelfde manier als ze op mensen reageren Theorie: door interactie met media menselijker te maken wordt deze plezieriger en efficienter

6/1/2015Human Media Interaction40 Bestaande script-talen(1) Gebruik van stempels met vaste tijden (NITE-XML, CoGest, etc) Vooral gebruikt voor annotatie Limiteerd flexibiliteit, de timing van alle acties moet van te voren bepaald worden SMIL-achtige aanpak (CML, STEP,VHML) Gebruikt par, seq and wait Iedere mogelijke manier van synchronizatie kan hiermee uitgedrukt worden Verschillende modaliteiten zijn niet duidelijk gescheiden Het hele script moet gelezen worden voordat met de uitvoer begonnen kan worden

6/1/2015Human Media Interaction41 Bestaande script-talen(2) Defineer een hoofd modaliteit die de timing van de andere modaliteiten bepaald Er bestaat geen modaliteit die de timing van alle andere modaliteiten bepaald Als zo’n modaliteit zou bestaan, dan zou deze moeten kunnen wisselen

6/1/2015Human Media Interaction42 Mogelijke uitbreidingen: gebaar/spraak selectie Welke gebaren de presenter gebruikt en wat hij zegt komt nu uit een script Volgende logische abstractiestap: maak het proces dat bepaald welke gebaren en welke spraak geselecteerd worden Bestaand werk: Voor wijsgebaren (Krahmer) Voor iconische gebaren (Cassel)

6/1/2015Human Media Interaction43 Andere mogelijke uitbreidingen Interruptie Geavanceerdere presenter Gebruik van vingers voor gebaren Realistische modellen voor bijv. ademen en knipperen van ogen Stijl en emotie

6/1/2015Human Media Interaction44 Mogelijke uitbreidingen: meer types gebaren Meer types gebaren Beat Iconisch Metaforisch Conflict oplossing Kies een andere modaliteit Combineer gebaren Voer een van de gebaren niet uit

6/1/2015Human Media Interaction45 Gebaar: Wat is een gebaar? Een beweging van het lichaam of de ledematen dat een idee uitdrukt of bekrachtigt Wat is het verschil met andere lichaamsbeweging? Gebaren zijn symmetrisch Piek structuur Duidelijk start en einde

6/1/2015Human Media Interaction46 Gebaar: structuur Gesture unit: meerder gebaren die direct achter elkaar worden uitgevoerd

6/1/2015Human Media Interaction47 Eisen aan het presentatie-script De synchronisatie moet niet af hangen van constante tijds waarden De synchronizerende modaliteit moet veranderd kunnen worden De modaliteiten moeten duidelijk gescheiden zijn, zodat het script goed te lezen is Het moet mogelijk zijn om te beginnen met de executie van het script voordat het volledig ingelezen en gepland is

6/1/2015Human Media Interaction48 MultiModalSync(2) Kanalen worden parallel uitgevoerd Binnen een kanaal worden de expressies sequentieel uitgevoerd Synchronisatie punten kunnen binnen kanalen of binnen expressies worden gedefineerd Een kanaal kan gesynchronizeerd worden met andere kanalen, door te wachten op een synchronizatie punt Expressions kunnen gebruik maken van synchronizatie punten voor hun timing