CKI en gebarentaal Margriet Verlinden (Viataal) Inge Zwitserlood (Viataal)

Presentatie over: "CKI en gebarentaal Margriet Verlinden (Viataal) Inge Zwitserlood (Viataal)"— Transcript van de presentatie:

1 CKI en gebarentaal Margriet Verlinden (Viataal) Inge Zwitserlood (Viataal)

2 Inhoud Computers en taalComputers en taal Nederlandse GebarenTaal (NGT)Nederlandse GebarenTaal (NGT) Computers en gebarentaalComputers en gebarentaal Projecten bij ViataalProjecten bij Viataal vragenvragen

3 Computers en taal Soorten toepassingen: informatie vastleggeninformatie vastleggen taalmodaliteit omzettentaalmodaliteit omzetten vertalenvertalen taal interpreterentaal interpreteren

4 Nederlandse GebarenTaal (NGT)

5 Componenten van een gebaar plaats van articulatieplaats van articulatie handvormhandvorm oriëntatieoriëntatie activiteitactiviteit niet-manuale componentniet-manuale component handpalm vingers mimiek orale/gespoken component

6 Plaats van articulatie: zijkant kinzijkant voorhoofd ‘vakantie’‘politie’

7 Handvorm: VB ‘broer/zus’‘ook’

8 Oriëntatie: ‘hoofd’‘politie’ handpalm van gebaarder af handpalm naar gebaarder toe

9 Aktiviteit: cirkelbewegingrechte beweging 'fiets(en)'‘zitten/stoel'

10 Niet-manuale component: gesproken component orale component ‘moe’‘nu-snap-ik-het!’ van!moe

11 De NGT heeft: geen lidwoordengeen lidwoorden geen koppelwerkwoordengeen koppelwerkwoorden geen modalengeen modalen nauwelijks connectievennauwelijks connectieven weinig prepositiesweinig preposities SYNTAXIS: functie-woorden

12 Nederlands: Wil je alsjeblieft de t.v. uitzetten? ‘alsjeblieft’‘jij’‘t.v.’‘uitzetten' NGT:

13 Subject - Werkwoord - ObjectSubject - Werkwoord - Object ‘alsjeblieft’‘jij’‘t.v.’‘uitzetten' Woordvolgorde

14 Subject - Object - WerkwoordSubject - Object - Werkwoord ‘alsjeblieft’‘jij’‘t.v.’‘uitzetten' Woordvolgorde

15 Vragen: Wat veroorzaakt deze verschillen?Wat veroorzaakt deze verschillen? Is er een verschil in betekenis?Is er een verschil in betekenis? Wat is de woordvolgorde in bijzin- nen?Wat is de woordvolgorde in bijzin- nen? Wat is de woordvolgorde in vraag- zinnen?Wat is de woordvolgorde in vraag- zinnen?...... Woordvolgorde

16 (Subject -) Werkwoord - Object(Subject -) Werkwoord - Object ‘alsjeblieft’‘uitzetten'  ‘t.v.’ Pro-drop: argumenten kunnen worden weggelaten

17 (Subject -) Werkwoord (- Object)(Subject -) Werkwoord (- Object) ‘alsjeblieft’‘uitzetten’  Pro-drop: argumenten kunnen worden weggelaten

18 Agreement =relatie tussen werkwoord en 1 of meer argumenten van dat werkwoord vb. Nederlands: ikwerk- Janwerk-t wijwerk-en

19 Agreement Gebarentaal: agreement d.m.v. de plaats van de referent in de gebaren-ruimte

20 Agreement Sommige werkwoorden hebben agreement met al hun argumenten: ‘y-wachten’‘y-helpen-x’ Intransitief werkwoord Transitief werkwoord

21 Agreement Sommige werkwoorden hebben agree- ment met slechts enkele argumenten: ‘x sturen y (iets)' ‘(iemand) vinden-y’ Transitief werkwoord Ditransitief werkwoord

22 Agreement Veel werkwoorden hebben helemaal geen agreement: Intransitief werkwoord Transitief werkwoord ‘(Iemand) arm- zijn’ ‘(Iemand) houden-van (iemand)’

23 Agreement Sommige werkwoorden hebben een 'classifier'-handvorm, die verwijst naar een eigenschap van een argument: Intransitief werkwoord Transitivief werkwoord ‘x neerzetten y’ ‘x bewegen’

24 Prosodie In de NGT wordt de prosodie voorna- melijk gemarkeerd door: gezichtsuitdrukkinggezichtsuitdrukking houding van het hoofdhouding van het hoofd bewegingen van het hoofd, het lichaam of het gezichtbewegingen van het hoofd, het lichaam of het gezicht

25 Prosodie: vragen Vraagwoordvragen worden veelal gemarkeerd door: gefronste wenkbrauwengefronste wenkbrauwen achterovergekanteld hoofdachterovergekanteld hoofd ‘waarom’‘jij’‘fout’ ‘Waarom heb jij een fout gemaakt?’

26 Ja/nee-vragen worden gemarkeerd door: opgetrokken wenkbrauwenopgetrokken wenkbrauwen voorover gekanteld hoofdvoorover gekanteld hoofd ‘jij’‘fout’ 'Heb jij een fout gemaakt?’ Prosodie: vragen

27 Prosodie: zinsnegatie Zinsnegatie wordt gemarkeerd door: hoofdschuddenhoofdschudden ‘jij’‘fout’ 'Jij hebt geen fout gemaakt.’

28 Prosodie: topics Topics worden gemarkeerd door: vooraanplaatsing in de zinvooraanplaatsing in de zin opgetrokken wenkbrauwenopgetrokken wenkbrauwen knik aan het einde van het topicknik aan het einde van het topic ‘jij’‘fout’ ‘Wat de fout betreft, die heb jij niet gemaakt.'

29 Maar er blijven nog vele vragen over... Wat zijn nu precies de fonologische features in gebarentalen (en de NGT)?Wat zijn nu precies de fonologische features in gebarentalen (en de NGT)? Welke morfologische processen hebben in gebarentalen (en de NGT)?Welke morfologische processen hebben in gebarentalen (en de NGT)? Hoe weet je eigenlijk waar een zinsgrens ligt?Hoe weet je eigenlijk waar een zinsgrens ligt? Welke woordvolgorden komen we (nog meer) tegen, en waarom?Welke woordvolgorden komen we (nog meer) tegen, en waarom? Wat is de scope van een markeerder?Wat is de scope van een markeerder? Zijn er kwantoren en hoe werken ze?Zijn er kwantoren en hoe werken ze?......

30 … kunnen we dit implementeren? ‘hoe’

31 Computers en gebarentaal Problemen: weinig taalkundige kennisweinig taalkundige kennis notatie-probleemnotatie-probleem andere modaliteitandere modaliteit –herkenning: complexe beeldanalyse –generatie: virtual humans

32 EU-project ‘ViSiCAST’ Virtual Signing: Capture, Animation, Storage and Transmission universiteit v. Norwich: fac.‘Information Systems’ softwarebedrijf ‘Televirtual’ dovenorganisatie ‘RNID’ postkantoren commerciele TV ‘ITC’ universiteit v. Hamburg: inst. voor Duitse gebarentaal omroep ‘IRT’ doveninstituut ‘IvD’ telecommunicatie-inst. ‘INT’

33 Doelen van ViSiCAST informatievoorziening in gebarentaalinformatievoorziening in gebarentaal animatietechnieken voor gebarentaalanimatietechnieken voor gebarentaal taalkundige kennis gebarentaaltaalkundige kennis gebarentaal

34 Applicaties in ViSiCAST TVTV –avatar meesturen face-to-faceface-to-face –hulp bij postkantoor-transcaties Internet/multimedia:Internet/multimedia: –lesmateriaal –weerbericht –editor

35 ViSiCAST-weerbericht demo avatardemo avatar mapping m.b.v. templatesmapping m.b.v. templates motion capturing:motion capturing: –registratie v. beweging –lichaam, handen, gezicht –mooie montage mogelijk –3D-weergave

36 EU-project ‘eSIGN’ Essential Sign language Information on Government Networks universiteit v. Norwich: fac.‘Information Systems’ softwarebedrijf ‘Televirtual’ Norwich County Council dovenorganisatie ‘RNID’ universiteit v. Hamburg: inst. voor Duitse gebarentaal gemeente Hamburg doveninstituut ‘Viataal’

37 eSIGN vervolg op ViSiCASTvervolg op ViSiCAST ontwikkelproject, 2 jaarontwikkelproject, 2 jaar volledig synthetische gebarenvolledig synthetische gebaren onderwerp: overheidonderwerp: overheid toepassingen:toepassingen: –formulieren ( bv. uitkeringsaanvraag ) –informatie in frames ( vacatures ) –vrije informatie ( bv. over voorzieningen )

38 Gebarentaal-editor voor NGT-gebruikersvoor NGT-gebruikers NGT-elementen intypenNGT-elementen intypen HamNoSys: Hamburg Notatie SysteemHamNoSys: Hamburg Notatie Systeem eSIGN: grafische interfaceeSIGN: grafische interface

39 Vragen! www.visicast.co.ukwww.visicast.sys.uea.ac.ukwww.sign-lang.uni-hamburg.de/esignm.verlinden@viataal.nl