Natuurlijke Taalverwerking

Presentatie over: "Natuurlijke Taalverwerking"— Transcript van de presentatie:

1 Natuurlijke Taalverwerking
3e trimester 98/99 docent: Gosse Bouma

2 Automaten en Transducers
Week 2

3 Natuurlijke Taalverwerking
Opdracht 1 Lees hoofdstuk 1, 2, en 3 van de syllabus. Doe de FSA tutorial, tot transducers. Maak opdracht 1 (zie Deadline: Dinsdag 6 april Natuurlijke Taalverwerking

4 Natuurlijke Taalverwerking
Eindige Automaten De eenvoudigste machines om taal (reeksen symbolen) te verwerken zin eindige automaten. Een automaat bestaat uit een aantal toestanden transities een begintoestand één of meer eindtoestanden Natuurlijke Taalverwerking

5 Natuurlijke Taalverwerking
Eindige Automaten B A 3 1 C 4 C 2 D Natuurlijke Taalverwerking

6 Epsilon-transities (jumps)
macro(syll,[b,{r,l}^,o,k,{s,t}^]). o s t b l r k   Natuurlijke Taalverwerking

7 Deterministische automaten
Een automaat is deterministisch wanneer je vanuit iedere toestand T voor ieder invoersymbool S hoogstens 1 transitie mogelijk is. Automaten met epsilons zijn (behalve in flauwe gevallen) non-deterministisch. Natuurlijke Taalverwerking

8 Woordenlijst als automaat
Een lijst {aap,alp,aak,alm,...} kun je beschouwen als een taal bestaande uit de woorden in de lijst. [a,{[l,{p,m}],[a,{k,p}]}] Corresponderende automaat is een letter-trie Voordelen: snel zoeken, combinatie met FS-technieken : macro(woord,[prefix,stam,suffix]). Natuurlijke Taalverwerking

9 Wat je ook doet, de semantiek gooit roet
Makkelijk ? Spellingcontrole, Afbreken, OCR, Tekst naar spraak, Information Retrieval, Voice Response, Part of Speech tagging, Samenvatten, Rapporten genereren. Moeilijk? Grammaticale controle (d/t fouten) Dicteersystemen (grote woordenschat) Volledige syntactische en semantische analyse Automatisch vertalen Natuurlijke Taalverwerking

10 Natuurlijke Taalverwerking
Transducers Nut van herkenners (recognizers) is beperkt. Meeste finite state toepassingen gebruiken transducers. Een transducer vertaalt een invoerstring naar een uitvoerstring. apen -> a-pen 19 -> negentien KPN -> kapeEn Natuurlijke Taalverwerking

11 Natuurlijke Taalverwerking
On-line Demo’s Woordsoorten toekennen Memory-based tagging (Tilburg) Finite State Morphology (Xerox, Grenoble) Grafeem-naar-foneem conversie (Tilburg) N.b. Deze toepassingen kun je met finite state technologie te lijf gaan, meestal (in combinatie met) statistische modellen. Natuurlijke Taalverwerking

12 Natuurlijke Taalverwerking
Transducer lak+en -> lakken, loop+en -> lopen k:k a:a +:k l:l n:n e:e o:o +:  o: p:p Natuurlijke Taalverwerking

13 Natuurlijke Taalverwerking
Non-deterministisch haar+en -> haren, haard+en -> haarden r:r h:h n:n d:d a:a e:e +:  a:a a: r:r Natuurlijke Taalverwerking