Efficiënt redeneren over kennis

Tot nu toe Eerste-orde logica en uitbreidingen Maar hoe moeilijk is het redeneren in EOL?

Maat 1: beslisbaarheid Beslissingsprobleem: Antwoorden: “ja” of “nee” Voorbeeld: Consistentie: Δ ² false? Het probleem is beslisbaar als  Turing machine zodanig dat voor ieder invoer een ja/nee antwoord wordt gevonden na eindig veel stappen. To be or not to be?

Consistentie is onbeslisbaar Slecht nieuws Consistentie is onbeslisbaar voor EOL Alan Turing (1912-1954) Alonzo Church (1903-1995)

Klassiek redeneren in eerste orde logica Voorbije weken Vandaag Niet expressief genoeg: redeneren moet niet monotoon zijn; onzekerheid en vaagheid; uitleg en diagnose Te expressief: beperk de taal om het redeneren beslisbaar/efficiënt te maken

Beschrijvende logica’s description logics speciale logische talen beperkter dan EOL van de meeste beperkte tem meer expressieve basis voor OWL: web-ontology language OWL Lite: beschrijvende logica SHIF(D) OWL DL: beschrijvende logica SHOIN(D) OWL Full: beschrijvende logica sROIQ(D)

Consistentie is beslisbaar Goed nieuws Consistentie is beslisbaar voor deze logica’s

We willen de logica’s met mekaar vergelijken… Maat: complexiteit Groote van het invoer: n Complexiteit van algoritme: functie van n sorteren: O(n log n) klasse: polynoom, exponent, … Complexiteit van probleem: complexiteit van het best mogelijke oplossing! Wij kijken naar consistentie

Vlugge Vraag RE PSPACE NP NEXPTIME EXPTIME P coNP coRE ALL Welke complexiteitsklassen kennen jullie? PSPACE NP RE NEXPTIME P EXPTIME Vraag aan de studenten – wat kennen ze wel en wat kennen ze niet. P – polynomiaal oplosbare problemen, NP - -”- maar met een niet deterministische Turing machine coNP – complement van een probleem zit in NP PSPACE – polynomiale geheugen en onbeperkte tijd EXPTIME – exponentiele tijd NEXPTIME – niet deterministische exponentiele tijd ELEMENTARY – eindig hoge toren van machten PR – primitief recursieve functie (recursie en compositie van de functies zijn toegelaten) RE – recursively enumerable (recursief opsombaar) – verificatie is mogelijk in eindige tijd (“ja”); ontkrachting kan oneindig lang duren coRE – ontkrachting is in eindige tijd mogelijk; verificatie kan oneindig lang duren, ALL – alle functies coNP coRE ALL

Moeilijkheidsgraad -Complexiteitszoo PSPACE NP RE NEXPTIME P EXPTIME P – polynomiaal oplosbare problemen, NP - -”- maar met een niet deterministische Turing machine coNP – complement van een probleem zit in NP PSPACE – polynomiale geheugen en onbeperkte tijd EXPTIME – exponentiele tijd NEXPTIME – niet deterministische exponentiele tijd ELEMENTARY – eindig hoge toren van machten PR – primitief recursieve functie (recursie en compositie van de functies zijn toegelaten) RE – recursively enumerable (recursief opsombaar) – verificatie is mogelijk in eindige tijd (“ja”); ontkrachting kan oneindig lang duren coRE – ontkrachting is in eindige tijd mogelijk; verificatie kan oneindig lang duren, ALL – alle functies coNP coRE ALL

Beslisbaar Vlugge Vraag RE PSPACE NP NEXPTIME EXPTIME P coNP coRE ALL Waar zitten de beslisbare problemen? Beslisbaar PSPACE NP RE NEXPTIME P EXPTIME P – polynomiaal oplosbare problemen, NP - -”- maar met een niet deterministische Turing machine coNP – complement van een probleem zit in NP PSPACE – polynomiale geheugen en onbeperkte tijd EXPTIME – exponentiele tijd NEXPTIME – niet deterministische exponentiele tijd ELEMENTARY – eindig hoge toren van machten PR – primitief recursieve functie (recursie en compositie van de functies zijn toegelaten) RE – recursively enumerable – verificatie is mogelijk in eindige tijd (“ja”); ontkrachting kan oneindig lang duren coRE – ontkrachting is in eindige tijd mogelijk; verificatie kan oneindig lang duren, ALL – alle functies coNP coRE ALL

Voorbeeld 1 ALC Attributive language (AL) with complement (C)

ALC atomaire klassen of concepten: vrouw, mens, >, ?… predicaten met één argument eigenschappen of rollen: heeftKind predicaten met twee argumenten doorsnee van klassen: u vrouw  volwassen u mens u vrouwelijk complement van klassen:  man  volwassen u mens u vrouwelijk beperking: R.K alle x zodanig dat zodra R(x,y) dan ook K(y) vaderZonderZonen  vader u heeftKind.dochter

Vlugge Vraag Voor klassen C en D: C t D kan uitgedrukt worden in ALC (vereniging van C en D) Ja Nee In beide gevallen “A”. 1) De Morgan regels 2)  is uit te drukken mbv  en negatie.

Voorbeeld 2 SHOIN

SHOIN S: rollen kunnen transitief zijn H: rollenhiërarchie ALC + S: rollen kunnen transitief zijn voorouderVan H: rollenhiërarchie heeftKind v isVoorouderVan O: individuele objecten die een concept vormen {Ram, Stier, Tweelingen, …, Waterman, Vissen} I: inversierollen heeftKind  heeftOuder-1 N: numerieke beperkingen ( n R) polygame_mens  mens u >1 leeftSamenMet

Vlugge Vraag (>1 leeftSamenMet) in SHOIN betekent Het juiste antwoord is B. Vergeet niet dat nog SHIF nog SHIN complement van rollen kent, maar alleen die van concepten.

ALC SHOIN PSPACE NP RE NEXPTIME P EXPTIME coNP coRE ALL Vraag aan de studenten – wat kennen ze wel en wat kennen ze niet. P – polynomiaal oplosbare problemen, NP - -”- maar met een niet deterministische Turing machine coNP – complement van een probleem zit in NP PSPACE – polynomiale geheugen en onbeperkte tijd EXPTIME – exponentiele tijd NEXPTIME – niet deterministische exponentiele tijd ELEMENTARY – eindig hoge toren van machten PR – primitief recursieve functie (recursie en compositie van de functies zijn toegelaten) RE – recursively enumerable (recursief opsombaar) – verificatie is mogelijk in eindige tijd (“ja”); ontkrachting kan oneindig lang duren coRE – ontkrachting is in eindige tijd mogelijk; verificatie kan oneindig lang duren, ALL – alle functies coNP coRE ALL

+ transitieve rollen (=ALCtrans) SH + hiërarchische rollen EXPTIME SHI , u, t, , PSPACE S + transitieve rollen (=ALCtrans) SH + hiërarchische rollen EXPTIME SHI + inversierollen SHIF + functionele rollen ( 1 R) SHOIF + individuele objecten SHOIN + (algemene) numerieke beperkingen ( n R) NEXPTIME SHOIQ + gekwalificeerde numerieke beperkingen ( n R.C) sROIQ: + speciale eigenschappen beslisbaar Geel achtergrond – OWL talen (OWL lite, OWL Beschrijvende logica's en OWL Full)

Hoe expressiever de taal, hoe complexer het redeneren

Dus Hoe beperkter de taal, hoe efficiënter het redeneren. Als je een kennisvoorstellingsformalisme kiest probeer de taal te beperken!

Opdracht 1 Vraag 8: Wat is de complexiteit van het klassiek redeneren over het gekozen domein? Welke aspecten van de EOL hebben jullie nodig? Kunnen jullie jullie tot een of andere beschrijvende logica beperken? Wat is de complexiteit van het redeneren? Zie ook: http://www.cs.man.ac.uk/~ezolin/logic/complexity.html

Huiswerk 12 ALC kan verder beperkt worden Schrijf een verslag over dergelijke logica’s Wat zijn ze? Hoe complex is het redeneren? Deadline: 15 mei 2007.

beschrijvende logica’s Maar… EOL niet expressief genoeg niet efficiënt genoeg beschrijvende logica’s vaagheid, onzekerheid… Is het onverenigbaar? Kunnen we niet van beide aanpakken profiteren? uitbreidingen van beschrijvende logica’s

Beschrijvende logica's + Gaat niet! Beschrijvende logica's neemt aan dat de wereld open is. Wat is het verschil tussen de twee aannames? vijfde eeuw voor Christus Σοφοκλής

Koning Oedipus Wie kent het verhaal?

Koning Oedipus heeftKind(Iocaste, Oedipus). heeftKind(Iocaste, Polyneikes). heeftKind(Oedipus, Polyneikes). heeftKind(Polyneikes, Thersandros). vadermoordenaar(Oedipus). vadermoordenaar(Thersandros). Σοφοκλής Heeft Iocaste een kind die een vadermoordenaar is en die een kind heeft die geen vadermoordenaar is?

Aanname van een gesloten wereld Oedipus is een kind van Iocaste. Hij is een vadermoordenaar. Zijn kind is Polyneikes. Wij weten niet of hij een vadermoordenaar is. Neem aan dat hij geen vadermoordenaar is. Antwoord: ja Aanname van een open wereld Polyneikes is een kind van Iocaste. Als Polyneikes een vadermoordenaar is, dan: Zijn kind is Thersandros. Th is geen vadermoordenaar. Antwoord: ja. Als Polyneikes geen vadermoordenaar is, dan: Hij is een kind van Oedipus, die ook een kind van Iocaste is. Oe is een vadermoordenaar.

Veel andere uitbreidingen gaan wel! Circumscriptie Bonatti, Lutz, Wolter 2006 Default waarden Baader, Hollunder 1995 Autoepistemische logica Donini, Nardi, Rosati 1997 Onzekerheid Koller, Levy, Pfeffer, 1997 Vaagheid Straccia 2001, 2006 Uitleg Deng, Haarslev, Shiri 2006

Beschrijvende logica's + Zoogdieren zijn meestal levendbarend maar het vogelbekdier is niet Circumscriptie (herhaling): Trek conclusies die de verzameling van de abnormale objecten zo klein mogelijk maken. sommige predicaten veranderen niet Klassen ipv predicaten Alleen klassen kunnen abnormaal zijn Beschrijvende logica  EOL, dus vertaal de formules naar EOL bereken circumscriptie Meer in [Bonatti, Lutz, Wolter 2006]

Beschrijvende logica's + a:b/g Verstekregels (herhaling): Neem g aan, als  geldt en  niet geldt. Klassen ipv predicaten Verstekregels alleen voor de individuen Arts(An) en Arts(x):Rijk(x)/Rijk(x)  Rijk(An) (heeftKind.Arts)(Piet) ; (heeftKind.Rijk)(Piet) Anders onbeslisbaar… [Baader, Hollunder 1995] geven een algoritme ervoor.

Beschrijvende logica's + onzekerheid Ipv zoogdier v dier Wat is een kans dat een dier een zogdier is? Dier P(zoogdier|dier) = 0.3 P(zoogdier|:dier) = 0 Zoogdier Vragen of de studenten het herkennen. Zie verder bij [Koller, Levy, Pfeffer 1997]! Bayesiaans geloofsnetwerk

Beschrijvende logica's + Vaagheid Vage concepten: jong jongeMens  mens u leeftijd.jong   n  - een formule van beschrijvende logica n – getal tussen 0 en 1. (jan:jongMens  0.2) Meer [Straccia 2001, 2006]

Vlugge Vraag jong Interpretatie van CuD: min(C(x), D(x)) Interpretatie van CvD: infx(C(x) → D(x)) Interpretatie van a → b: max(1-a,b) er zijn ook andere interpretaties mogelijk Gegeven: minderjarig  mens u leeftijd.(kleinerDan18) jongeMens  mens u leeftijd.jong ² ((minderjarig v jongeMens)  0.5) Waar. Niet waar (30-x)/20 A. Waar. Inderdaad, we moeten verschillende gevallen onderscheiden. Als x geen mens is of ouder dan 18, dan is hij geen minderjarige (waarde 0) en -> geeft 1. Als x een mens is en jonger dan 18 dan is hij wel minderjarig (waarde 1). -> geeft dus de waarde van jongeMens. De kleinste waarde van jongeMens (onder de aanname dat x jonger is dan 18) is (30-18)/20, ttz 0.6.

Wat hebben we gedaan? Complexiteit van het rederenen Speciale klasse logica’s met lagere complexiteiten beschrijvende logica’s relatie met OWL Lite/DL/Full Uitbreidingen blijven mogelijk!

Iets totaal anders… Onderwijsenquête

Het verwerven van kennis

Kennissysteem Ter herinnering: Softwaresysteem, die kennis verwerft, op een expliciete manier voorstelt, over deze kennis redeneert en gebruikt om een opdracht uit te voeren. 5 seconden wachten

Kennissystemen onder het Voorstellen Redeneren Verwerven Gebruiken Verwerven: bron  interne representatie Redeneren: Interne representatie  interne representatie Gebruiken: Interne representatie  doel Voorbeeld van 29 oktober 2006 (begin wintertijd) Nog ten minste 3 seconden wachten tot dat iedereen het hele plaatje gezien heeft

Het verwerven van kennis kijk naar de voorbeelden, probeer de regels te achterhalen analyseer de tekst Verwerven: bron  interne representatie Redeneren: Interne representatie  interne representatie Gebruiken: Interne representatie  doel Voorbeeld van 29 oktober 2006 (begin wintertijd) Nog ten minste 3 seconden wachten tot dat iedereen het hele plaatje gezien heeft stel vragen aan de expert

informatie-retrieval (ook vervolgvak) machinaal leren informatie-retrieval (ook vervolgvak) Verwerven: bron  interne representatie Redeneren: Interne representatie  interne representatie Gebruiken: Interne representatie  doel Voorbeeld van 29 oktober 2006 (begin wintertijd) Nog ten minste 3 seconden wachten tot dat iedereen het hele plaatje gezien heeft kennisblootlegging

Kennisblootlegging

Kennis uithalen? repertory grid interview sorteren van begrippen ladders bouwen

Ongestructureerde interview Een goede relatie met een expert Brede kijk op het probleem Inefficiënt Te subjectief in keuze en behandeling van onderwerpen Goed voor het beginfase

Gestructureerde interview Omschrijving van de taak variabelen die de uitkomst beïnvloeden regels die de variabelen met de uitkomsten verbinden Voor iedere regel vraag wanneer van toepassing wat gebeurt als niet van toepassing wat zijn de alternatieven

Gestructureerde interview Efficiënt Niet alle informatie is verbaal patroonherkenning? “Ik weet niet hoe ik het doe…” Goed om kennis te vervolledigen maar op zich onvoldoende!

Ladders bouwen Techniek om informele hiërarchieën te bouwen. Expert + kennisingenieur samen. Begin met een ladder van één begrip: Veralgemeen een begrip in de ladder Maak een begrip in de ladder meer specifiek

 Goed voor het beginfase Ladders bouwen … Grieks aardewerk (P. v. Hielten 2003) drinkgerei Oorspronkelijk begrip: een krater opslag …  Goed voor het beginfase amfora

Repertory Grid Interviewtechniek, komt uit het psychologisch onderzoek Zoek een drietal: A, B, C A en B zijn gelijk, maar C is sterk verschillend Bepaal een maat van (on)gelijkenis Rangschik alle andere elementen tov deze maat Herhaal tot dat de expert geen dergelijke maten meer kan vinden. Verzamel de informatie en zoek naar groepjes

Vakantieplannen Swanage Bali Kaapstad Washington, DC Hong Kong Singapore Sidney Brisbane 5 3 1 4 Vakantieplannen Veel culturele evenementen 1 5 Weinig culturele evenementen

Vlugge Vraag Mercurius, Venus, Aarde, Mars, Jupiter, Saturnus, Uranus, Neptunus Een geschikte drietal tov “het oppervlak is opgebouwd uit vaste stoffen” is… Mercurius, Venus, Jupiter Mercurius, Venus, Aarde Juiste drietal is A. Het oppervlak van Jupiter is niet opgebouwd uit vaste stoffen, die van Mercurius en Venus wel. In ieder drietal moeten we twee gelijke objecten hebben en een die van hun verschilt.

Swanage Bali Kaapstad Washington, DC Hong Kong Singapore Sidney Brisbane 5 3 1 4 5 2 3 1 4 5 1 3 4 5 1 4 2 5 1 4 3 statistische correlatie …

lijken sterk (>90%) op elkaar Sydney Brisbane lijken sterk (>90%) op elkaar

Hong Kong Sydney Swanage Brisbane Bali Kaapstad Singapore Washington, DC Groep objecten die op mekaar trekken!

Huiswerk 13 Er zijn ook andere kennisblootleggingtechnieken: sorteren van begrippen, regelinductie, protocolanalyse,… Schrijf een verslag over een (aantal) van deze technieken. Vergelijk ze met interviews, het bouwen van ladders en reportory grid. Wat zijn hun voor- en nadelen? Wanneer zal je deze technieken toepassen? Deadline: 15 mei 2007

Wat hebben we gedaan? Verwerven van kennis: kennisblootlegging machinaal leren informatie-retrieval Technieken voor de kennisblootlegging: interviews het bouwen van ladders “repertory grid”

Een soortgelijk probleem in machinaal leren Gegeven grote verzameling gegevens, vind categorieën waarin ze vallen.

Drie vormen van leren gesuperviseerd leren = voorbeeld + klasse Gesuperviseerd leren: input en output voor ieder voorbeeld Reinforcement leren: input en punten voor de beslissing van een computer Niet gesuperviseerd leren: alleen de inputs, computer moet zelf bepaalde gelijkenissen kunnen vinden tussen de gegevens en bijv. clusters maken. leren door bekrachtiging = voorbeeld + beloning/afstraffing niet gesuperviseerd leren = voorbeeld KB, 71 A 23, 276r

Vlugge Vraag Welk vorm van leren is dat? Gesuperviseerd Leren door bekrachtiging Niet gesuperviseerd. Links: oorspronkelijke situatie. Voorbeelden zijn of rood of blauw. Ingevulde vierkantjes/cirkeltjes = oefengegevens, “lege” – toetsgegevens. Rechts – classificatie resultaat (met C4.5). Juiste antwoord is A.

Vandaag clustering probleem Dus, Invoer: grote verzameling voorbeelden Uitvoer: clusters waarin ze vallen Er zijn natuurlijk ook andere problemen in niet gesuperviseerd leren! niet gesuperviseerd leren = voorbeeld

Clustering technieken Hiërarchisch Scheidend

Hiërarchisch clustering Bepaal een afstandsmetriek voor clusters van gegevens. Vaak d(A,B) = max{d(x,y), x  A, y  B} of d(A,B) = min{d(x,y), x  A, y  B} of statistische correlatie Neem twee dichtstbijzijnde clusters en combineer ze Herhaal tot er maar een cluster overblijft

Vlugge Vraag Afstand(X,Y) = kleinste aantal paardensprongen van een figuur uit X naar een figuur uit Y Combineer(X,Y) = unie A Antwoord A is juist. Inderdaad de witte koning kan de witte pion in veel minder stappen bereiken dan de zwarte koning! B

Scheidend clustering OGO 2.1 – klinkt bekend? Wij willen k clusters hebben Technieken: Grafentheorie minimaal opspannende boom maximale cut Statistisch: k gemiddeld k centroïde vage c gemiddeld (soms vage k gemiddeld)

Ter herinnering: Minimaal opspannende boom Gegeven een graaf G, T is een minimaal opspannende boom als T bestaat uit die kanten van de graaf alle knopen in de graaf zijn met elkaar verbonden in T de som van de gewichten verbonden aan de kanten zo klein mogelijk is.

Vlugge Vraag B Wat is de lengte van de minimaal opspannende boom? C A 1 Wat is de lengte van de minimaal opspannende boom? 3 C 5 A 4 5 5 5 5 1 E D 4 9 10 11 geen enkele antwoord is juist Min Spanning Tree C-B-A-D-E, lengte 9 (antwoord A)

Minimaal opspannende boom 1) Voorbeelden vormen een kliek met afstanden als gewichten van kanten 2) Bereken de minimaal opspannende boom 3) Verwijder k-1 langste kanten Hier k = 2 4) Stukjes zijn clusters

Vlugge Vraag B Als we minimaal opspannende boom gebruiken… C A E D 1 Als we minimaal opspannende boom gebruiken… 3 C 5 A 4 5 5 5 5 1 E D 4 Min Spanning Tree C-B-A-D-E, zwaarste kant is DE, clusters zijn dus: {A,B,C,D} en {E}. Antwoord A is juist A en B D en E wie zit dan in dezelfde cluster?