AI111  Algemeen  Voorbeeld  Concept Learning (Version Space)  Bias Leeswijzer: Hoofdstuk AI Kaleidoscoop College 11: Machinaal Leren

AI112 Machinaal leren: algemeen (1) Leren  betere prestaties na herhaling van zelfde of soortgelijke taak Belangrijk, want: –essentieel voor intelligent gedrag –“startbaan” voor AI Twee families lerende systemen: aanpassen van –symbolisch gerepresenteerde kennis –niet-symbolische gerepresenteerde kennis

AI113 Machinaal leren: algemeen (2) Leren  betere prestaties na herhaling van zelfde of soortgelijke taak “soortgelijke taak”: leer algemene kennis d.m.v. beperkt aantal voorbeelden:  inductie probleem verandering  verbetering:  leren kan gedrag verslechteren Leren als zoeken: zoek de te leren representatie in de ruimte van alle mogelijke representaties

AI114 Machinaal leren: algemeen (3) Twee typen leersystemen: –supervised learning (vb: concept induction) = leer goede beschrijving van een klasse d.m.v. geclassificeerde voorbeelden –unsupervised learning (vb: conceptual clustering) = ontdek nuttige klassen Kernbegrippen: –inductive learning –inductive bias –concept learning –version space learning

AI115 Raamwerk voor Machinaal Leren (1)  Welke data & goals  Welke kennis-representatie van de geleerde kennis  Operaties op de kennis-representatie tijdens leren  Zoekruimte voor de te leren representatie  Zoektechnieken om door deze ruimte te navigeren

AI116 Raamwerk voor Machinaal Leren (1)  Data & Goals Vb: concept-learning data =verzameling van pos. & neg. voorbeelden van een klasse goal =vind algemene beschrijving van een klasse die nieuwe voorbeelden korrekt classificeert als pos. of neg. Vb: explanation-based learning data =een voorbeeld + algemene domein kennis goal =als bij concept learning Vb: conceptual clustering data =verzameling ongeclassificeerde voorbeelden goal =vind een goede opdeling in groepen

AI117 Raamwerk voor Machinaal Leren (2)  Representatie van geleerde kennis –Elke kennis-representatie uit vorige college’s –sterke invloed op leer-algorithme  Operaties op de kennisrepresentatie tijdens leren –generaliseren, specialiseren, gewicht aanpassen,...  Zoekruimte voor de te leren representatie –Gedefineerd door combinatie van  &   Navigatie door zoekruimte –generaliseer vanuit meest preciese definitie –specialiseer vanuit mees algemene definitie –....

AI118 Huidig concept + Nieuw pos. vb. Voorbeeld van lerend systeem: Winston (1) + Domein kennis = Nieuw (algemener) concept

AI119 Huidig concept + Nieuw neg. vb. Voorbeeld van lerend systeem: Winston (1) = Nieuw (specifieker) concept

AI1110 Voorbeeld: conclusies Supervised learning, concept-learning Positief tegen-voorbeeld: generaliseer Negatief tegen-voorbeeld: specialiseer Data stuurt zoek-proces Voorbeelden moeten “lijken” op huidige concept (“near miss”)

AI1111 Algorithme voor supervised concept learning: Version Space Search Illustratie aan de hand van voorbeeld: Door aanbieden van pos. en neg. voorbeelden, leer het concept: “small, round, red things” small round red +,+,+ large round green -,+,- small square yellow +,-,- large square red -,-,+

AI1112 Algorithme: Version Space Search (1)  Representatie van concepten als formules. Vb: square  small  red  Operaties op concept-representatie: –Generalisatie: constante  variabele round  X verwijder conjunct square  small  square introduceer disjunct square  square  small vervang constante door algemenere square  rectangle –Specialisatie: alles omgekeerd

AI1113 Algorithme: Version Space Search (2)  Organiseer concepten in een ruimte, geordend naar algemeenheid  Navigeer door ruimte volgens de ordening: van specifiek naar algemeen van algemeen naar specifiek combinatie

AI1114 Version Space Search: specifiek  algemeen Kies S = alle laagste mogelijkheden die alle positive voorbeelden dekken, en geen van de negatieve voorbeelden Bij positief tegenvoorbeeld: generaliseer (Negatieve voorbeelden voorkomen overgeneralisatie :  S :  S + + _ _

AI1115 Version Space Search: algemeen  specifiek Kies G = alle hoogste mogelijkheden die alle positive voorbeelden dekken, en geen van de negatieve voorbeelden Bij negatief tegenvoorbeeld: specialiseer (Positieve voorbeelden voorkomen overspecialisatie :  S :  S + + _ _

AI1116 Version Space Search: combinatie Bereken zowel S als G Positief Vb: S omhoog (maar nooit boven G) Negatief Vb: G omlaag (maar nooit onder S) Ideaal: S=G  precies concept Als “boven S”  “onder G” =  dan bestaat er geen correct concept: –incorrecte data? –onvoldoende concept-taal? Vb: rode ballen of blauwe blokken: niet te beschrijven met alleen conjunctie in concept-taal

AI1117 Bias (1) Probleem: heel veel generalisaties mogelijk van voorbeelden. Vb: generalisaties van de bitstrings 1100, 1010: –evenveel 1 als 0 –begint met 1, eindigt met 0 –lengte 4 –... Schatting van aantal mogelijke concepten: –# concepten = # mogelijke deelverzamelingen = 2 (# elementen in de verzameling) = 2 2 n voor strings van lengte n –n=5  4.2 miljard concepten

AI1118 Bias (2): bias = “vooroordeel” vooropgezet criterium over –de concept-ruimte –keuzes in de concept-ruimte om aantal mogelijkheden te beperken Belangrijkste vorm van bias = language-bias Vb: concept is beschreven m.b.v. 1,  en 0: 1   0 = {1000, 1010, 1100, 1110} Dan: 3 n concepten: 3 4 = 81 –begint met 1, eindigt met 0: wel beschrijfbaar –lengte 4: wel beschrijfbaar –evenveel 1 als 0: niet beschrijfbaar

AI1119 Bias (meer voorbeelden) Vb: conceptaal bevat wel  maar niet  –blue  block  light: wel beschrijfbaar –(blue  block)  (light  block): niet beschrijfbaar Vb: conceptaal bevat conjuncties van max.lengte: –blue  block : wel beschrijfbaar –blue  block  light: niet beschrijfbaar

AI1120 Volgende keer (laatste keer....) Neurale Netwerken. Genetische Algorithmen: , 11.1