Donders Institute Brain, Cognition & Behaviour AL ZIENDE HOORT MEN Marc van Wanrooij Martijn Agterberg John van Opstal Afdeling Biofysica Donders Institute Brain, Cognition & Behaviour

Waarom doen we dat? Wij maken 3 à 4 snelle oogbewegingen per seconde om de wereld te ‘scannen’ Waarom doen we dat? Merford Inspiratiedag 27-01-2012

Is niet essentieel anders dan de Wat we zien Wat we waarnemen 2 We zien maar een heel klein gebiedje scherp met de fovea (0.5 - 1o) => Scan de wereld met saccades Maar: met elke saccade veegt het beeld over het netvlies….. => ‘opbouwen’ van het beeld uit de ‘snapshots’ moet richting en grootte van elke saccade meenemen! Met dank aan: www.cogsci.nl Is niet essentieel anders dan de wijze waarop vleermuizen hun omgeving scannen met echos! Multisensory Perception & Action, Tübingen Sept 28-29, 2011

HET PROBLEEM VOOR DE HERSENEN IS ALS VOLGT TE OMSCHRIJVEN: Visuele informatie in het perifere netvlies is zeer onzeker en ruizig Het brein moet daarom snelle en precieze saccadische oogbewegingen plannen om de fovea (~0.5o) op het doel te kunnen richten. Het visuo-motor systeem maakt daartoe zo’n 3 keuzes (saccades) per seconde uit een schier oneindige zee van mogelijkheden in de omgeving. Hoe kan het brein steeds de best mogelijke keuze maken? Het baseert zijn besluit op grond van optimale audiovisuele integratie. Door optimale combinatie van de ruizige inputs, kan het samengestelde resultaat preciezer zijn dan de individuele bronnen. Door plasticiteit kan het systeem zich aanpassen aan veranderende omgevingen! Ons onderzoek houdt zich met al deze aspecten bezig. Dit college: voorbeelden van ons plasticiteitsonderzoek aan het auditief systeem.

OVERZICHT: Het auditief systeem: problemen en oplossingen Neurale mechanismen voor geluidslocalisatie Plasticiteit van het geluidslocalisatiesysteem: mens: het leren van spectrale oorschelp cues uil: leren van geluidslocalisatie o.i.v. visueel systeem mens: leren van geluidslocalisatie o.i.v. visueel systeem de Nijmeegse “mens-uil”

Bregman’s metafoor voor de problemen van het auditief systeem geluidsgolven trommelvliezen

Dwarsdoorsnede van het slakkenhuis (cochlea) Buitenste Haarcellen Orgaan van Corti Binnenste Haarcel Gehoorzenuw Basilair membraan

Vibratie Basilair Membraan Analogie voor het visueel systeem: bij een 4000 Hz toon blauw: hoog-frekwent licht rood: laag-frekwent licht bij een 400 Hz toon

‘frequentie analyse’ TONOTOPIE IN COCHLEA / AUDITIEF SYSTEEM Hz Hz Hz lage frequenties hoge TONOTOPIE IN COCHLEA / AUDITIEF SYSTEEM Hz Hz Hz ‘frequentie analyse’ Hz

1+2. BINAURALE VERSCHILLEN

+ - 1. Verwerking van intensiteitsverschillen in de hersenstam: laterale superior olijf (LSO) Verschil detectie + -

JEFFRESS MODELSIMULATIE [F3] 2. Verwerking van looptijdsverschillen in de hersenen: In de Mediale Superior Olijf (MSO) volgens het Jeffress model Coincidentie detectie JEFFRESS MODELSIMULATIE [F3]

3. RICHTINGSAFHANKELIJKE FILTERING DOOR OORSCHELP

(‘oorafdruk’) Versterking +60o Geluidssterkte (dB) -40o Verzwakking De oorschelp werkt als een richtingsgevoelige antenne, vanwege zijn asymmetrische vorm Frequentie, f (kHz) Geluidssterkte (dB) 10 -10 Elevatie hoek (o) -40 -20 +20 +40 +60 (‘oorafdruk’) Versterking Verzwakking (richtingsafhankelijk) -40o +60o +60o -40o 13

42 = 6 x 7 ? 42 = 2 x 21 ? 42 = 666 x 0.063 ? 42 = 8 x 5.25 ? 42 = 67 x 0.63 ? T(f,P) = B(f) x H(f,P) 42 = 1 x 42 ? 42 = 7 x 6 ? 42 = a x b ? 42 = 3 x 14 ? 42 = 10 x 4.2 ?

HOE KAN HET AUDITIEF SYSTEEM OMGAAN MET ZO’N FUNDAMENTEEL ONOPLOSBAAR PROBLEEM? DOOR GEBRUIK TE MAKEN VAN (GELEERDE) KENNIS OVER AKOESTISCHE OMGEVINGEN STATISTISCHE KENNIS AANGELEERDE VERWACHTINGEN/VOORKENNIS FYSISCHE KENNIS GEOMETRISCHE KENNIS

IN HET GEVAL VAN GELUIDSLOCALISATIE: TROM(freq, LOCATIE) = OOR(freq, LOCATIE) x BRON(freq) WAT VOOR TYPE KENNIS/AANAME IS NODIG OM HIER OPTIMAAL MEE OM TE GAAN? AANNAME 1: de vorm van BRON(freq) in de natuur lijkt nooit op OOR(LOCATIE, freq) AANNAME 2: de vorm van OOR(LOC. 1, freq) lijkt niet op OOR(LOC. 2, freq) (oorfilters zijn uniek voor elke richting) Als aan deze eisen wordt voldaan kan localisatie van breedbandige natuurlijke geluiden goed gaan

De richtingsafhankelijke oorfilters zijn inderdaad uniek. Als je ze met elkaar vergelijkt (‘correleert’) blijkt dat ze alleen op zichzelf lijken. 1.0 0.6 0.4 0.2 0.0

Meting van geluidslocalisatieresponsies in ons lab: oog- en hoofd oriënteringsresponsies = snel (<200 ms), continu, natuurlijk, en nauwkeurig (<3o)

AUDITIEVE LOCALISATIE IS ZEER NAUWKEURIG! ONDANKS PROBLEMEN: AUDITIEVE LOCALISATIE IS ZEER NAUWKEURIG! Elevation Azimuth

Centrale verwerking van akoestische cues .5 1 2 4 8 16 ITD ILD + PINNA AMP (dB) Freq (kHz) E = - 40 E = - 10 E = +20 Akoestische localisatie cues werken in verschillende frekwentiebanden: Localisatie van geluiden met verschillende bandbreedtes: LP HP BB Centrale verwerking van akoestische cues HOR VER ITD ILD PINNA

De nauwkeurigheid van geluidlocalisatie bij dieren wordt Opmerkelijk: De nauwkeurigheid van geluidlocalisatie bij dieren wordt NIET bepaald door de grootte van hun hoofd en/of oren, NOCH door hun levensstijl (nacht/dag/schemer), maar bijna VOLLEDIG door de scherpte waarmee ze kunnen ZIEN! (mens) (hond) (kat) (aap) ossum (blinde mol) (koe) (gerbil) (springmuis) (rat-2) (wezel) (rat-1) (varken)

HOE ‘WEET’ HET AUDITIEF SYSTEEM WAT DE PRECIEZE RELATIES ZIJN TUSSEN DE AKOESTISCHE LOCALISATIECUES EN DE ERMEE GEASSOCIEERDE BRONLOCATIES? DIE RELATIES LIGGEN n.a.w. NIET IN HET GENOOM OPGESLAGEN! DIE RELATIES VERANDEREN CONTINU TIJDENS DE GROEI, EN DIENEN DOOR ERVARING TE WORDEN GELEERD

IK BESCHRIJF VIER EXPERIMENTEN DIE AANTONEN DAT HET AUDITIEF SYSTEEM PLASTISCH IS, EN DE CUES KAN EN DIENT TE LEREN. STUDIE 1: HOFMAN ET AL. (1998): “RELEARNING SOUND LOCALIZATION WITH NEW EARS”, NATURE NEURSCIENCE STUDIE 2: KNUDSEN AND KNUDSEN (1985): “VISION GUIDES THE ADJUSTMENT OF AUDITORY LOCALIZATION IN YOUNG BARN OWLS”, SCIENCE STUDIE 3: ZWIERS ET AL. (2003): “PLASTICITY IN HUMAN SOUND LOCALIZATION INDUCED BY COMPRESSED SPATIAL VISION”, NATURE NEURSCIENCE STUDIE 4: VAN WANROOIJ (2010): “THE NIJMEGEN “OWL-MAN”

Uit Hofman et al. Nat. Neurosci., 1998 STUDIE 1: Binaurale plastic malletjes om de oorschelp geometrie te verstoren: ‘Nieuw oor’ Uit Hofman et al. Nat. Neurosci., 1998

Uit Hofman et al. Nat. Neurosci., 1998 Day 1 Day 0 Day 2 Day 3 Day 4 Day 5 Day 7 Day 15 Day 9 Day 11 Day 13 Day 17 Day 19 Day 21 doelen responsies Uit Hofman et al. Nat. Neurosci., 1998

Uit Hofman et al. Nat. Neurosci., 1998 Resultaten voor vier proefpersonen: Elevatie localisatie ontwikkelt zich tot bijna normaal in enkele weken bij alle ppn. Azimuth localisatie is onaangetast door de malletjes en blijft stabiel tijdens de hele leerfase. Na leren van ‘nieuwe oren’, zijn de ‘oude oren’ niet ‘vergeten’: onmiddelijk weer normaal gedrag! Uit Hofman et al. Nat. Neurosci., 1998

de kerkuil heeft asymmetrisch gerichte oorflappen Eric en Phyllis Knudsen met Tyto Alba plug links normale visus plug rechts normale visus plug links ogen dicht Uit Knudsen & Knudsen, Science, 1985.

Uit Knudsen & Knudsen, Science, 1985. Localisatie responsies naar geluid en licht Doellocatie Conclusie van deze studie: De uil leert geluidslocalisatie, en het leerproces wordt gestuurd door het visueel systeem Uit Knudsen & Knudsen, Science, 1985.

Uit Zwiers et al., Nat Neurosci 2003 STUDIE 3: Logische vervolgvraag: Staat geluidslocalisatie bij de mens ook onder invloed van het visueel systeem? Beperkt visueel veld Uit Zwiers et al., Nat Neurosci 2003

Responsies volgen de veranderingen van het visueel veld! Resultaat na 3 dagen: Onbewerkte data van alle 9 ppn. Responsies veranderen over het gehele response gebied! Maximale veranderingen juist buiten het visuele veld van de bril! GEEN veranderingen voor respons elevatie.

Uit Zwiers et al., Nat Neurosci 2003 Ondanks dat de akoestische input NIET was gewijzigd, treedt TOCH aanpassing van responsies op! De aanpassing (‘compressie’) is gelijk aan de verkleining van de bril. Aanpassing vindt alleen plaats binnen het door de bril overgelaten gezichtsveld, maar heeft effect over het gehele gezichtsveld ! Uit Zwiers et al., Nat Neurosci 2003

STUDIE 4: De uitdaging: MENS “OWL-MAN” UIL Kan het menselijk auditief systeem leren om te gaan met totaal nieuwe regels voor geluidslocalisatie? Nieuwe rol voor de ILDs Geen rol meer voor de Oorschelp cues Hiertoe ontwierpen we de Nijmeegse “Owl Man” AZ EL ILD ITD PINNA MENS AZ EL ILD ITD PINNA “OWL-MAN” AZ EL ILD ITD PINNA UIL

De Nijmeegse “Owl-man”

Gemeten geluidslocalisatie cues voor een Normale Proefpersoon vs. de Nijmeegse Owl Man Normaal: elevatie-afhankelijke Pinna cues: H(ω; ε) azimuth-afhankelijke ITDs: ITD(α) azimuth-afhhankelijke ILDs: ILD(α) Owl man: Oorschelp cues afwezig ITDs onaangetast: ITD(α) ILDs geroteerd: ILD(α; ε)

2D localisatiegedrag van Owl Man: auditief systeem kan een totaal nieuwe localisatieregel leren! zelfs als die nieuwe regel “onmenselijk” is (zoals “uilig”)!

SAMENVATTING: Het auditief systeem representeert geluid tonotopisch (als in een piano): geluidsdruk wordt spectro-temporele informatie Geluidslocalisatie bij de mens is gebaseerd op drie typen cues: Interaurale Tijdsverschillen (horizontaal) Interaurale Intensiteitsverschillen (horizontaal) Oorschelpcues (verticaal) Geluidslocalisatie bij de uil is gebaseerd op twee cues: Interaurale tijdsverschillen (horizontaal) Interaurale intensiteitsverschillen (verticaal) mens: kan spectrale oorschelp cues leren (zelfs indien volwassen) uil: leren van geluidslocalisatie o.i.v. visueel systeem indien jong mens: leren van geluidslocalisatie OOK o.i.v. visueel systeem de Nijmeegse “mens-uil”: kan leren localiseren met TWEE cues

VRAGEN? www.neural-code.com