IPEM TOOLBOX

Inleiding tot de IPEM toolbox Een toolbox voor op perceptie gebaseerde muziekanalyse http://www.ipem.rug.ac.be/Toolbox

Perceptie gebaseerd Een instrument voor muziekanalyse op basis van menselijke perceptie Uitgangspunt voor: Extractie van karakteristieken van geluid Representatie en conceptualisering van geluid Gebruik maken van computer modellering van het auditief systeem

Functies Algemene functies voor signaal verwerking Implementatie van algoritmes ontwikkeld in het IPEM

Conceptueel kader De IPEM toolbox functies worden gecombineerd en als modules voorgesteld

Modules Wel gedefinieerde verwerkingseenheden Op perceptie gebaseerd Beschreven vanuit verschillende standpunten

Descriptie niveaus Inleidend Functioneel-logisch Signaal verwerking Implementatie

Globaal intern representatiekader Modules staan in verband met auditieve informatie verwerking vertrekkend van geluid transformatie van geluid in “beelden” en “deducties”

Tweevoudig validatie model Auditieve beelden en geassocieerde processen Menselijke fysiologie Deducties en geassocieerde processen Menselijk gedrag

Auditieve beelden De inhoud Op het niveau van computer modellering representeert karakteristieken gerelateerd een het auditief signaal gedragen door een reeks neuronen Op het niveau van computer modellering geordende cijferreeks de vectorwaarden = neuronale activatie Verschillende types auditieve beelden

Beeld transformatie processen Causale transformaties van: geluid in beelden beelden in andere beelden Auditory images sound Auditory processes

Deducties afgeleide informatie vergelijkbaar met gedragsrespons

Deductie processen Vergelijking van beelden Inspectie van beelden Extractie van karakteristieken uit beelden

Tweevoudig validatie model Overzicht van het intern respresentatie kader

Modules Wel gedefinieerde processen die leiden tot beelden en mogelijks deducties Georganiseerd volgens verschillende descriptie niveaus: sensorisch perceptueel cognitief

Globaal beeld

Modules op het sensorisch niveau Module van de auditieve periferie (Auditory Peripheral Module APM ) Ruwheid module (Roughness Module RM) Aanzetten module (Onset Module OM)

Globaal beeld

Module van de auditieve periferie Verwerkings stadia Simulatie van de filters van het buitenoor en middenoor lage frequentie doorlaat filter Simulatie van de resonantie van het basilair membraan in het binnenoor 40 band doorlaat filters Simulatie van een haarcel model converteert band doorlaat filtersignalen in neuronale patronen APM sound Primary Images

Primair beeld ANI voor een fragment uit Schumann’s Kuriose Geschichte

Ruwheid Module Deductie = schatting van de ruwheid Gebruikt een Synchronisatie Index Model: Ruwheid als energie van de relevante zwevingen in de audieve kanalen Gebaseerd op phase-locking APM RM sound Primary images Roughness estimation

Ruwheid schatting Boven: energie zoals die verdeeld is over de kanalen Midden: energie zoals die verdeeld is over de zwevende frequenties Onder: ruwheid

Aanzet Module Aanzetten van klankgebeurtenissen APM RMSM OM sound Primary images RMS values Onset patterns

Aanzet schatting Segmentatie van het origineel signaal gebruik makend van de aanzet module

Modules op het perceptueel niveau Toonhoogte Module (Pitch Completion Module PCM) Ritme Module (Rhythm Module RhM) Module van het echoïsch geheugen (Echoic Memory Module EMM)

Globaal beeld

Toonhoogte Module Periodiciteitenanalyse van primaire beelden Van temporele codering naar plaatscodering APM PCM sound Primary images Pitch images

Periodiciteitenanalyse

Ritme Module APM RMSM MEC algorithm sound Primary images RMS values Detectie van repetitie in ritmepatronen Gebruikt het algoritme van de minimale energie verandering (Minimal Energy Change MEC) berekent de fundamentele periode op elke tijdstap basisgedachte: energie berekend over een periode van een zich herhalend patroon is min of meer gelijk op elk tijdsmoment minimale energieveranderingen verwijzen naar de periode van een repetitief patroon APM RMSM MEC algorithm sound Primary images RMS values Rhythm patterns

MEC Analyse Periodiciteitenanalyse van de energie in de primaire beelden Schatting van periodiciteitenpatronen Extractie van het beste patroon uit een signaal

MEC Analyse Gesommeerde verschilwaarden Beste periode (minimum van de verschilwaarden: 1,317 s.)

Module van het echoïsch geheugen Echo: halve wegstervingstijd Geïntegreerde beelden of echoïsche beelden Toegepast op toonhoogtebeelden: echo = context APM PCM EMM Local images sound Primary images Pitch images Global images

Toonhoogtebeelden Lokaal Globaal

Modules op het cognitief niveau Contextualiteit Module (Contextuality Module CM)

Globaal beeld

Contextualiteit Module Contextgebonden toonhoogtewaarneming Toonhoogte-overeenstemming tussen twee toonhoogtebeelden (met mogelijks verschillende echo’s) APM PCM EMM CM Local/ Global Images sound Primary images Pitch images Contextuality index

Inspectie en Vergelijking inspectie van een toonhoogtesequentie door middel van een vast beeld lokaal: inspectie van de lokale beelden met het vast beeld globaal: inspectie van de globale beelden met het vast beeld vergelijking vergelijking van lopende lokale en globale beelden over de volledige sequentie resultaat = graad van overeenkomst

Toonhoogtebeelden en contextualiteit Toonhoogtebeelden Contextualiteit index