IPEM TOOLBOX.

Presentatie over: "IPEM TOOLBOX."— Transcript van de presentatie:

1 IPEM TOOLBOX

2 Inleiding tot de IPEM toolbox
Een toolbox voor op perceptie gebaseerde muziekanalyse

3 Perceptie gebaseerd Een instrument voor muziekanalyse op basis van menselijke perceptie Uitgangspunt voor: Extractie van karakteristieken van geluid Representatie en conceptualisering van geluid Gebruik maken van computer modellering van het auditief systeem

4 Functies Algemene functies voor signaal verwerking
Implementatie van algoritmes ontwikkeld in het IPEM

5 Conceptueel kader De IPEM toolbox functies worden gecombineerd en als modules voorgesteld

6 Modules Wel gedefinieerde verwerkingseenheden Op perceptie gebaseerd
Beschreven vanuit verschillende standpunten

7 Descriptie niveaus Inleidend Functioneel-logisch Signaal verwerking
Implementatie

8 Globaal intern representatiekader
Modules staan in verband met auditieve informatie verwerking vertrekkend van geluid transformatie van geluid in “beelden” en “deducties”

9 Tweevoudig validatie model
Auditieve beelden en geassocieerde processen Menselijke fysiologie Deducties en geassocieerde processen Menselijk gedrag

10 Auditieve beelden De inhoud Op het niveau van computer modellering
representeert karakteristieken gerelateerd een het auditief signaal gedragen door een reeks neuronen Op het niveau van computer modellering geordende cijferreeks de vectorwaarden = neuronale activatie Verschillende types auditieve beelden

11 Beeld transformatie processen
Causale transformaties van: geluid in beelden beelden in andere beelden Auditory images sound Auditory processes

12 Deducties afgeleide informatie vergelijkbaar met gedragsrespons

13 Deductie processen Vergelijking van beelden Inspectie van beelden
Extractie van karakteristieken uit beelden

14 Tweevoudig validatie model
Overzicht van het intern respresentatie kader

15 Modules Wel gedefinieerde processen die leiden tot beelden en mogelijks deducties Georganiseerd volgens verschillende descriptie niveaus: sensorisch perceptueel cognitief

16 Globaal beeld

17 Modules op het sensorisch niveau
Module van de auditieve periferie (Auditory Peripheral Module APM ) Ruwheid module (Roughness Module RM) Aanzetten module (Onset Module OM)

18 Globaal beeld

19 Module van de auditieve periferie
Verwerkings stadia Simulatie van de filters van het buitenoor en middenoor lage frequentie doorlaat filter Simulatie van de resonantie van het basilair membraan in het binnenoor 40 band doorlaat filters Simulatie van een haarcel model converteert band doorlaat filtersignalen in neuronale patronen APM sound Primary Images

20 Primair beeld ANI voor een fragment uit Schumann’s Kuriose Geschichte

21 Ruwheid Module Deductie = schatting van de ruwheid
Gebruikt een Synchronisatie Index Model: Ruwheid als energie van de relevante zwevingen in de audieve kanalen Gebaseerd op phase-locking APM RM sound Primary images Roughness estimation

22 Ruwheid schatting Boven: energie zoals die verdeeld is over de kanalen
Midden: energie zoals die verdeeld is over de zwevende frequenties Onder: ruwheid

23 Aanzet Module Aanzetten van klankgebeurtenissen APM RMSM OM sound
Primary images RMS values Onset patterns

24 Aanzet schatting Segmentatie van het origineel signaal gebruik makend van de aanzet module

25 Modules op het perceptueel niveau
Toonhoogte Module (Pitch Completion Module PCM) Ritme Module (Rhythm Module RhM) Module van het echoïsch geheugen (Echoic Memory Module EMM)

26 Globaal beeld

27 Toonhoogte Module Periodiciteitenanalyse van primaire beelden
Van temporele codering naar plaatscodering APM PCM sound Primary images Pitch images

28 Periodiciteitenanalyse

29 Ritme Module APM RMSM MEC algorithm sound Primary images RMS values
Detectie van repetitie in ritmepatronen Gebruikt het algoritme van de minimale energie verandering (Minimal Energy Change MEC) berekent de fundamentele periode op elke tijdstap basisgedachte: energie berekend over een periode van een zich herhalend patroon is min of meer gelijk op elk tijdsmoment minimale energieveranderingen verwijzen naar de periode van een repetitief patroon APM RMSM MEC algorithm sound Primary images RMS values Rhythm patterns

30 MEC Analyse Periodiciteitenanalyse van de energie in de primaire beelden Schatting van periodiciteitenpatronen Extractie van het beste patroon uit een signaal

31 MEC Analyse Gesommeerde verschilwaarden
Beste periode (minimum van de verschilwaarden: 1,317 s.)

32 Module van het echoïsch geheugen
Echo: halve wegstervingstijd Geïntegreerde beelden of echoïsche beelden Toegepast op toonhoogtebeelden: echo = context APM PCM EMM Local images sound Primary images Pitch images Global images

33 Toonhoogtebeelden Lokaal Globaal

34 Modules op het cognitief niveau
Contextualiteit Module (Contextuality Module CM)

35 Globaal beeld

36 Contextualiteit Module
Contextgebonden toonhoogtewaarneming Toonhoogte-overeenstemming tussen twee toonhoogtebeelden (met mogelijks verschillende echo’s) APM PCM EMM CM Local/ Global Images sound Primary images Pitch images Contextuality index

37 Inspectie en Vergelijking
inspectie van een toonhoogtesequentie door middel van een vast beeld lokaal: inspectie van de lokale beelden met het vast beeld globaal: inspectie van de globale beelden met het vast beeld vergelijking vergelijking van lopende lokale en globale beelden over de volledige sequentie resultaat = graad van overeenkomst

38 Toonhoogtebeelden en contextualiteit
Toonhoogtebeelden Contextualiteit index