Background Subtraction for Urban Traffic Monitoring using Webcams Master Thesis Verdediging Begeleider: Rein van den Boomgaard door: Mark Smids 19 maart.

Presentatie over: "Background Subtraction for Urban Traffic Monitoring using Webcams Master Thesis Verdediging Begeleider: Rein van den Boomgaard door: Mark Smids 19 maart."— Transcript van de presentatie:

1 Background Subtraction for Urban Traffic Monitoring using Webcams Master Thesis Verdediging Begeleider: Rein van den Boomgaard door: Mark Smids 19 maart 2007

2 Overzicht presentatie Project omschrijving Verkeersanalyse Achtergrond / voorgrond detectie Schaduw detectie en eliminatie Het samenvatten van videobeelden Demo’s Evaluatie Conclusies Gelegenheid voor vragen

3 Project omschrijving Doelen van het eindproject Uitgebreid literatuuronderzoek op het gebied van: visuele verkeersanalyse achtergrond / voorgrond detectie schaduwdetectie Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

4 Project omschrijving Doelen van het eindproject Implementatie van: twee achtergrond / voorgrond detectors een schaduwdetector een toepassing: ‘slimme’ beveiligingscamera Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

5 Project omschrijving Doelen van het eindproject Vergelijken van de twee achtergrond / voorgrond detectors: testen op een aantal videos testen onder verschillende weersomstandigheden testen van de schaduw detector Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

6 Verkeersanalyse Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’

7 Verkeersanalyse Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’ Beperkingen: Kostbaar en deze systemen tellen alleen Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

8 Verkeersanalyse Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’ Beperkingen: Kostbaar en deze systemen tellen alleen Uitgebreide analyse is gewenst zoals : verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig, Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

9 Verkeersanalyse Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’ Beperkingen: Kostbaar en deze systemen tellen alleen Uitgebreide analyse is gewenst zoals : verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig, Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

10 Verkeersanalyse Waarom gericht op stedelijke gebieden? Meeste literatuur is gericht op verkeerssituaties op snelwegen Veel uitdagendere taken op kruispunten Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

11 Verkeersanalyse Waarom gericht op stedelijke gebieden? Meeste literatuur is gericht op verkeerssituaties op snelwegen Veel uitdagendere taken op kruispunten Componenten in een verkeersanalyse systeem: cameras, calibratie, achtergrond / voorgrond detectie, tracking, schaduw detectie, samenvatten van videobeelden, … Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

12 Achtergrond / voorgrond detectie Deze detectie is onder te verdelen in: het maken van een initieel achtergrond model het weergeven van de voorgrond gegeven het achtergrond model het bijwerken van het achtergrond model Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

13 Deze detectie is onder te verdelen in: het maken van een initieel achtergrond model het weergeven van de voorgrond gegeven het achtergrond model het bijwerken van het achtergrond model Twee verschillende benaderingen: deterministisch statistisch Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

14 Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

15 Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

16 Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model for all x,y: if I(x,y) – B(x,y) > T then M(x,y) = 1 else M(x,y) = 0 Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

17 Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model voor alle x,y: als I(x,y) – B(x,y) > T dan M(x,y) = 1 anders M(x,y) = 0 Updaten van het achtergrond model: voor alle x,y: als M(x,y) = 0 dan B(x,y) = I(x,y) Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

18 Statistische methode Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model Alle voorgaande pixel waarden wegen mee in de huidige classificatie Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

19 Statistische methode Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model Alle voorgaande pixel waarden wegen mee in de huidige classificatie Voordelen van deze methode: stilstaande voorgrond objecten worden na verloop van tijd opgenomen in het achtergrond model lerende factor: onthouden van meerdere ‘achtergrondwaarden’ Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

20 Statistische methode Modelleer elk pixel door middel van een ‘mixture of Gaussians’ Waarom een mix? Een achtgrond model wordt gevormd door het kiezen van die Gausische verdelingen die eigenschappen bevatten van achtergrond componenten Updaten van het achtergrond model: door middel van updaten van parameters

21 Wat zijn de eigenschappen van een achtergrond component? Hoe herkennen we deze? Observatie: deze componenten zullen relatief veel samples bevatten (“high supporting evidence”) en lage varianties hebben Sorteer de K distributies in het mixture model op de volgende wijze De hoogst geplaatste B verdelingen worden gekozen als achtergrond model:

22 Schaduw detectie Waarom het negeren van schaduw in een scene verbeterde resultaten geeft bij verkeersanalyse… Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

23 Schaduw detectie Beschouw alleen de pixels in een beeld die geclassificeerd zijn als voorgrond Een pixel in een beeld is mogelijk een ‘schaduw pixel’ wanneer zijn waarde veel lager is dan de waarde van dit pixel in het bijbehorende achtergrond model. Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

24 1. Vergelijken van grootes van de vectoren: c = (R,G,B) and dan mate van overeenkomst in grootte: 2. Vergelijken van de hoek tussen de vectoren wanneer < 1 en D < dan is het pixel een schaduw pixel

25 Samenvatten van videobeelden Toepassing: ‘slimme’ beveiligingscamera Het basisidee: neem alleen de beelden op waarin voorgrond objecten zichtbaar zijn Hoe garanderen we dat het volledige traject van een voertuig wordt opgenomen? Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

26 Demos 1.Schaduw detectie in actie – 1 | 212 2.Achtergrond / voorgrond detectie in actie det 1 | stat 1 - det 2 | stat 2det 1stat 1det 2stat 2 3.‘Slimme’ beveiligingscamera - 11 Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

27 Evaluatie Test videos: drie verschillende weersomstandigheden (elk 5 minuten) Doel: test beide achtergrond / voorgrond detectors op deze videos Beperking: geen ‘ground truth’ op pixel niveau beschikbaar! Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

28 Evaluatie op een andere manier: gebruikmakend van de samengevatte videobeelden Een ‘ground truth’ op beeld-niveau: bevat een beeld (frame) één of meer voorgrond object(en)? Met deze gegevens kan een score worden berekend Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Evaluatie

29 Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

30 Score S (deterministische aanpak) Score S (statistisch aanpak) Video A (wind/wolken) 85.6%88.3% Video B (zonnig) 88.5%94.6% Video C (regen) 83.4%93.4% Evaluatie Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

31 Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

32 Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Wind blijft voor beide aanpakken het grootste probleem Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

33 Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Wind blijft voor beide aanpakken het grootste probleem De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

34 Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Wind blijft voor beide aanpakken het grootste probleem De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden nauwkeurigere scores: een ‘ground-truth’ op pixel niveau, en vervolgens met deze informatie opnieuw evalueren Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

35 Vragen? http://www.qdqp.nl/uva/afstuderen/master Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

36 Gaussian mixture details Update vergelijkingen: Z. Zivkovic, “Improved Adaptive Gaussian Mixture Model for Background Subtraction” MoG :