Background Subtraction for Urban Traffic Monitoring using Webcams Master Thesis Verdediging Begeleider: Rein van den Boomgaard door: Mark Smids 19 maart 2007

Overzicht presentatie Project omschrijving Verkeersanalyse Achtergrond / voorgrond detectie Schaduw detectie en eliminatie Het samenvatten van videobeelden Demo’s Evaluatie Conclusies Gelegenheid voor vragen

Project omschrijving Doelen van het eindproject Uitgebreid literatuuronderzoek op het gebied van: visuele verkeersanalyse achtergrond / voorgrond detectie schaduwdetectie Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Project omschrijving Doelen van het eindproject Implementatie van: twee achtergrond / voorgrond detectors een schaduwdetector een toepassing: ‘slimme’ beveiligingscamera Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Project omschrijving Doelen van het eindproject Vergelijken van de twee achtergrond / voorgrond detectors: testen op een aantal videos testen onder verschillende weersomstandigheden testen van de schaduw detector Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Verkeersanalyse Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’

Verkeersanalyse Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’ Beperkingen: Kostbaar en deze systemen tellen alleen Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Verkeersanalyse Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’ Beperkingen: Kostbaar en deze systemen tellen alleen Uitgebreide analyse is gewenst zoals : verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig, Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Verkeersanalyse Traditionele manieren van het bestuderen van de verkeersstromen gebruikmakend van ‘magnetic loops’ Beperkingen: Kostbaar en deze systemen tellen alleen Uitgebreide analyse is gewenst zoals : verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig, Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Verkeersanalyse Waarom gericht op stedelijke gebieden? Meeste literatuur is gericht op verkeerssituaties op snelwegen Veel uitdagendere taken op kruispunten Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Verkeersanalyse Waarom gericht op stedelijke gebieden? Meeste literatuur is gericht op verkeerssituaties op snelwegen Veel uitdagendere taken op kruispunten Componenten in een verkeersanalyse systeem: cameras, calibratie, achtergrond / voorgrond detectie, tracking, schaduw detectie, samenvatten van videobeelden, … Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Achtergrond / voorgrond detectie Deze detectie is onder te verdelen in: het maken van een initieel achtergrond model het weergeven van de voorgrond gegeven het achtergrond model het bijwerken van het achtergrond model Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Deze detectie is onder te verdelen in: het maken van een initieel achtergrond model het weergeven van de voorgrond gegeven het achtergrond model het bijwerken van het achtergrond model Twee verschillende benaderingen: deterministisch statistisch Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model for all x,y: if I(x,y) – B(x,y) > T then M(x,y) = 1 else M(x,y) = 0 Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Deterministische methode Maak een initieel achtergrond model met behulp van een aantal eerdere beelden Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model voor alle x,y: als I(x,y) – B(x,y) > T dan M(x,y) = 1 anders M(x,y) = 0 Updaten van het achtergrond model: voor alle x,y: als M(x,y) = 0 dan B(x,y) = I(x,y) Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Statistische methode Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model Alle voorgaande pixel waarden wegen mee in de huidige classificatie Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Statistische methode Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model Alle voorgaande pixel waarden wegen mee in de huidige classificatie Voordelen van deze methode: stilstaande voorgrond objecten worden na verloop van tijd opgenomen in het achtergrond model lerende factor: onthouden van meerdere ‘achtergrondwaarden’ Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Achtergrond / voorgrond detectie

Statistische methode Modelleer elk pixel door middel van een ‘mixture of Gaussians’ Waarom een mix? Een achtgrond model wordt gevormd door het kiezen van die Gausische verdelingen die eigenschappen bevatten van achtergrond componenten Updaten van het achtergrond model: door middel van updaten van parameters

Wat zijn de eigenschappen van een achtergrond component? Hoe herkennen we deze? Observatie: deze componenten zullen relatief veel samples bevatten (“high supporting evidence”) en lage varianties hebben Sorteer de K distributies in het mixture model op de volgende wijze De hoogst geplaatste B verdelingen worden gekozen als achtergrond model:

Schaduw detectie Waarom het negeren van schaduw in een scene verbeterde resultaten geeft bij verkeersanalyse… Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Schaduw detectie Beschouw alleen de pixels in een beeld die geclassificeerd zijn als voorgrond Een pixel in een beeld is mogelijk een ‘schaduw pixel’ wanneer zijn waarde veel lager is dan de waarde van dit pixel in het bijbehorende achtergrond model. Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

1. Vergelijken van grootes van de vectoren: c = (R,G,B) and dan mate van overeenkomst in grootte: 2. Vergelijken van de hoek tussen de vectoren wanneer < 1 en D < dan is het pixel een schaduw pixel

Samenvatten van videobeelden Toepassing: ‘slimme’ beveiligingscamera Het basisidee: neem alleen de beelden op waarin voorgrond objecten zichtbaar zijn Hoe garanderen we dat het volledige traject van een voertuig wordt opgenomen? Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Demos 1.Schaduw detectie in actie – 1 | Achtergrond / voorgrond detectie in actie det 1 | stat 1 - det 2 | stat 2det 1stat 1det 2stat 2 3.‘Slimme’ beveiligingscamera - 11 Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Evaluatie Test videos: drie verschillende weersomstandigheden (elk 5 minuten) Doel: test beide achtergrond / voorgrond detectors op deze videos Beperking: geen ‘ground truth’ op pixel niveau beschikbaar! Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Evaluatie op een andere manier: gebruikmakend van de samengevatte videobeelden Een ‘ground truth’ op beeld-niveau: bevat een beeld (frame) één of meer voorgrond object(en)? Met deze gegevens kan een score worden berekend Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen Evaluatie

Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Score S (deterministische aanpak) Score S (statistisch aanpak) Video A (wind/wolken) 85.6%88.3% Video B (zonnig) 88.5%94.6% Video C (regen) 83.4%93.4% Evaluatie Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Wind blijft voor beide aanpakken het grootste probleem Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Wind blijft voor beide aanpakken het grootste probleem De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Conclusies De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) Wind blijft voor beide aanpakken het grootste probleem De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden nauwkeurigere scores: een ‘ground-truth’ op pixel niveau, en vervolgens met deze informatie opnieuw evalueren Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Vragen? Project omschrijving Verkeers – analyse Achtergrond / voorgrond detectie Schaduw detectie Samenvatten videobeelden Demo’s Evaluatie Conclusies Vragen

Gaussian mixture details Update vergelijkingen: Z. Zivkovic, “Improved Adaptive Gaussian Mixture Model for Background Subtraction” MoG :