Lokaliseren en volgen van personen en objecten met behulp van camera’s Informatie Scriptieprijs November 2007 Sofie De Cooman
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Observator draagt camera, merktekens in beeld Extractie van merktekens uit beeld Bepaling 3D-positie observator Doel
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Onderzoek bestaande systemen Augmented Reality toepassingen ARToolkit, ARTag, PTrack, ARStudio … Hergebruik van ideeën: -Merktekens met een vierkante vorm: 4 hoekpunten 4 referentiepunten nodig voor positiebepaling -Gebruik randdetectie bij extractie merktekens -Identificatie van merktekens: Bitpatroon met redundantiebits voor foutdetectie -en correctie
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Uitwerking C++ - OpenCV (documentatie: doxygen) Configuratie: XML (xerces-c) Matlab -Initieel: beeldverwerking - GUI Technologiën
Uitwerking – Ontwerp merktekens Eenvoudige en snelle extractie Voldoende te onderscheiden van omgeving Unieke en snelle identificatie Rotaties van een merkteken herkenbaar, één originele oriëntatie Minimumgrootte nodig voor detectie zo klein mogelijk Criteria
Uitwerking – Ontwerp merktekens Opbouw Vierkant, zwarte rand, instelbare randdikte Intern bitpatroon (n x n bits) -ID -Eventueel foutdetectie –en correctiebits (betrouwbaarheid) IDMerkteken
Elk merkteken is uniek t.o.v. alle oriëntaties van alle merktekens -Juiste oriëntatie via extra bits Uitwerking – Ontwerp merktekens Rotaties Toegevoegde bits bij de oorspronkelijke oriëntatie Andere bits op dezelfde plaatsen bij de andere oriëntaties
Uitwerking – Ontwerp merktekens -Bitpatronen van alle merktekens voldoende verschillend voor de 4 oriëntaties Merkteken 1 Verschillend oriëntaties van merkteken 2 Minimum: 3 bits verschil -> Elk merkteken: originele oriëntatie is uniek 4 keer dezelfde oriëntatie 2 keer 2 dezelfde oriëntaties
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Uitwerking – Extractie & identificatie 1.Omzetting naar grijswaarden 2.Randdetectie, opsporen contouren 3.Onderzoek kromming 4.Linken contouren 5.Bepalen hoeken 6.Sampling bitpatroon 7.Correcte extractie en identificatie
Uitwerking – Extractie & identificatie Randdetectie, opsporen contouren Randdetectie Opsporen contouren -Selectief, lokaal linken van randpunten in (een deel van) de 3x3 omgeving -Labeling randpunten -Zoekprioriteiten - Laplacian of Gaussian - Subpixel benadering voor de randpunten huidig randpunt (label 1) randpunt 1 (label 2) randpunt 2 (label 1)
Uitwerking – Extractie & identificatie Toepassen threshold bij randdetectie zonder threshold met threshold
Uitwerking – Extractie & identificatie Onderzoek kromming Maxima Naburige minima 4 overblijvende maxima => kandidaat- merkteken maxima -> hoeken merkteken
Uitwerking – Extractie & identificatie Linken contouren Gaten door toepassen threshold Selectief zoeken van naburige contouren aan het uiteinde van de huidige contour contour 1 contour 2 uiteinde contour 1 uiteinde contour 2
Uitwerking – Extractie & identificatie Bepalen hoeken Maxima kromming Uiteindelijke hoeken Aanmeten rechten aan zijden Snijpunten rechten hoeken Belang nauwkeurigheid - Sampling bitpatroon - Positiebepaling
Uitwerking – Extractie & identificatie Sampling bitpatroon Sampling-punten via hoeken bepaald Extra controles Effect onnauwkeurige Benadering hoeken Positionering sampling-punten relatief t.o.v. de hoeken v/e merkteken
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Uitwerking – Positiebepaling
Calibratie voorzien “Global Convergent Pose Estimation from Video Images” - Globaal convergent, beperkt aantal iteraties - Probleem: pose jumps “Robust Planar Pose” Initialisatie algoritme met positie vorig frame Drempelwaarde voor fout terugprojecties
Uitwerking – Positiebepaling Nauwkeurigheid - Beter bij gebruik van meerdere merktekens - Best bij merktekens in verschillende vlakken Configuratie - Ruimte = verzameling vlakken - Posities merktekens t.o.v. coördinatenstelsel vlak - Automatische generatie merktekenposities mogelijk
Uitwerking – Positiebepaling Generatie merktekenpositie aantal merktekens in beeldvlak (horizontaal/verticaal) vlak merktekens in beeldvlak
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Voorbeeldtoepassing Interactieve 3D-visualisatie - Zicht op een virtuele scene aangepast aan de positie van de echte camera - Ogre3D, Google Sketchup
Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie
Merktekens - flexibele opbouw, aanpasbaar aan omgeving - betrouwbare identificatie Extractie - Structuur merktekens maximaal uitgebuit bij elke fase Positiebepaling - hergebruik en verbetering v/e bestaande methode - flexibele configuratie
Meer informatie: overzicht systeem, presentatie, demo, scriptie …