Lokaliseren en volgen van personen en objecten met behulp van camera’s Informatie Scriptieprijs 2007 22 November 2007 Sofie De Cooman.

Presentatie over: "Lokaliseren en volgen van personen en objecten met behulp van camera’s Informatie Scriptieprijs 2007 22 November 2007 Sofie De Cooman."— Transcript van de presentatie:

1 Lokaliseren en volgen van personen en objecten met behulp van camera’s Informatie Scriptieprijs 2007 22 November 2007 Sofie De Cooman

2 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

3 Observator draagt camera, merktekens in beeld Extractie van merktekens uit beeld Bepaling 3D-positie observator Doel

4 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

5 Onderzoek bestaande systemen Augmented Reality toepassingen ARToolkit, ARTag, PTrack, ARStudio … Hergebruik van ideeën: -Merktekens met een vierkante vorm: 4 hoekpunten  4 referentiepunten nodig voor positiebepaling -Gebruik randdetectie bij extractie merktekens -Identificatie van merktekens: Bitpatroon met redundantiebits voor foutdetectie -en correctie

6 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

7 Uitwerking C++ - OpenCV (documentatie: doxygen) Configuratie: XML (xerces-c) Matlab -Initieel: beeldverwerking - GUI Technologiën

8 Uitwerking – Ontwerp merktekens Eenvoudige en snelle extractie Voldoende te onderscheiden van omgeving Unieke en snelle identificatie Rotaties van een merkteken herkenbaar, één originele oriëntatie Minimumgrootte nodig voor detectie zo klein mogelijk Criteria

9 Uitwerking – Ontwerp merktekens Opbouw Vierkant, zwarte rand, instelbare randdikte Intern bitpatroon (n x n bits) -ID -Eventueel foutdetectie –en correctiebits (betrouwbaarheid) IDMerkteken

10 Elk merkteken is uniek t.o.v. alle oriëntaties van alle merktekens -Juiste oriëntatie via extra bits Uitwerking – Ontwerp merktekens Rotaties Toegevoegde bits bij de oorspronkelijke oriëntatie Andere bits op dezelfde plaatsen bij de andere oriëntaties

11 Uitwerking – Ontwerp merktekens -Bitpatronen van alle merktekens voldoende verschillend voor de 4 oriëntaties Merkteken 1 Verschillend oriëntaties van merkteken 2 Minimum: 3 bits verschil -> Elk merkteken: originele oriëntatie is uniek 4 keer dezelfde oriëntatie 2 keer 2 dezelfde oriëntaties

12 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

13 Uitwerking – Extractie & identificatie 1.Omzetting naar grijswaarden 2.Randdetectie, opsporen contouren 3.Onderzoek kromming 4.Linken contouren 5.Bepalen hoeken 6.Sampling bitpatroon 7.Correcte extractie en identificatie 123 4 567

14 Uitwerking – Extractie & identificatie Randdetectie, opsporen contouren Randdetectie Opsporen contouren -Selectief, lokaal linken van randpunten in (een deel van) de 3x3 omgeving -Labeling randpunten -Zoekprioriteiten - Laplacian of Gaussian - Subpixel benadering voor de randpunten huidig randpunt (label 1) randpunt 1 (label 2) randpunt 2 (label 1)

15 Uitwerking – Extractie & identificatie Toepassen threshold bij randdetectie zonder threshold met threshold

16 Uitwerking – Extractie & identificatie Onderzoek kromming Maxima Naburige minima 4 overblijvende maxima => kandidaat- merkteken maxima -> hoeken merkteken

17 Uitwerking – Extractie & identificatie Linken contouren Gaten door toepassen threshold Selectief zoeken van naburige contouren aan het uiteinde van de huidige contour contour 1 contour 2 uiteinde contour 1 uiteinde contour 2

18 Uitwerking – Extractie & identificatie Bepalen hoeken Maxima kromming Uiteindelijke hoeken Aanmeten rechten aan zijden Snijpunten rechten  hoeken Belang nauwkeurigheid - Sampling bitpatroon - Positiebepaling

19 Uitwerking – Extractie & identificatie Sampling bitpatroon Sampling-punten via hoeken bepaald Extra controles Effect onnauwkeurige Benadering hoeken Positionering sampling-punten relatief t.o.v. de hoeken v/e merkteken

20 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

21 Uitwerking – Positiebepaling

22 Calibratie voorzien “Global Convergent Pose Estimation from Video Images” - Globaal convergent, beperkt aantal iteraties - Probleem: pose jumps  “Robust Planar Pose”  Initialisatie algoritme met positie vorig frame  Drempelwaarde voor fout terugprojecties

23 Uitwerking – Positiebepaling Nauwkeurigheid - Beter bij gebruik van meerdere merktekens - Best bij merktekens in verschillende vlakken Configuratie - Ruimte = verzameling vlakken - Posities merktekens t.o.v. coördinatenstelsel vlak - Automatische generatie merktekenposities mogelijk

24 Uitwerking – Positiebepaling Generatie merktekenpositie aantal merktekens in beeldvlak (horizontaal/verticaal) vlak merktekens in beeldvlak

25 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

26 Voorbeeldtoepassing Interactieve 3D-visualisatie - Zicht op een virtuele scene aangepast aan de positie van de echte camera - Ogre3D, Google Sketchup

27 Overzicht Doel Onderzoek bestaande systemen Uitwerking - Ontwerp merktekens - Extractie & identificatie - Positiebepaling Voorbeeldtoepassing Conclusie

28 Merktekens - flexibele opbouw, aanpasbaar aan omgeving - betrouwbare identificatie Extractie - Structuur merktekens maximaal uitgebuit bij elke fase Positiebepaling - hergebruik en verbetering v/e bestaande methode - flexibele configuratie

29 Meer informatie: overzicht systeem, presentatie, demo, scriptie … http://www.sofiedc.be/thesis