Maarten Van Lier 2 e Master Computerwetenschappen

 Use Case  Motivatie  FGSIA algoritme  Evaluatie  Besluit  Moeilijkheden  Demo

 Stitching algoritmen  + Geavanceerd, veel onderzoek  + Goede resultaten  - Enkel op PC  Panorama apps  + Op smartphone  - Eenvoudige algoritmen  - Sensoren volledig vertrouwd voor alignatie

 Eenvoudige algoritmen  Foto’s naast elkaar plaatsen  Eenvoudige blending  Eenvoudig gebruik van sensoren  Geen filtering of extra processing  Wel snel resultaat

 Beste van twee werelden:  Geavanceerde algoritmen  Op smartphone  Moeilijk door beperkingen smartphone!

 Rekenkracht & geheugen = beperkt  Efficiënt algoritme = belangrijk!  Volledig op smartphone  Binnen redelijke tijd  Oplossing: gebruik smartphone sensoren  Oriëntatiebepaling  Initiële alignering  Rekenwerk reduceren

 Neem foto’s met smartphone app  Met 3D preview  Sla sensordata op  Vind overlap regio’s  Gebruik sensordata  Extraheer features  Uit overlap regio’s  Vind gelijke features  In overeenkomstige overlap regio’s  Vind een alignatie tussen die foto’s (homografie)  Voeg het resultaat samen

Hier: 50% overlap

Wrsch. match Onwrsch. match Mogelijk foute match

Standaard algoritme FGSIA algoritme  7 foto’s inladen  28 ms  5953 features  1244 ms  Feature matching  7412 ms  Compositing  3795 ms  Totaal: 12,451 sec  7 foto’s inladen  28 ms  17 overlap regio’s bepalen  151 ms  4320 features (-27,43%)  1186 ms (-4,66%)  Feature matching  1000 ms (-86,51%)  Compositing  3798 ms  Total: 6,135 sec (-50,73%)

ComputerSmartphone  8 foto’s inladen  24 ms  28 overlap regio’s bepalen  127 ms  Extract 5795 features  3869 ms  Match features  4771 ms  Compositing (1024x512 pixels)  2706 ms  Total: 11,5 seconds  94 ms (x3,92)  339 ms (x2,67)  ms (x6,38)  ms (x14,27)  ms (x48,74)  Total: 225 seconds (x19,57)

 Met FGSIA algoritme: snelheidswinst  Vooral matching fase  Gemiddeld 50 à 80% snelheidswinst  Sensoren niet perfect  Grotere overlap regio  Enkel nabije features  Geen spectaculaire snelheidswinst

 Sensoren  Niet perfect, kompas drift  OpenGL ES visualisatie  Vooraf geen ervaring  Coördinaatsystemen  6 verschillende systemen

 Library keuze  OpenCV vs BoofCV  Port naar Android (geheugen)  Ongebruikte data weggooien  Max 7 à 10 foto’s  Paper omzetten naar implementatie  Meer werk dan verwacht