Presentatie titel Rotterdam, 00 januari 2007 Computer Vision Technische Informatica www.hogeschool-rotterdam.nl/cmi.

Slides:



Advertisements
Verwante presentaties
Deel 1, Blok 2, Datacommunicatie
Advertisements

De Video Kaart.
2 beeldschermen op één PC
Autisme en Mindmap Thuis en op School
Unleash your productivity with Startup TOOLS today •Configuratie voor de PTC product ontwikkeling omgeving, •Applicaties voor een gecentraliseerd, grafisch.
SSD gebruik in “WMC“ Nico Oosterwijk.
Embedded systemen Embedded software.
™.
Bepalen van een productstrategie ten aanzien van 64-bits computing ISV Community Day Schiphol-Rijk, Andreas de Ruiter Developer & Platform Group.
gebouw applicaties binnen een gebouwbesturingssysteem
Moederbord en blu-ray.
Informatieverwerkende systemen
Componenten voor een werkende computer
Software Architectuur Over de samenhang der dingen = Over de connecties tussen componenten Over de afhankelijkheden tussen modules Over de belangen van.
How to build a robot Sander van Dijk Kunstmatige Intelligentie
Opdracht 2.3 Een zaak vol willekeur
Door Ramòn Janssen, Tim Helwegen en Niels Killaars. Home Interaction System RJTHNK.
Welkom Voorstellen Bustechnologie ASI Actuator-Sensor-Interface
... M A K E Y O U R N E T W O R K S M A R T E R IP-Adres instellen ppt_aa1_p10_ip_addressing_v4.1_nl_0508.
Workshop LabQuest Vernier en Logger Pro
De verschillende evoluties: Digitalisering Microchiptechnologie Bandbreedte Koperpaar -> coax -> glasvezelkabel Compressietechniek Schakeltechnologie Servers.
Hoofdstuk 6 Het voorspellen van prestaties Deel 2: Vermogenvoorspellingen op architectuurniveau Prof. dr. ir. Dirk Stroobandt Academiejaar
Geheugenbeheer ICT Infrastructuren hoofdstukken 7 en 8.1.
Development of measurement device for determination of homogeneity presentatie eindwerk Pieter Dekeyzer Industrieel Ingenieur Informatica.
LED’s.
Systeemsoftware Hfdst 2
Blok 7: netwerken Les 1 Christian Bokhove
Oudere software op een nieuwe PC De andere manier is het gebruik van virtual p.c. Het gebruik van virtual pc heeft als voor/nadeel het standaard operatings-
Power PC Assembler. Assembler toolkit bevat Assembler zelf Linkerlibrarian.
Operating Systems Informatica.
Moederbord en blu-ray.
Door: Ton van Hemert, Dennis van Hoesel en Brian van Loon.
Scada – Monitoring - Fleetcontrole
Media bekijken op afstand De mogelijkheden boven de €500.
Afstudeerproject ETHERFLOW:
Welkom bij PowerPoint Van soufian.
Presentatie titel Rotterdam, 00 januari 2007 Computer Vision Technische Informatica
Objectieven en hun werking
Etherflow Voor het aansluiten van een flowmeter op een Ethernet netwerk Afstudeerpresentatie Michel van der Net Elektrotechniek Avans Hogeschool Breda.
Lokaliseren en volgen van personen en objecten met behulp van camera’s Informatie Scriptieprijs November 2007 Sofie De Cooman.
Achterkant laptop. Zijkant laptop S-Video Poort Deze poort wordt gebruikt om de computer via een kabel aan de tv te koppelen. De S-video poort verdeeld.
Presentatie titel Rotterdam, 00 januari 2007 Computer Vision Technische Informatica
BIOS en Opstarten.
Les 1: Zaterdag 10 mei 2014 Wim Peeters
Opslag Formaten.
stap 1 * Draadloze netwerkkaart installeren * Een van de belangrijkste benodigdheden voor het kunnen ontvangen van draadloos internet is een draadloze.
Besturingssysteem Vaak wordt de Engelse term gebruikt: Operating System ( OS ) Plaats van het OS in een computersysteem: Hardware Applicatie Operating.
Code compressie in Embedded Systems Onno Kievit ET4074 Kwantitatieve aspecten van computer architectuur.
Presentatie titel Rotterdam, 00 januari 2007 Computer Vision Technische Informatica
EMSE 20 oktober 2015 Verlichting, het Internet of Things en ARM mbed 3.0 Klaas de Waal.
De digitale camera toepassing van het foto-elektrisch effect.
Hoe beheer je efficiënt computers op school? Linux Terminal Server Project (LTSP)in de praktijk Rob Burggraaf Bovenschoolse ICT coördinator VPCO.
USB: Universal Serial Bus. Wat is USB?  Universeel  Verschillende soorten aansluitingen  Sneller dan andere poorten.  In theorie 127 apparaten  Host.
Netwerken 4 Enigma Netwerken paragraaf 7. Het internet  netwerk van netwerken Hosts (computers) Netwerken (met oa. switches) Verbindingen Hosts (routers)
Drivers Wat is het Wat doet het Waar komen ze vandaan.
Operating Systems Informatica.
havo: hoofdstuk 9 (natuurkunde overal)
Vormgeving Roy de Bakker 3VTK.
Vormgeving.
Koos van den Hout PCgg netwerkgroep
3 Hardware 3.3 Moederbord, slots en bussen.
Toys 4 Big Boys.
Informatieverwerkende systemen
INGEBRUIKNAME & TESTEN
Digitale beeldverwerking
INGEBRUIKNAME & TESTEN
Presentatie 1 Goos de Jong
Een thuisnetwerk maken
VIMTAG Keuzehulp voor het vinden van de juiste IP camera.
Netwerken & Internet 1.
Transcript van de presentatie:

Presentatie titel Rotterdam, 00 januari 2007 Computer Vision Technische Informatica

# Les 3 Hoofdstukken 1.4 Beeldsensoren 1.5 Beeldtransport 1.6 Systeem voorbeelden

# Beeldsensoren Dit hoofdstuk gaat over de fundamenten van digitale beeldverwerking Korte beschrijving photo-elektrisch effect De functionaliteit van CCD en CMOS wordt bekeken Vergelijken van de technologieen

# Fysische fundamenten Gebaseerd op photo-elektrisch effect Electronen worden vrijgemaakt door bestraling De electronen gaan van de valentieband naar de geleidingsband in een halfgeleider materiaal De geleidbaarheid neemt toe Bij een P-N overgang die bestraald wordt, vindt ladingsscheiding plaats. Het spanningsverschil over de P-N overgang neemt toe. Hiermee wordt stralingsenergie omgezet in electrische energie (photo-voltaisch effect) CCD en CMOS sensoren zijn hierop gebaseerd

# CCD CCD was vroeger een analoog geheugen (bucket memory) Nu wordt het gebruikt als digitale beeldsensor omdat de cellen photo-gevoelig zijn. Door spanning te zetten op electroden wordt de lading steeds verplaatst (zie fig 1.17)

# CCD Bij een image sensor worden geen ladingen opgeteld gedurende de uitleesfase of gedurende het schuiven. 1. Eenvoudigste methode met Full-Frame-CCD (zie fig 1.18)

# CCD Deze sensors zijn zeer gevoelig Om vage beelden te voorkomen is een sluiter nodig of flitslicht. 2. Duurdere variant Frame-Transfer CCD Informatie wordt eerst vertikaal geklokt parallel in een apart geheugen. Vage beelden worden hierdoor minder 3. Meest eenvoudig ontwerp Interline –Transfer- CCD De lading wordt snel verplaatst naar lokale buffers en dan geklokt. Geen vage beelden, maar wel een lagere vul-factor

# CCD Een nadeel verder is dat de cellen niet lichtdicht kunnen worden gemaakt 4. Een oplossing is Frame-Interline-Transfer- CCD of FIT-CCD De kleine vul-factor kan verbeterd worden door microlensjes voor elke pixel Tegenwoordig worden interlaced camera’s niet meer gemaakt

# CMOS Verschil met CCD is het ontwerp van de chip De CCD sensor bevat alleen photodiodes De CMOS integreert de lading lokaal voor elk pixel De pixels zijn daarom vrij adresseerbaar Het uitlezen is flexibeler, het uitlezen kan beperkt worden tot een bepaald gebied. Het uitlezen kan dan evenredig sneller zijn Tevens kunnen met CMOS andere componenten geintegreerd worden

# CMOS De uitgang van de pixel wordt aangesloten op een transistor en daarna versterkt Hiermee is een rolling shutter te maken Hiermee kan rij voor rij uitgelezen worden met een vertraging van ΔT (belichtingstijd) Hiermee heeft ieder pixel dezelfde belichtingstijd, maar is in de tijd verschoven Een oplossing is een extra FET transistor om een global shutter te maken. Hiermee kan het begin (reset) en het eind (sluiten) van de integratietijd gelijktijdig worden gecontroleerd voor alle pixels (fig 1.21)

# CMOS Voor een vergelijking CMOS –CCD zie tabel 1.5 ROI mode= region of interest

# CMOS

# CMOS Verschillen CMOS-CCD

# Overdracht van beelden Er zijn verschillende mogelijkheden om een camera aan een PC te koppelen (zie tabel 1.6)

# Overdracht van beelden Analoge overdracht Gebruikt in industriele applicaties Aansluiten is eenvoudig met consumenten producten (TV-kaarten) Drivers voor windows ( VfW). Drivers voor Linux ( Video for Linux) Bij OpenCV is deze interface bibliotheek verborgen voor de gebruiker E.v.t. converters gebruiken

# Overdracht van beelden USB Universal Serial bus USB Mb/s USB Gb/s IEEE 1394b Firewire of i-Link Momenteel meest gebruikt voor beeldverwerking 63 devices aan te sluiten Native support IEEE 1394a 400 Mb/s IEEE 1394b 3,2 Gb/s

# Overdracht van beelden Camera Link Definieert standaard digitale video overdracht m.b.t kabels, connectors en interface kaarten Gebruikt in de industrie voor zeer snelle verbindingen Erg duur, zeer betrouwbaar Real time beelden mogelijk Nadeel centralisatie

# Overdracht van beelden Gigabit ethernet Voordeel alles is gestandaardiseerd kabels, connectors, interface kaart 1 Gb/s 100 m (met switches en routers onbeperkt) GigE Vision 1. Hardware detection 2. GigE Vision Control protocol 3. Datatransfer UDP protocol 4. XML bevat lay-out van de camera

# Overdracht van beelden GenICam (Generic Interface for Camera’s) Gespecificeerd door EMVA (European Machine Vision Association) Sofware interface XML file voor camera interface Software gedeelte van GigEVision

# Bandbreedte eisen Voor een IP ( image processing) systeem dient de bandbreedte berekend te worden en het aantal interfaces Gegeven een IP-taak die 4 kleuren camera’s nodig heeft met de volgende parameters: Resolutie: 640*480 pixels Kleurendiepte: 24 bit RGB, overdracht 8 bit Bayer-pattern ( hierbij zijn met een kleurenfilter meer groene dan blauwe en rode pixels ) Frame-rate: 30 fps Overdracht: IEEE 1394

# Bandbreedte eisen Er kunnen 4 camera’s op 1 IEEE1394-poort ( qua vermogen, kabels, enz) De maximale frequentie is ongeveer 40 Hz wat over de bus kan Dat is voldoende voor 30 fps. Echter het protocol reserveert 25 % voor eigen instructies ( is ongeveer 10Hz) Zou net kunnen, in de praktijk niet. Daarom 1 camera op 15 fps zetten.

# Systeem voorbeelden In de volgende sheets worden complexe beeldverwerkende systemen behandeld

# Menselijke Robot Hoofd In fig 1.23 is de ARMAR_III getoond

# Menselijke Robot Hoofd Verlichting: Werkterrein is de keuken. Fluoriserende lampen met hoge frequency Diffuus licht Lenzen: Ieder oog heeft een camera met M12 4 en 8 mm lens Camera’s: 4 kleuren Dragonfly camera’s 1/3” CCD, 640*480 IEEE 1394, 15 fps

# Menselijke Robot Hoofd Overdracht: IEEE 1394 met DCAM IIDV protocol PC-interface: 4 camera’s verbonden via IEEE1394 HUB Embedded PC OS en drivers: Debian Linux LIBDC1394-API Drivers uit de IVT-bibliotheek

# Menselijke Robot Hoofd Implementatie: Vision wordt gebruikt voor: Objecten herkennen (welk object op tafel) Objecten volgen ( wie praat er) Visuele terugkoppeling ( waar is mijn hand) De software routines in C++ Basis functies IVT-bibliotheek Het centrale robotsysteem met MCA2 bibliotheek

# Stereo Endoscopie Stereo Endoscopie In fig 1.24 en 1.25 is een beeldverwerkend systeem te zien voor stereo endoscopie (medische toepassing)

# Stereo Endoscopie Het doel is om beweging van de chirurg op te nemen. Minimale –Invasieve Chirurgie

# Stereo Endoscopie Verlichting: Werkterrein is de operatiekamer. Halogeen lampen Het licht wordt geleid door een glasfiber naar het uiteinde van de endoscoop Lenzen: Geintegreerd in de endoscoop. Breedhoek lenzen Camera’s: 2 camera’s in de endoscoop CCD, 640*480

# Stereo Endoscopie Overdracht: Analoge overdracht PAL Converters naar IEEE 1394 van The Image Sourcing PC-interface: Video signaal 640*480, 30 fps, 24 bit/pixel 2 IEEE1394 PC kaarten OS en drivers: Linux Open source software Unicap Drivers uit de IVT-bibliotheek

# Stereo Endoscopie Implementatie: Het systeem volgt de beweging van de chirurg op basis van stereobeelden De beelden worden ingekleurd en ge- highlighted De basisfuncties uit de IVT-bibliotheek

# Smart Room Met gebruik van meerdere camera’s kunnen real-time objecten of mensen worden bekeken in 3D In de toekomst kunnen AVG’s in openbare gebouwen hiermee worden bestuurd (fig 1.26)

# Smart Room Architectuur in fig 1.27

# Smart Room Verlichting: Fluoriserende lampen met hoge frequency Diffuus licht Lenzen: Breedhoek lenzen F=2.3 mm Zowel dichtbij als veraf mogelijk C-mount lens T2314FICS-3 Camera’s: DFK21F04,1/4”CCD, 640*480, 30 fps

# Smart Room Overdracht: IEEE 1394 PC-interface: Iedere camera’s verbonden via IEEE1394 met een PC. PC verbonden met ethernet 1 centrale host die de berekeningen uitvoert voor doorsneden van de kamer OS en drivers: Windows XP De driver voor de camera wordt door de fabrikant geleverd

# Smart Room Implementatie: Software framework in C++ Bibliotheken OpenCV. IVT en Qt/Winfree Voor 3D reconstructie is de Binary Space Partitionerings procedure gebruikt (BSP) titioning titioning

# Industriele Kwaliteitscontrole De onderdelen die getest moeten worden komen op een lopende band De belichting wordt gecontroleerd en met meerdere camera’s gecalibreerd ( zie fig 1.28)

# Industriele Kwaliteitscontrole Verlichting: Afhankelijk van testtaak Calibratie met doorgelaten licht achter het object (transmitted licht) Lichtbronnen met telecentrische lenzen Lenzen: Telecentrische lenzen Nodig om de contouren te herkennen zonder perspectivische vervorming

# Industriele Kwaliteitscontrole OS en drivers: Windows XP, Windows 2000 De driver wordt met de frame grabber meegeleverd Implementatie De testroutines zijn gemaakt met COAK software van SAC Met dit framework kan zonder programmeerkennis een routine gemaakt worden

# Industriele Kwaliteitscontrole Camera’s: Grijs, Sony XC-ST50CE ½”beeld sensor, analoge output 752*852 pixels De klok komt uit de framegrabber kaart voor synchronisatie Overdracht: Analoog video (grijs) PC-interface: PCI frame grabber Orion. Embedded PC Compact Vision