zoeken van beeld, geluid en multimedia

Presentatie over: "zoeken van beeld, geluid en multimedia"— Transcript van de presentatie:

1 zoeken van beeld, geluid en multimedia
SurvivalWoman amateur_photo_bore zoeken van beeld, geluid en multimedia VCU Libraries eric sieverts & jeroen bosman juni 2014 © Gareth Peck

2 leerdoelen bekendheid met in staat om inzicht in:
belangrijkste ontsluitingsmethoden voor beeld, geluid en multimedia, voor zover relevant voor het vinden van dit soort bronnen sites en zoekmachines voor specifieke soorten multimediale bestanden in staat om verschillende zoekmethoden in te zetten om gerichter te zoeken naar beeld-, geluid- of multimediabronnen aan de hand van een bestaande foto of afbeelding te onderzoeken of deze elders op internet is gepubliceerd inzicht in: verschillende bestandsformaten voor beeld, geluid en multimedia hun specifieke kenmerken hun bruikbaarheid voor publicatie eenvoudige bewerkings- en conversiemogelijkheden mogelijkheden en beperkingen door auteursrecht 2 zoeken van beeld, geluid en multimedia - juni 2014

3 programma de "semantic gap"; zoeken in niet-tekst materiaal
beeldmateriaal (images) techniek ontsluiting zoeken: text based ↔ content based zoeksystemen geluid video zoeken en zoeksystemen gebruiksrechten 3 zoeken van beeld, geluid en multimedia - juni 2014

4 de semantic gap wat ik zie: wat de computer ziet 4
zoeken van beeld, geluid en multimedia - juni 2014

5 de semantic gap tekstdocumenten bevatten woorden
die woorden representeren inhoudelijke betekenis van die documenten beeld- en geluidsbestanden bevatten (meestal) geen (computerleesbare) woorden toch representeren afbeeldingen en geluid meestal ook betekenis reguliere zoekmachines zoeken op woorden hoe zoek je dan naar afbeeldingen en geluid? 5 zoeken van beeld, geluid en multimedia - juni 2014

6 zoekmachines voor beeld en geluid
text based image en sound retrieval: de computer zoekt in tekst die aan het beeld/geluid gerelateerd is in expliciet aanwezige computerleesbare tekst in bijbehorende webpagina in aanwezige metadata (extern of intern) in computerleesbaar gemaakte “embedded” tekst OCR van in afbeelding aanwezige tekst spraakherkenning in geluidsbestand content based image en sound retrieval de computer "herkent" de voorstelling / het beeld (CBIR) de computer "herkent" de geluiden 6 zoeken van beeld, geluid en multimedia - juni 2014

7 beeldmateriaal (stilstaand)
zoeken van beeld, geluid en multimedia - juni 2014

8 techniek pixels versus vectorrepresentatie
resoluties (relatief) en afmetingen (absoluut) kleurkwaliteit (bits per beeldpunt) formats compressie (al dan niet verliesloos) transparantie 8 zoeken van beeld, geluid en multimedia - juni 2014

9 techniek: pixels of vectoren
bitmap in raster van beeldpunten (pixels) wordt kleur en helderheid van elk punt geregistreerd standaard voor plaatjes in web-pagina's  komen uit camera's / scanners bij inzoomen ga je de pixels zien  vectorplaatje beschrijft posities, vormen en kleuren van "objecten" (lijnen, rechthoeken, cirkels, vlakken, ...)  geschikt voor getekende plaatjes en schema's toegepast in tekenprogramma's (ook bijv. in Powerpoint) bij inzoomen geen verlies aan scherpte webstandaard: "scalable vector graphics" (.SVG) (steeds meer door browsers ondersteund, niet door IE7 en IE8) 9 zoeken van beeld, geluid en multimedia - juni 2014

10 techniek - resoluties absolute maat in pixels
(breedte x hoogte, bijv. 1024x768) nuttige maat voor webtoepassingen relateer aan schermafmetingen wordt o.a. vermeld in Google-image resultaatpagina's relatieve maat in dots/inch (bijv. 300 dpi) nuttige maat voor drukwerktoepassingen (afdrukresolutie) relateer aan gewenste afdruk scherpte 10 zoeken van beeld, geluid en multimedia - juni 2014

11 techniek - kleurkwaliteit
aantal verschillende kleuren (nuances): bepaald door aantal bits informatie per pixel / beeldpunt 1 bit       2 kleuren: zwart-wit 4 bits     16 kleuren of grijstinten 8 bits     256 kleuren     [.GIF maximaal 8 bits] 24 bits   16,7 miljoen kleuren    [.PNG en .JPG maximaal 24 bits] 32 bits   4,2 miljard kleuren 1 bit 4 bit 4 bit 8 bit 24 bit

12 techniek - formats er zijn tientallen standaarden om gegevens van bitmaps te coderen in bits en bytes een paar bekende voorbeelden: .tif (tiff: in meer soorten) digitaliseringsstandaard .bmp (windows bitmap) .gif (compuserve) verliesloze compressie ; oude webstandaard (8 bits >> maximaal 256 kleuren) .png (portable network graphics) verliesloze compressie ; nieuwe webstandaard (24 bits) .jpg (jpeg) compressie met instelbaar kwaliteitsverlies / mate van compressie ; webstandaard (24 bits) 12 zoeken van beeld, geluid en multimedia - juni 2014

13 techniek - compressie wiskundige technieken om informatie efficiënter op te slaan - zuiniger dan volledige gegevens voor elke pixel afzonderlijk "verliesloze" compressie (er gaat geen informatie verloren) bijv.: wit vlak van 100x100 pixels zuiniger coderen dan x "wit" wordt toegepast in .GIF en .PNG vooral geschikt voor tekeningen  compressie "met verlies" (laat beeldinformatie weg die oog toch -bijna- niet ziet) bijv.: heel kleine verschillen in kleurnuances worden gelijkgetrokken om grotere blokken van zelfde kleur te krijgen compressie vaak instelbaar: meer compressie >> minder kwaliteit aangeduid op schaal 0-12 in bv. Photoshop (12=hoogste kwaliteit) wordt toegepast in .JPG vooral geschikt voor foto's 13 zoeken van beeld, geluid en multimedia - juni 2014

14 techniek - transparantie
voor plaatjes die (her)gebruikt moeten worden kan het onhandig zijn dat ze altijd rechthoekig zijn van afbeeldingen met egale achtergrondkleur kan die achtergrond doorzichtig (onzichtbaar) worden gemaakt, zodat in ruimte rondom het eigenlijke object, andere tekst of ander beeld zichtbaar blijft wel mogelijk bij GIF en PNG niet mogelijk bij JPG is filteroptie bij Google image-search 14 zoeken van beeld, geluid en multimedia - juni 2014

15 niveaus van beeldontsluiting
naar Erwin Panofsky ( ) pre-iconografisch: wat zie ik? een vlag, de kleuren rood, wit en blauw daarvoor is (alleen) waarneming nodig iconografisch: wat stelt het voor / wat betekent het? de Nederlandse vlag of zelfs: de Nederlandse vlag op bevrijdingsdag 1970 op de Dam in Amsterdam daarvoor is kennis nodig iconologisch: wat is het concept dat het symboliseert? (vaak een abstract begrip) vrijheid, onafhankelijkheid, feest, vrolijkheid, ... daarvoor is kennis van context en interpretatie nodig 15 zoeken van beeld, geluid en multimedia - juni 2014

16 zoeken op deze niveaus pre-iconografisch iconografisch iconologisch
soms kleurzoekmogelijkheid (o.a. Google-advanced) afhankelijk van tekst / metadata / tags op basis van automatische herkenning (CBIR) iconografisch iconologisch afhankelijk van metadata / tags ... of inventieve zoekwoorden (?) 16 zoeken van beeld, geluid en multimedia - juni 2014

17 zoeken naar beeld 17 zoeken van beeld, geluid en multimedia - juni 2014

18 zoeken naar beeld (1) text based image retrieval - zoekingangen
inhoudelijke woorden bestandsnaam tekst uit webpagina in de “omgeving” van de afbeelding (maar hoever gaat die omgeving?) toegekende trefwoorden/metadata alt/title-attribuut in HTML-codering <img src="pict039.jpg" alt="vlag" title="vlag"> andere semantische codering in HTML beschrijving en/of usertags bij upload-site (bijv. Flickr) OCR van afgebeelde tekst in plaatje (?) embedded in image-file (?) (Exif/IPTC niet) formele kenmerken 18 zoeken van beeld, geluid en multimedia - juni 2014

19 zoeken naar beeld (2) text based image retrieval - zoekingangen
inhoudelijke woorden formele kenmerken (in/uit beeldbestand zelf) bijv. EXIF metadata, IPTC metadata EXIF/IPTC metadata zichtbaar in foto-editor of met online metadata-viewers: / afmetingen kleur/grijstinten/zwart-wit foto/tekening/lijntekening/icoon/... format (gif/png/jpg/tif/svg/...) rechten (CC) camera-instelling (exif) gps-gegevens (exif) geotag ... 19

20 20

21 zoeken naar beeld (3) zoekmachines kunnen in principe iets met die formele kenmerken daarbij soms ook al combinatie met enige beeldherkenning ("content based") 21 zoeken van beeld, geluid en multimedia - juni 2014

22 zoeken naar beeld (4) Content based image retrieval (CBIR)
zoeken op basis van kleuren voorbeelden: Tineye, Chromatik Graphic, Picitup, Google, ... 22 zoeken van beeld, geluid en multimedia - juni 2014

23 zoeken naar beeld (5) Content based image retrieval (CBIR)
zoeken op basis van kleuren zoeken op basis van ruwe schets op beeldscherm (kleuren, [ruwe] vorm en [soms] "texture") voorbeelden: IBM QBic, Retrievr, PicItUP,... 23

24 zoeken naar beeld (6) Content based image retrieval (CBIR)
zoeken op basis van kleuren zoeken op basis van ruwe schets op beeldscherm zoeken op basis van voorbeeld afbeelding (reverse search) al (op andere wijze) gevonden in systeem zelf waarvan URL bekend is, of geüploade eigen afbeelding voorbeelden: Google, Tineye, Tiltomo, Retrievr, Pixolution, Bing, ... vervolgens daarmee zoeken naar zelfde / gelijkend / andere formaten

25

26 voorbeeld 26 zoeken van beeld, geluid en multimedia - juni 2014

27 google zoekt meest waarschijnlijke zoekwoorden om dit plaatje te
beschrijven en combineert die in het zoekvenster al met het plaatje zelf ... en geeft "visually similar images" maar dat werkt niet in elke situatie goed 27 zoeken van beeld, geluid en multimedia - juni 2014

28 google looks for most probable keywords to describe this image
and in the search box combines them already with the image ... and how about these "visually similar images" ? 28 zoeken van beeld, geluid en multimedia - juni 2014

29 29 zoeken van beeld, geluid en multimedia - juni 2014

30 30 zoeken van beeld, geluid en multimedia - juni 2014

31 31

32 zoeken naar beeld (7) Content based image retrieval (CBIR)
zoeken op basis van kleuren zoeken op basis van ruwe schets op beeldscherm zoeken op basis van voorbeeld afbeelding zoeken op basis van beeldherkenning door computer "semantische concept detectie": op basis van (veel) voorbeelden leert de computer door machine learning techniek, per individueel concept hoe afbeeldingen daarvan (ook in video) te herkennen zijn meeste voorbeelden nog in ontwikkelfase: MediaMill (Cees Snoek, UvA) Euvision (Impala) 32

33 Zoekresultaat uit het Nederlandse Impala-systeem
(Cees Snoek, UvA) dat is getraind op afbeeldingen van honderden concepten (waaronder schapen)

34 A simple concept detector
Examples © Cees Snoek Jan-Mark Geusebroek ISLA-UvA Feature Extraction Supervised Learner Binary features, no independence assumption. Training Feature Measurement Classification Testing Video It is an aircraft probability 0.7 34 zoeken van beeld, geluid en multimedia - juni 2014

35 Google herkent objecten in images 35

36 zoeken naar beeld (8) met IconClass classificatie ontsloten erfgoedmateriaal classificatie met zowel concrete als abstracte begrippen vooral gericht op kunsthistorisch materiaal gebruikt voor ontsluiting van onder andere KB Medieval Illuminated Manuscripts open collectie van Rijksmuseum

37 zoekstrategie voor beeldzoeken
niet wezenlijk anders dan voor gewoon zoeken, maar: anders nadenken over te gebruiken zoektermen (zeker bij abstracte concepten), meer trial & error je nog meer verplaatsen in hoe bestand zou kunnen heten of in wat voor context zo’n afbeelding zou kunnen voorkomen je herkent vaak sneller relevantie dan bij alleen tekst daarbij: niet te veel concepten combineren waar mogelijk formele kenmerken gebruiken voor inperking beter nadenken over keuze bron/zoeksysteem enig idee krijgen hoe ranking van zoeksysteem werkt afweging zoekwoorden te gebruiken of liever CBIR 37 zoeken van beeld, geluid en multimedia - juni 2014

38 bronnen / zoeksystemen voor beeld
afbeeldingen uit websites (google, yahoo, bing, exalead, …) foto’s door gebruikers geüpload (flickr, picasaweb, pbase, …) stockfoto’s (meeste gratis) (hollandse hoogte, getty, spaarnestad, stock-xchng, freedigitalphotos, stockvault, publicdomainpictures, morguefile, freefoto, burningwell, ...) iconen, clipart (publicdomainphotos, openclipart, ...) speciale sites (wikimedia commons, beeldbank nationaal archief, ...) geo-zoeken (panoramio, google maps - photos, streetview ) instagram-foto's op lokatie (worldcam) foto's op twitter (twicsy, picfog, topsy, skylines.io, …) foto's op facebook (facebook graph search - settings: English) visuele tag-browser voor flickr (taggalaxy) op geo-zoekers na, zoeken deze voorbeelden meestal op woorden en - in verschillende mate - op formele kenmerken lijst met >50 gratis bronnen: dagelijks aantal foto-uploads Twitter: miljoen Instagr.am: 1,3 miljoen Flickr: miljoen Facebook: 250 miljoen 38 zoeken van beeld, geluid en multimedia - juni 2014

39 geluid 39 zoeken van beeld, geluid en multimedia - juni 2014

40 geluid verschijningsvormen
spraak muziek vocaal muziek instrumentaal ander geluid ontsluiting : aanpassing van de niveaus van Panofsky ? ‘pre-audiografisch’: wat hoor ik? ‘audiografisch’: wat stelt het voor/betekent het? ‘audiologisch’: wat is het (eventueel abstracte) concept dat het geluid symboliseert? verbaal non-verbaal 40 zoeken van beeld, geluid en multimedia - juni 2014

41 niveaus van geluidsontsluiting
‘pre-audiografisch’: wat hoor ik? hard geluid, zacht geluid, lage tonen, hoge tonen, harde stem, zachte stem, bijgeluiden in bepaalde volgorde en menging daarvoor is (alleen) waarneming nodig ‘audiografisch’: wat stelt het voor / wat betekent het / wat wordt gezegd? een sirene / een stel muzieknoten / “Leden van de Staten-Generaal” of zelfs: sirene van een Nederlandse ambulance openingsmaat van Beethovens vijfde symfonie in uitvoering door het Berliner Philharmoniker o.l.v. Wilhelm Furtwängler uit 1937 eerste uitgesproken woorden van Troonrede van Koningin Juliana in 1975 daarvoor is kennis nodig 41 zoeken van beeld, geluid en multimedia - juni 2014

42 niveaus van geluidsontsluiting (2)
‘audiologisch’: wat is het (eventueel abstracte) concept dat het symboliseert? (ook bij reeksen woorden, met structuur door indeling en zinnen, en met extra lading door bv. intonatie, volumewisseling of pauzes) alarm, noodgeval, doorgang afdwingen noodlot: een beroemd iconisch motief uit de westerse muziek dat zou kunnen staan voor het Noodlot dat op de deur klopt (betwist). bezorgdheid: een officiële redevoering met gedragen stem en bezorgde intonatie over economie en maatschappij daarvoor is kennis van context en interpretatie nodig De Semantic gap is bij spraak kleiner als met behulp van spraakherkenning daarin woorden worden herkend 42 zoeken van beeld, geluid en multimedia - juni 2014

43 techniek analoog en digitaal geluid bij digitaal: bitrate
formats en compressie (al dan niet met kwaliteitsverlies) distributie 43 zoeken van beeld, geluid en multimedia - juni 2014

44 techniek: analoog of digitaal
analoog geluidstrillingen worden doorgegeven of vastgelegd zonder ‘opdeling’ daarvan vastgelegd in fysieke vorm (groeven en putjes/hobbels in grammofoonplaat) niet geschikt voor opname door particulieren, beperkt verlies vastgelegd in magnetische vorm (geluidsbanden, cassettes) geschikt voor particuliere opname, vrij snel verlies digitaal geluidstrillingen worden omgezet en vastgelegd in bits - eenen en nullen (ADC/DAC conversie)  verlies bij omzetting van analoog naar digitaal en terug geen verlies bij opslag en copiëren in computerfile of CD 44

45 techniek - bitrate maat voor hoeveelheid informatie die per seconde wordt doorgegeven, uitgedrukt in kilobits (kb) of megabits (mb) in principe: hoe hoger des te hoger de mogelijke kwaliteit wordt bepaald door sample-rate (aantal geluidsmetingen per seconde - hoogst weer te geven frequentie  helft van sample rate) x aantal bits per meting (bepaalt mate van dynamiek) voor CD-kwaliteit: sample rate is /s bij 16 bits per sample (700 kbit/s) online audio bestanden (mp3/aac) vaak 128 kbit/s, maar voor bijv. spraak is 32 of 64 vaak ook al voldoende 45 zoeken van beeld, geluid en multimedia - juni 2014

46 techniek – digitale formats
formats zonder compressie (PCM): .wav (waveform audio format: CD’s, Windows) .aiff (Mac) verliesloze compressie formats (50%) .flac, door steeds meer apparaten (iig Android) ondersteund soms indirect gebruikt in mpeg4 video formats verliesgevende compressie formats (tot 10% bij 128 kbit/s) .mp3 (MPEG audio layer 3) .aac (iTunes) .wma (Windows media audio) compressie gebeurt met een zogenaamde audio "codec" (compression-decompression) 46 zoeken van beeld, geluid en multimedia - juni 2014

47 techniek – distributie
morse (geluid alleen als distributiedrager van schrift) radiografisch (broadcast) kabelradio (broadcast) streaming (via internet afspelen) bv. muziek in Spotify of de 3voor12 luisterpaal niet of moeilijk op te slaan (kan wel met bv software als TotalRecorder) download (opslaan als bestand) bv. muziek die je koopt in iTunes (mp3 download) bv. podcast van radioprogramma 47 zoeken van beeld, geluid en multimedia - juni 2014

48 zoeken naar geluid 48 zoeken van beeld, geluid en multimedia - juni 2014

49 zoeken naar geluid (1) content based audio/sound recognition
automatische herkenning van geluid bijvoorbeeld toegepast in Shazam of Soundhound app voor muziekherkenning via ‘vingerafdrukken’ ook toegepast voor herkennen van video/tv uitzendingen op basis van het geluid zoekfunctionaliteit nog beperkt: wel: wat is het wat ik heb? wel: geef mij iets wat lijkt op wat ik heb/zing/neurie (bijv. musipedia) niet: geef mij iets met harp, pauken en klarinet bovendien: technische gelijkenis bij muziek niet gelijk aan belevingsgelijkenis (vingerafdruk Gregoriaans gezang kan sterk lijken op een Death Metal nummer) 49 zoeken van beeld, geluid en multimedia - juni 2014

50 zoeken naar geluid (2) automatic speech/voice recognition (ASR)
t.b.v doven/slechthorenden of t.b.v doorzoekbaarheid automatische herkenning van spraak en omzetting naar tekst toegepast in Siri op de iPhone / telefonische helpdesk menu’s / games / navigatie in experimentele zoekmachines, bv. Voxalead vereist meestal veel ‘training’ en correctie handmatige omzetting van spraak naar tekst bv. toegepast bij TED talks bv. stenotypisten/notulisten vergaderingen Tweede Kamer (later doorzoekbaar) bv. (live) ondertiteling (meestal niet doorzoekbaar) 50 zoeken van beeld, geluid en multimedia - juni 2014

51 zoeken naar geluid (3) text based audio retrieval (zelfde als bij beeld) zoekingangen inhoudelijke woorden bestandsnaam tekst uit webpagina in de “omgeving” van de audiofile (maar hoever gaat die omgeving?) toegekende trefwoorden/metadata alt/title-attribuut in HTML-codering andere semantische codering in HTML usertags bij upload-site … formele kenmerken extensie sample rate …. 51

52 zoeken naar geluid (4) social network based audio retrieval
zoeken van overeenkomstige items op basis van gebruikskenmerken related/similar zoeken (wie dit item luistert, luistert ook naar): bv LastFM, Spotify, Discovr Music (app) 52 zoeken van beeld, geluid en multimedia - juni 2014

53 zoeken naar geluid (5) algemene zoekmachines
filteren op audiobestanden niet mogelijk wel: zoeken met extensie (bv. mp3) in URL wel: zoeken met als extra termen wav/mp3/soundbite/audio, bv. dogs barking wav OR mp3 wel: soms werkt "parent directory" mp3 of "index of" mp3 (+ bv. Beatles) gespecialiseerde geluidszoekmachines spraakherkenning: Voxalead (voor nieuws) vooral .wav &.mp3 files: FindSounds databanken met beschreven geluiden Soundjax, FindSounds, SoundCli.ps, Soungle, ... historische geluidsarchieven (bv. BBC) 53

54 zoeken naar geluid (6) Overzicht opties muziek spraak overig geluid
Content based Shazam / Soundhound Voxalead Text based AllMusic Amazon Muziekweb SoundJax FindSound Formele kenmerken Google (extensie in URL) Social network based LastFM Spotify Discovr Music Transcripts Google (songteksten) YouTube (n.v.t.) 54 zoeken van beeld, geluid en multimedia - juni 2014

55 zoekstrategie voor audiozoeken
flink anders dan voor gewoon zoeken, door: veel verschil of je zoekt naar muziek, gesproken tekst of ander geluid reguliere zoekmachines zoeken termen alleen in metadata / omschrijvingen en alleen bij transcripts in ‘full text’ reguliere zoekmachines bieden nauwelijks content based retrieval grote meerwaarde gespecialiseerde sites, ondanks beperkte zoekfunctionaliteit grote meerwaarde van leren van in systeem gebruikt ontsluitingsjargon anders nadenken over te gebruiken zoektermen (zeker bij abstracte concepten) je nog meer verplaatsen in hoe bestand zou kunnen heten of in welke context het geluid zou kunnen voorkomen je herkent (hoort) vaak sneller relevantie dan bij alleen tekst daarbij: niet te veel concepten combineren beter nadenken over keuze bron/zoeksysteem afweging zoekwoorden te gebruiken of liever CBIR 55 zoeken van beeld, geluid en multimedia - juni 2014

56 videomateriaal eigenschappen:
grotendeels combinatie van die van stilstaand beeld en die van geluid zoeken van beeld, geluid en multimedia - juni 2014

57 techniek formats en compressie ondertiteling beeldformaat 57
zoeken van beeld, geluid en multimedia - juni 2014

58 techniek – digitale formats
lossy formats en codecs: .mpeg (Moving Pictures Experts Group) .mpeg4 .avi (Audio Video Interleave, Windows) .mov .qt (Quicktime, Apple) .wmv .divx Onderdelen van MPEG4 bestand (beeld van Apple) 58 zoeken van beeld, geluid en multimedia - juni 2014

59 techniek - ondertiteling
heet: subtitles / closed captions / times text productie: handmatig (vooraf of achteraf) halfautomatisch (live captioning) transcripts bevatten soms tijdsinformatie bijv. SRT-bestand bij songs 59

60 techniek - beeldformaat
videoformaten in pixels 176 x 144 (1984: 1ste digitale videostandaard) 640 x 480 720 x 480 720 x 576 (PAL) 1280 x 720 (HD ready) 1920 x 1080 (full HD) (max.) 4096 × 3072 (4K of “Ultra HD”, zoek in YouTube op 4K) … ‘Quality’ setting bij afspelen in YouTube betreft verticale resolutie 60 zoeken van beeld, geluid en multimedia - juni 2014

61 zoeken naar video 61 zoeken van beeld, geluid en multimedia - juni 2014

62 anders/extra t.o.v. stilstaand beeld
er kan ondertiteling bij aanwezig zijn, waarvan de tekst voor retrieval-doeleinden kan worden gebruikt kan gesproken tekst bevatten waarop spraakherkenning kan worden toegepast wat full-text retrieval mogelijk maakt bestaat meestal uit opvolging van afzonderlijke (maar op enigerlei wijze samenhangende) scenes, die afzonderlijke inhoud kunnen hebben die afzonderlijk gevonden moeten kunnen worden die direct/afzonderlijk (zonder doorspoelen) getoond moeten kunnen worden waartussen overgangen in principe automatisch door software herkend kunnen worden (bij programma’s met vaste patronen zoals het journaal, kunnen die ook automatisch benoemd worden) je ziet niet zo snel of zoekresultaat relevant is als bij images, tenzij automatisch doorgespoeld naar scene op basis waarvan gevonden transcript van gesproken tekst getoond 62 zoeken van beeld, geluid en multimedia - juni 2014

63 scène-informatie in zoekresultaat
[functionaliteit helaas niet meer beschikbaar na overname VideoSurf door Bing] 63 zoeken van beeld, geluid en multimedia - april 2013

64 anders/extra t.o.v. geluidsmateriaal
je ziet sneller/makkelijker of zoekresultaat relevant is dan bij alleen geluid 64 zoeken van beeld, geluid en multimedia - juni 2014

65 zoeken naar video text based video retrieval - zoekingangen
inhoudelijke woorden bestandsnaam titel tekst uit webpagina in de “omgeving” van de videofile toegekende trefwoorden/metadata attributen in HTML-codering description usertags bij upload-site ondertiteling transcriptie (handmatig) transcriptie (spraakherkenning; bijv. Voxalead) formele kenmerken 65 zoeken van beeld, geluid en multimedia - juni 2014

66 zoeken naar video text based video retrieval - zoekingangen
inhoudelijke woorden formele kenmerken (meestal filters) lengte file-format datum rating aanwezigheid ondertiteling oorspronkelijke bron …. 66

67 zoeken naar video ook content based video websearch op komst ??
- op TechCrunch kwam (21/06/2014) dit bericht langs: 67

68 bronnen/zoeksystemen voor video (1)
vooral (maar niet alleen) geüploaded materiaal YouTube (o.a. ook veel "how to" video's) ook: YouTube-channels / YouTube-education / YouTube-teachers / YouTube-movies / YouTube-shows … Vimeo … vooral (maar niet alleen) van omroepen opgenomen materiaal Blinkx Voxalead (keuze uit 9 talen waaronder NL) Google video Bing video Blekko (met slashtag /videos ) 68 zoeken van beeld, geluid en multimedia - juni 2014

69

70 ?

71

72

73 bronnen/zoeksystemen voor video (2)
Archieven van televisieuitzendingen Beeld en Geluid B&G Dutch Footage: rechtenvrije selectie voor download Uitzendinggemist.nl: >2005 RTL Gemist >2007, nieuws alleen recent BBC - Archive - A-Z, >1970 Canvas Video Voor HO: Instituut Beeld en Geluid: Academia. Maar dus afgeschermd. Fysieke exemplaren van video (VHS, DVD) Worldcat 73 zoeken van beeld, geluid en multimedia - juni 2014

74 bronnen/zoeksystemen voor video (3)
gespecialiseerde videosites: TED (met vertalingen en ondertitels) TEDx (internationale edities) TheNextWeb (conference talks) MedTube BirdCinema ….. 74 zoeken van beeld, geluid en multimedia - juni 2014

75 zoeken naar video advanced search opties/filters lengte resolutie bron
(upload)datum met/zonder ondertiteling Bing ja sorteren nee Google video (na zoekactie) Youtube (nvt) Blinkx Vimeo 75 zoeken van beeld, geluid en multimedia - juni 2014

76 zoeken naar video overzicht opties Content based Blinkx Voxalead
Text based & formele kenmerken YouTube Vimeo Google Video Social network based Transcripts (niet doorzoekbaar) 76 zoeken van beeld, geluid en multimedia - juni 2014

77 hulpmiddelen voor beheer en bewerking
beeldbewerking gratis: irfanview, picasa, GIMP, ... betaald: photoshop, aperture (apple), lightroom, ... online: pixlr, iPiccy, photoshop express, ... beeldbeheer (lokaal/cloud): picasaweb, lightroom, flickr, ... sociaal beeldbeheer: instagram, flickr groups, ... beeld van web bewaren: evernote, commentto, ... beeldbookmarks: pinterest (pinboards), ... animated gifs maken (online): make-animation, picasion, ... animated gifs uit video's: youtube2gif cross-platform multimedia player: VLC (gratis) eenvoudige video-editing: windows movie maker online image- en video-conversie: zamzar video's downloaden: keepvid, downloadyoutubefilmpjes.nl, ... 77 zoeken van beeld, geluid en multimedia - juni 2014

78 hergebruik 78 zoeken van beeld, geluid en multimedia - juni 2014

79 (her)gebruik van multimedia
wat mag je met auteursrechtelijk beschermd materiaal? als je geen regeling met rechthebbende hebt getroffen, mag je het in principe alleen gebruiken voor persoonlijke doeleinden wat mag je met materiaal met een Creative Commons (CC) licentie? in welke vorm en voor welk doel je mag hergebruiken/herpubliceren hangt af van niveau van CC-licentie die eigenaar gekozen heeft 79 zoeken van beeld, geluid en multimedia - juni 2014

80 CC-licenties niveaus van CC-licenties [zie: ] Public-Domain (CC 0) meest ruime: alles mag (ook bewerken / remixen) mits je vermeldt wie rechthebbende is Attribution (CC BY) alles mag mits je vermeldt wie rechthebbende is Attribution-ShareAlike (CC BY-SA) alles mag, mits dat met door jou bewerkte versie ook mag Attribution-NoDerivs (CC BY-ND) je mag er geen bewerkingen van maken Attribution-NonCommercial (CC BY-NC) het mag niet commercieel gebruikt worden Attribution-NonCommercial-ShareAlike (CC BY-NC-SA) niet commercieel en mits met bewerkte versie zelfde mag Attribution-NonCommercial-NoDerivs (CC BY-NC-ND) niet commercieel en geen bewerkingen 80 zoeken van beeld, geluid en multimedia - juni 2014

81 CC-licenties waar kun je zoeken/limiteren op CC-licenties?
Google (filter achteraf of advanced search vooraf; betrouwbaar??) Flickr (filter achteraf of advanced search vooraf) Picasaweb (inperking achteraf) Bing (inperking achteraf) ...

82 CC-licenties waar kun je zoeken/limiteren op CC-licenties?
metasearch-pagina van creativecommons.org 82 zoeken van beeld, geluid en multimedia - juni 2014