De presentatie wordt gedownload. Even geduld aub

De presentatie wordt gedownload. Even geduld aub

Zoeken van beeld, geluid en multimedia eric sieverts & jeroen bosman juni 2014 SurvivalWoman © Gareth Peck amateur_photo_bore VCU Libraries.

Verwante presentaties


Presentatie over: "Zoeken van beeld, geluid en multimedia eric sieverts & jeroen bosman juni 2014 SurvivalWoman © Gareth Peck amateur_photo_bore VCU Libraries."— Transcript van de presentatie:

1 zoeken van beeld, geluid en multimedia eric sieverts & jeroen bosman juni 2014 SurvivalWoman © Gareth Peck amateur_photo_bore VCU Libraries

2 leerdoelen bekendheid met –belangrijkste ontsluitingsmethoden voor beeld, geluid en multimedia, voor zover relevant voor het vinden van dit soort bronnen –sites en zoekmachines voor specifieke soorten multimediale bestanden in staat om –verschillende zoekmethoden in te zetten om gerichter te zoeken naar beeld-, geluid- of multimediabronnen –aan de hand van een bestaande foto of afbeelding te onderzoeken of deze elders op internet is gepubliceerd inzicht in: –verschillende bestandsformaten voor beeld, geluid en multimedia –hun specifieke kenmerken –hun bruikbaarheid voor publicatie –eenvoudige bewerkings- en conversiemogelijkheden –mogelijkheden en beperkingen door auteursrecht zoeken van beeld, geluid en multimedia - juni

3 programma de "semantic gap"; zoeken in niet-tekst materiaal beeldmateriaal (images) –techniek –ontsluiting –zoeken: text based ↔ content based –zoeksystemen geluid –techniek –ontsluiting –zoeken: text based ↔ content based –zoeksystemen video –techniek –zoeken en zoeksystemen gebruiksrechten zoeken van beeld, geluid en multimedia - juni

4 de semantic gap wat ik zie: wat de computer ziet zoeken van beeld, geluid en multimedia - juni

5 de semantic gap tekstdocumenten bevatten woorden die woorden representeren inhoudelijke betekenis van die documenten beeld- en geluidsbestanden bevatten (meestal) geen (computerleesbare) woorden toch representeren afbeeldingen en geluid meestal ook betekenis reguliere zoekmachines zoeken op woorden hoe zoek je dan naar afbeeldingen en geluid? zoeken van beeld, geluid en multimedia - juni

6 zoekmachines voor beeld en geluid text based image en sound retrieval: de computer zoekt in tekst die aan het beeld/geluid gerelateerd is –in expliciet aanwezige computerleesbare tekst in bijbehorende webpagina in aanwezige metadata (extern of intern) –in computerleesbaar gemaakte “embedded” tekst OCR van in afbeelding aanwezige tekst spraakherkenning in geluidsbestand content based image en sound retrieval –de computer "herkent" de voorstelling / het beeld (CBIR) –de computer "herkent" de geluiden zoeken van beeld, geluid en multimedia - juni

7 beeldmateriaal (stilstaand) zoeken van beeld, geluid en multimedia - juni 2014

8 techniek pixels versus vectorrepresentatie resoluties (relatief) en afmetingen (absoluut) kleurkwaliteit (bits per beeldpunt) formats compressie (al dan niet verliesloos) transparantie zoeken van beeld, geluid en multimedia - juni

9 techniek: pixels of vectoren bitmap in raster van beeldpunten (pixels) wordt kleur en helderheid van elk punt geregistreerd –standaard voor plaatjes in web-pagina's –komen uit camera's / scanners –bij inzoomen ga je de pixels zien vectorplaatje beschrijft posities, vormen en kleuren van "objecten" (lijnen, rechthoeken, cirkels, vlakken,...) –geschikt voor getekende plaatjes en schema's –toegepast in tekenprogramma's (ook bijv. in Powerpoint) –bij inzoomen geen verlies aan scherpte –webstandaard: "scalable vector graphics" (.SVG) (steeds meer door browsers ondersteund, niet door IE7 en IE8) zoeken van beeld, geluid en multimedia - juni

10 techniek - resoluties absolute maat in pixels (breedte x hoogte, bijv. 1024x768) nuttige maat voor webtoepassingen –relateer aan schermafmetingen –wordt o.a. vermeld in Google-image resultaatpagina's relatieve maat in dots/inch (bijv. 300 dpi) nuttige maat voor drukwerktoepassingen (afdrukresolutie) –relateer aan gewenste afdruk scherpte zoeken van beeld, geluid en multimedia - juni

11 techniek - kleurkwaliteit aantal verschillende kleuren (nuances): bepaald door aantal bits informatie per pixel / beeldpunt –1 bit 2 kleuren: zwart-wit –4 bits 16 kleuren of grijstinten –8 bits 256 kleuren [.GIF maximaal 8 bits] –24 bits 16,7 miljoen kleuren [.PNG en.JPG maximaal 24 bits] –32 bits 4,2 miljard kleuren 1 bit4 bit 24 bit8 bit

12 techniek - formats er zijn tientallen standaarden om gegevens van bitmaps te coderen in bits en bytes een paar bekende voorbeelden: –.tif (tiff: in meer soorten) digitaliseringsstandaard –.bmp (windows bitmap) –.gif (compuserve) verliesloze compressie ; oude webstandaard (8 bits >> maximaal 256 kleuren) –.png (portable network graphics) verliesloze compressie ; nieuwe webstandaard (24 bits) –.jpg (jpeg) compressie met instelbaar kwaliteitsverlies / mate van compressie ; webstandaard (24 bits) zoeken van beeld, geluid en multimedia - juni

13 techniek - compressie wiskundige technieken om informatie efficiënter op te slaan - zuiniger dan volledige gegevens voor elke pixel afzonderlijk "verliesloze" compressie (er gaat geen informatie verloren) bijv.: wit vlak van 100x100 pixels zuiniger coderen dan x "wit" –wordt toegepast in.GIF en.PNG –vooral geschikt voor tekeningen compressie "met verlies" (laat beeldinformatie weg die oog toch -bijna- niet ziet) bijv.: heel kleine verschillen in kleurnuances worden gelijkgetrokken om grotere blokken van zelfde kleur te krijgen compressie vaak instelbaar: meer compressie >> minder kwaliteit –aangeduid op schaal 0-12 in bv. Photoshop (12=hoogste kwaliteit) –wordt toegepast in.JPG –vooral geschikt voor foto's zoeken van beeld, geluid en multimedia - juni

14 techniek - transparantie voor plaatjes die (her)gebruikt moeten worden kan het onhandig zijn dat ze altijd rechthoekig zijn –van afbeeldingen met egale achtergrondkleur kan die achtergrond doorzichtig (onzichtbaar) worden gemaakt, zodat in ruimte rondom het eigenlijke object, andere tekst of ander beeld zichtbaar blijft –wel mogelijk bij GIF en PNG –niet mogelijk bij JPG –is filteroptie bij Google image-search zoeken van beeld, geluid en multimedia - juni

15 niveaus van beeldontsluiting naar Erwin Panofsky ( ) pre-iconografisch: wat zie ik? –een vlag, de kleuren rood, wit en blauw daarvoor is (alleen) waarneming nodig iconografisch: wat stelt het voor / wat betekent het? –de Nederlandse vlag of zelfs: –de Nederlandse vlag op bevrijdingsdag 1970 op de Dam in Amsterdam daarvoor is kennis nodig iconologisch: wat is het concept dat het symboliseert? (vaak een abstract begrip) –vrijheid, onafhankelijkheid, feest, vrolijkheid,... daarvoor is kennis van context en interpretatie nodig zoeken van beeld, geluid en multimedia - juni

16 zoeken op deze niveaus pre-iconografisch –soms kleurzoekmogelijkheid (o.a. Google-advanced) –afhankelijk van tekst / metadata / tags –op basis van automatische herkenning (CBIR) iconografisch –afhankelijk van tekst / metadata / tags iconologisch –afhankelijk van metadata / tags –... of inventieve zoekwoorden (?) zoeken van beeld, geluid en multimedia - juni

17 zoeken naar beeld zoeken van beeld, geluid en multimedia - juni

18 zoeken naar beeld (1) text based image retrieval - zoekingangen inhoudelijke woorden –bestandsnaam –tekst uit webpagina in de “omgeving” van de afbeelding (maar hoever gaat die omgeving?) –toegekende trefwoorden/metadata alt/title-attribuut in HTML-codering andere semantische codering in HTML beschrijving en/of usertags bij upload-site (bijv. Flickr) –OCR van afgebeelde tekst in plaatje (?) –embedded in image-file (?) (Exif/IPTC niet) formele kenmerken zoeken van beeld, geluid en multimedia - juni

19 zoeken naar beeld (2) text based image retrieval - zoekingangen inhoudelijke woorden formele kenmerken (in/uit beeldbestand zelf) bijv. EXIF metadata, IPTC metadata  EXIF/IPTC metadata zichtbaar in foto-editor of met online metadata-viewers: / –afmetingen –kleur/grijstinten/zwart-wit –foto/tekening/lijntekening/icoon/... –format (gif/png/jpg/tif/svg/...) –rechten (CC) –camera-instelling (exif) –gps-gegevens (exif) –geotag –... 19

20 20

21 zoeken naar beeld (3) zoekmachines kunnen in principe iets met die formele kenmerken daarbij soms ook al combinatie met enige beeldherkenning ("content based") zoeken van beeld, geluid en multimedia - juni

22 zoeken naar beeld (4) Content based image retrieval (CBIR) zoeken op basis van kleuren –voorbeelden: Tineye, Chromatik Graphic, Picitup, Google,...TineyeChromatik GraphicPicitupGoogle zoeken van beeld, geluid en multimedia - juni

23 zoeken naar beeld (5) Content based image retrieval (CBIR) zoeken op basis van kleuren zoeken op basis van ruwe schets op beeldscherm (kleuren, [ruwe] vorm en [soms] "texture") –voorbeelden: IBM QBic, Retrievr, PicItUP,...IBM QBicRetrievrPicItUP 23

24 zoeken naar beeld (6) Content based image retrieval (CBIR) zoeken op basis van kleuren zoeken op basis van ruwe schets op beeldscherm zoeken op basis van voorbeeld afbeelding (reverse search) –al (op andere wijze) gevonden in systeem zelf –waarvan URL bekend is, of geüploade eigen afbeelding –voorbeelden: Google, Tineye, Tiltomo, Retrievr, Pixolution, Bing,...GoogleTineyeTiltomoRetrievrPixolutionBing vervolgens daarmee zoeken naar zelfde / gelijkend / andere formaten

25

26 zoeken van beeld, geluid en multimedia - juni voorbeeld

27 google zoekt meest waarschijnlijke zoekwoorden om dit plaatje te beschrijven en combineert die in het zoekvenster al met het plaatje zelf... en geeft "visually similar images" maar dat werkt niet in elke situatie goed zoeken van beeld, geluid en multimedia - juni

28 google looks for most probable keywords to describe this image and in the search box combines them already with the image... and how about these "visually similar images" ? zoeken van beeld, geluid en multimedia - juni

29 zoeken van beeld, geluid en multimedia - juni

30 zoeken van beeld, geluid en multimedia - juni

31 31

32 zoeken naar beeld (7) Content based image retrieval (CBIR) zoeken op basis van kleuren zoeken op basis van ruwe schets op beeldscherm zoeken op basis van voorbeeld afbeelding zoeken op basis van beeldherkenning door computer "semantische concept detectie": op basis van (veel) voorbeelden leert de computer door machine learning techniek, per individueel concept hoe afbeeldingen daarvan (ook in video) te herkennen zijn meeste voorbeelden nog in ontwikkelfase: –MediaMill (Cees Snoek, UvA)MediaMill –Euvision (Impala)Euvision 32

33 Zoekresultaat uit het Nederlandse Impala-systeem (Cees Snoek, UvA) dat is getraind op afbeeldingen van honderden concepten (waaronder schapen)

34 Feature Extraction Supervised Learner Training Feature Measurement Classification Testing Video Examples It is an aircraft probability 0.7 A simple concept detector © Cees Snoek Jan-Mark Geusebroek ISLA-UvA zoeken van beeld, geluid en multimedia - juni

35 Google herkent objecten in images 35

36 zoeken naar beeld (8) met IconClass classificatie ontsloten erfgoedmateriaalIconClass classificatie classificatie met zowel concrete als abstracte begrippen vooral gericht op kunsthistorisch materiaal gebruikt voor ontsluiting van onder andere –KB Medieval Illuminated ManuscriptsKB Medieval Illuminated Manuscripts –open collectie van Rijksmuseumopen collectie van Rijksmuseum

37 zoekstrategie voor beeldzoeken niet wezenlijk anders dan voor gewoon zoeken, maar: anders nadenken over te gebruiken zoektermen (zeker bij abstracte concepten), meer trial & error je nog meer verplaatsen in hoe bestand zou kunnen heten of in wat voor context zo’n afbeelding zou kunnen voorkomen je herkent vaak sneller relevantie dan bij alleen tekst daarbij: niet te veel concepten combineren waar mogelijk formele kenmerken gebruiken voor inperking beter nadenken over keuze bron/zoeksysteem enig idee krijgen hoe ranking van zoeksysteem werkt afweging zoekwoorden te gebruiken of liever CBIR zoeken van beeld, geluid en multimedia - juni

38 bronnen / zoeksystemen voor beeld afbeeldingen uit websites (google, yahoo, bing, exalead, …)googleyahoobingexalead foto’s door gebruikers geüpload (flickr, picasaweb, pbase, …)flickrpicasawebpbase stockfoto’s (meeste gratis) (hollandse hoogte, getty, spaarnestad, stock-xchng, freedigitalphotos, stockvault, publicdomainpictures, morguefile, freefoto, burningwell,...)hollandse hoogtegettyspaarnestadstock-xchngfreedigitalphotos stockvaultpublicdomainpicturesmorguefilefreefotoburningwell iconen, clipart (publicdomainphotos, openclipart,...)publicdomainphotosopenclipart speciale sites (wikimedia commons, beeldbank nationaal archief,...)wikimedia commonsbeeldbank nationaal archief geo-zoeken (panoramio, google maps - photos, streetview )panoramiogoogle maps instagram-foto's op lokatie (worldcam)worldcam foto's op twitter (twicsy, picfog, topsy, skylines.io, …)twicsypicfogtopsyskylines.io foto's op facebook (facebook graph search - settings: English )facebook visuele tag-browser voor flickr (taggalaxy)taggalaxy op geo-zoekers na, zoeken deze voorbeelden meestal op woorden en - in verschillende mate - op formele kenmerken lijst met >50 gratis bronnen: dagelijks aantal foto-uploads Twitter: 1 miljoen Instagr.am: 1,3 miljoen Flickr: 3 miljoen Facebook:250 miljoen zoeken van beeld, geluid en multimedia - juni

39 geluid zoeken van beeld, geluid en multimedia - juni

40 geluid verschijningsvormen spraak muziek vocaal muziek instrumentaal ander geluid ontsluiting : aanpassing van de niveaus van Panofsky ? ‘pre-audiografisch’: wat hoor ik? ‘audiografisch’: wat stelt het voor/betekent het? ‘audiologisch’: wat is het (eventueel abstracte) concept dat het geluid symboliseert? verbaal non-verbaal zoeken van beeld, geluid en multimedia - juni

41 niveaus van geluidsontsluiting ‘pre-audiografisch’: wat hoor ik? –hard geluid, zacht geluid, lage tonen, hoge tonen, harde stem, zachte stem, bijgeluiden in bepaalde volgorde en menging daarvoor is (alleen) waarneming nodig ‘audiografisch’: wat stelt het voor / wat betekent het / wat wordt gezegd? –een sirene / een stel muzieknoten / “Leden van de Staten-Generaal” of zelfs: –sirene van een Nederlandse ambulance –openingsmaat van Beethovens vijfde symfonie in uitvoering door het Berliner Philharmoniker o.l.v. Wilhelm Furtwängler uit 1937 –eerste uitgesproken woorden van Troonrede van Koningin Juliana in 1975 daarvoor is kennis nodig zoeken van beeld, geluid en multimedia - juni

42 niveaus van geluidsontsluiting (2) ‘audiologisch’: wat is het (eventueel abstracte) concept dat het symboliseert? (ook bij reeksen woorden, met structuur door indeling en zinnen, en met extra lading door bv. intonatie, volumewisseling of pauzes) –alarm, noodgeval, doorgang afdwingen –noodlot: een beroemd iconisch motief uit de westerse muziek dat zou kunnen staan voor het Noodlot dat op de deur klopt (betwist). –bezorgdheid: een officiële redevoering met gedragen stem en bezorgde intonatie over economie en maatschappij daarvoor is kennis van context en interpretatie nodig De Semantic gap is bij spraak kleiner als met behulp van spraakherkenning daarin woorden worden herkend zoeken van beeld, geluid en multimedia - juni

43 techniek analoog en digitaal geluid bij digitaal: bitrate formats en compressie (al dan niet met kwaliteitsverlies) distributie zoeken van beeld, geluid en multimedia - juni

44 techniek: analoog of digitaal analoog geluidstrillingen worden doorgegeven of vastgelegd zonder ‘opdeling’ daarvan –vastgelegd in fysieke vorm (groeven en putjes/hobbels in grammofoonplaat) niet geschikt voor opname door particulieren, beperkt verlies –vastgelegd in magnetische vorm (geluidsbanden, cassettes) geschikt voor particuliere opname, vrij snel verlies digitaal geluidstrillingen worden omgezet en vastgelegd in bits - eenen en nullen (ADC/DAC conversie) –verlies bij omzetting van analoog naar digitaal en terug –geen verlies bij opslag en copiëren in computerfile of CD 44

45 techniek - bitrate maat voor hoeveelheid informatie die per seconde wordt doorgegeven, uitgedrukt in kilobits (kb) of megabits (mb) in principe: hoe hoger des te hoger de mogelijke kwaliteit wordt bepaald door sample-rate (aantal geluidsmetingen per seconde - hoogst weer te geven frequentie  helft van sample rate) x aantal bits per meting (bepaalt mate van dynamiek) voor CD-kwaliteit: sample rate is /s bij 16 bits per sample (  700 kbit/s) online audio bestanden (mp3/aac) vaak 128 kbit/s, maar voor bijv. spraak is 32 of 64 vaak ook al voldoende zoeken van beeld, geluid en multimedia - juni

46 techniek – digitale formats formats zonder compressie (PCM): –.wav (waveform audio format: CD’s, Windows) –.aiff (Mac) verliesloze compressie formats (50%) –.flac, door steeds meer apparaten (iig Android) ondersteund –soms indirect gebruikt in mpeg4 video formats verliesgevende compressie formats (tot 10% bij 128 kbit/s) –.mp3 (MPEG audio layer 3) –.aac (iTunes) –.wma (Windows media audio) compressie gebeurt met een zogenaamde audio "codec" (compression-decompression) zoeken van beeld, geluid en multimedia - juni

47 techniek – distributie morse (geluid alleen als distributiedrager van schrift) radiografisch (broadcast) kabelradio (broadcast) streaming (via internet afspelen) –bv. muziek in Spotify of de 3voor12 luisterpaalSpotify3voor12 luisterpaal –niet of moeilijk op te slaan (kan wel met bv software als TotalRecorder) TotalRecorder download (opslaan als bestand) –bv. muziek die je koopt in iTunes (mp3 download) –bv. podcast van radioprogramma zoeken van beeld, geluid en multimedia - juni

48 zoeken naar geluid zoeken van beeld, geluid en multimedia - juni

49 zoeken naar geluid (1) content based audio/sound recognition automatische herkenning van geluid bijvoorbeeld toegepast in Shazam of Soundhound app voor muziekherkenning via ‘vingerafdrukken’ ook toegepast voor herkennen van video/tv uitzendingen op basis van het geluid zoekfunctionaliteit nog beperkt: –wel: wat is het wat ik heb? –wel: geef mij iets wat lijkt op wat ik heb/zing/neurie (bijv. musipedia)musipedia –niet: geef mij iets met harp, pauken en klarinet bovendien: technische gelijkenis bij muziek niet gelijk aan belevingsgelijkenis (vingerafdruk Gregoriaans gezang kan sterk lijken op een Death Metal nummer) zoeken van beeld, geluid en multimedia - juni

50 zoeken naar geluid (2) automatic speech/voice recognition (ASR) –t.b.v doven/slechthorenden of t.b.v doorzoekbaarheid –automatische herkenning van spraak en omzetting naar tekst toegepast in Siri op de iPhone / telefonische helpdesk menu’s / games / navigatie in experimentele zoekmachines, bv. VoxaleadVoxalead vereist meestal veel ‘training’ en correctie handmatige omzetting van spraak naar tekst bv. toegepast bij TED talksTED talks bv. stenotypisten/notulisten vergaderingen Tweede Kamer (later doorzoekbaar) bv. (live) ondertiteling (meestal niet doorzoekbaar) zoeken van beeld, geluid en multimedia - juni

51 zoeken naar geluid (3) text based audio retrieval (zelfde als bij beeld) zoekingangen inhoudelijke woorden –bestandsnaam –tekst uit webpagina in de “omgeving” van de audiofile (maar hoever gaat die omgeving?) –toegekende trefwoorden/metadata alt/title-attribuut in HTML-codering andere semantische codering in HTML usertags bij upload-site … formele kenmerken –extensie –sample rate –…. 51

52 zoeken naar geluid (4) social network based audio retrieval zoeken van overeenkomstige items op basis van gebruikskenmerken –related/similar zoeken (wie dit item luistert, luistert ook naar): bv LastFM, Spotify, Discovr Music (app)LastFMSpotify zoeken van beeld, geluid en multimedia - juni

53 zoeken naar geluid (5) algemene zoekmachines –filteren op audiobestanden niet mogelijk –wel: zoeken met extensie (bv. mp3) in URL –wel: zoeken met als extra termen wav/mp3/soundbite/audio, bv. dogs barking wav OR mp3 –wel: soms werkt "parent directory" mp3 of "index of" mp3 (+ bv. Beatles) gespecialiseerde geluidszoekmachines –spraakherkenning: Voxalead (voor nieuws) –vooral.wav &.mp3 files: FindSoundsFindSounds databanken met beschreven geluiden –Soundjax, FindSounds, SoundCli.ps, Soungle,...SoundjaxFindSounds SoundCli.psSoungle historische geluidsarchieven (bv. BBC) 53

54 zoeken naar geluid (6) Overzicht opties muziekspraakoverig geluid Content basedShazam / Soundhound Voxalead Text basedAllMusic Amazon Muziekweb VoxaleadSoundJax FindSound Formele kenmerken Google (extensie in URL) Google (extensie in URL) Google (extensie in URL) Social network based LastFM Spotify Discovr Music TranscriptsGoogle (songteksten) Google YouTube (n.v.t.) zoeken van beeld, geluid en multimedia - juni

55 zoekstrategie voor audiozoeken flink anders dan voor gewoon zoeken, door: veel verschil of je zoekt naar muziek, gesproken tekst of ander geluid reguliere zoekmachines zoeken termen alleen in metadata / omschrijvingen en alleen bij transcripts in ‘full text’ reguliere zoekmachines bieden nauwelijks content based retrieval grote meerwaarde gespecialiseerde sites, ondanks beperkte zoekfunctionaliteit grote meerwaarde van leren van in systeem gebruikt ontsluitingsjargon anders nadenken over te gebruiken zoektermen (zeker bij abstracte concepten) je nog meer verplaatsen in hoe bestand zou kunnen heten of in welke context het geluid zou kunnen voorkomen je herkent (hoort) vaak sneller relevantie dan bij alleen tekst daarbij: niet te veel concepten combineren beter nadenken over keuze bron/zoeksysteem afweging zoekwoorden te gebruiken of liever CBIR zoeken van beeld, geluid en multimedia - juni

56 videomateriaal eigenschappen: grotendeels combinatie van die van stilstaand beeld en die van geluid zoeken van beeld, geluid en multimedia - juni 2014

57 techniek formats en compressie ondertiteling beeldformaat zoeken van beeld, geluid en multimedia - juni

58 techniek – digitale formats lossy formats en codecs:.mpeg (Moving Pictures Experts Group).mpeg4.avi (Audio Video Interleave, Windows).mov.qt (Quicktime, Apple).wmv.divx Onderdelen van MPEG4 bestand (beeld van Apple) zoeken van beeld, geluid en multimedia - juni

59 techniek - ondertiteling heet: subtitles / closed captions / times text productie: –handmatig (vooraf of achteraf) –halfautomatisch (live captioning) transcripts bevatten soms tijdsinformatie –bijv. SRT-bestand bij songs 59

60 techniek - beeldformaat videoformaten in pixels 176 x 144(1984: 1 ste digitale videostandaard) 640 x x x 576 (PAL) 1280 x 720 (HD ready) 1920 x 1080(full HD) (max.) 4096 × 3072 (4K of “Ultra HD”, zoek in YouTube op 4K) … ‘Quality’ setting bij afspelen in YouTube betreft verticale resolutie zoeken van beeld, geluid en multimedia - juni

61 zoeken naar video zoeken van beeld, geluid en multimedia - juni

62 anders/extra t.o.v. stilstaand beeld er kan ondertiteling bij aanwezig zijn, waarvan de tekst voor retrieval- doeleinden kan worden gebruikt kan gesproken tekst bevatten waarop spraakherkenning kan worden toegepast wat full-text retrieval mogelijk maakt bestaat meestal uit opvolging van afzonderlijke (maar op enigerlei wijze samenhangende) scenes, –die afzonderlijke inhoud kunnen hebben –die afzonderlijk gevonden moeten kunnen worden –die direct/afzonderlijk (zonder doorspoelen) getoond moeten kunnen worden –waartussen overgangen in principe automatisch door software herkend kunnen worden (bij programma’s met vaste patronen zoals het journaal, kunnen die ook automatisch benoemd worden) je ziet niet zo snel of zoekresultaat relevant is als bij images, tenzij –automatisch doorgespoeld naar scene op basis waarvan gevonden –transcript van gesproken tekst getoond zoeken van beeld, geluid en multimedia - juni

63 [functionaliteit helaas niet meer beschikbaar na overname VideoSurf door Bing] zoeken van beeld, geluid en multimedia - april scène-informatie in zoekresultaat

64 anders/extra t.o.v. geluidsmateriaal je ziet sneller/makkelijker of zoekresultaat relevant is dan bij alleen geluid zoeken van beeld, geluid en multimedia - juni

65 zoeken naar video text based video retrieval - zoekingangen inhoudelijke woorden –bestandsnaam –titel –tekst uit webpagina in de “omgeving” van de videofile –toegekende trefwoorden/metadata attributen in HTML-codering description usertags bij upload-site –ondertiteling –transcriptie (handmatig) –transcriptie (spraakherkenning; bijv. Voxalead) formele kenmerken zoeken van beeld, geluid en multimedia - juni

66 text based video retrieval - zoekingangen inhoudelijke woorden formele kenmerken (meestal filters) –lengte –file-format –datum –rating –aanwezigheid ondertiteling –oorspronkelijke bron –…. zoeken naar video 66

67 ook content based video websearch op komst ?? - op TechCrunch kwam ( 21/06/2014 ) dit bericht langs:dit bericht zoeken naar video 67

68 bronnen/zoeksystemen voor video (1) vooral (maar niet alleen) geüploaded materiaal –YouTube (o.a. ook veel "how to" video's)YouTube ook: YouTube-channels / YouTube-education / YouTube-teachers / YouTube-movies / YouTube-shows …YouTube-channelsYouTube-educationYouTube-teachers YouTube-moviesYouTube-shows –VimeoVimeo –… vooral (maar niet alleen) van omroepen opgenomen materiaal –BlinkxBlinkx –Voxalead (keuze uit 9 talen waaronder NL)Voxalead –Google videoGoogle video –Bing videoBing video –Blekko (met slashtag /videos )Blekko –… zoeken van beeld, geluid en multimedia - juni

69

70 ?

71

72

73 bronnen/zoeksystemen voor video (2) Archieven van televisieuitzendingen –Beeld en GeluidBeeld en Geluid –B&G Dutch Footage: rechtenvrije selectie voor downloadB&G Dutch Footage –Uitzendinggemist.nl: >2005Uitzendinggemist.nl –RTL Gemist >2007, nieuws alleen recentRTL Gemist –BBC - Archive - A-Z, >1970BBC - Archive - A-Z –Canvas VideoCanvas Video –Voor HO: Instituut Beeld en Geluid: Academia. Maar dus afgeschermd.Academia Fysieke exemplaren van video (VHS, DVD) – WorldcatWorldcat zoeken van beeld, geluid en multimedia - juni

74 bronnen/zoeksystemen voor video (3) gespecialiseerde videosites: –TED (met vertalingen en ondertitels)TED –TEDx (internationale edities)TEDx –TheNextWeb (conference talks)TheNextWeb –MedTubeMedTube –BirdCinemaBirdCinema –….. zoeken van beeld, geluid en multimedia - juni

75 zoeken naar video advanced search opties/filters lengteresolutiebron(upload) datum met/zonder ondertiteling Bingja sorterennee Google video (na zoekactie) ja Youtubeja nee (nvt) sorterenja Blinkxjaneejasorterennee Vimeosorterennee (nvt) sorterennee zoeken van beeld, geluid en multimedia - juni

76 zoeken naar video overzicht opties Content basedBlinkx Voxalead Text based & formele kenmerkenYouTube Vimeo Google Video Social network basedYouTube Transcripts (niet doorzoekbaar) Google Video YouTube zoeken van beeld, geluid en multimedia - juni

77 hulpmiddelen voor beheer en bewerking beeldbewerking –gratis: irfanview, picasa, GIMP,...irfanviewpicasaGIMP –betaald: photoshop, aperture (apple), lightroom,...photoshopaperturelightroom –online: pixlr, iPiccy, photoshop express,...pixlriPiccyphotoshop express beeldbeheer (lokaal/cloud): picasaweb, lightroom, flickr,...picasaweblightroomflickr sociaal beeldbeheer: instagram, flickr groups,...instagramflickr groups beeld van web bewaren: evernote, commentto,...evernotecommentto beeldbookmarks: pinterest (pinboards),...pinterest animated gifs maken (online): make-animation, picasion,...make-animationpicasion animated gifs uit video's: youtube2gifyoutube2gif cross-platform multimedia player: VLC (gratis)VLC eenvoudige video-editing: windows movie makerwindows movie maker online image- en video-conversie: zamzarzamzar video's downloaden: keepvid, downloadyoutubefilmpjes.nl,...keepviddownloadyoutubefilmpjes.nl zoeken van beeld, geluid en multimedia - juni

78 hergebruik zoeken van beeld, geluid en multimedia - juni

79 (her)gebruik van multimedia wat mag je met auteursrechtelijk beschermd materiaal? –als je geen regeling met rechthebbende hebt getroffen, mag je het in principe alleen gebruiken voor persoonlijke doeleinden wat mag je met materiaal met een Creative Commons (CC) licentie? –in welke vorm en voor welk doel je mag hergebruiken/herpubliceren hangt af van niveau van CC-licentie die eigenaar gekozen heeft zoeken van beeld, geluid en multimedia - juni

80 CC-licenties niveaus van CC-licenties [zie: ] –Public-Domain (CC 0) meest ruime: alles mag (ook bewerken / remixen) mits je vermeldt wie rechthebbende is –Attribution (CC BY) alles mag mits je vermeldt wie rechthebbende is –Attribution-ShareAlike (CC BY-SA) alles mag, mits dat met door jou bewerkte versie ook mag –Attribution-NoDerivs (CC BY-ND) je mag er geen bewerkingen van maken –Attribution-NonCommercial (CC BY-NC) het mag niet commercieel gebruikt worden –Attribution-NonCommercial-ShareAlike (CC BY-NC-SA) niet commercieel en mits met bewerkte versie zelfde mag –Attribution-NonCommercial-NoDerivs (CC BY-NC-ND) niet commercieel en geen bewerkingen zoeken van beeld, geluid en multimedia - juni

81 CC-licenties waar kun je zoeken/limiteren op CC-licenties? –Google (filter achteraf of advanced search vooraf; betrouwbaar??)Google –Flickr (filter achteraf of advanced search vooraf)Flickr –Picasaweb (inperking achteraf)Picasaweb –Bing (inperking achteraf)Bing –...

82 CC-licenties waar kun je zoeken/limiteren op CC-licenties? –metasearch-pagina van creativecommons.orgcreativecommons.org zoeken van beeld, geluid en multimedia - juni


Download ppt "Zoeken van beeld, geluid en multimedia eric sieverts & jeroen bosman juni 2014 SurvivalWoman © Gareth Peck amateur_photo_bore VCU Libraries."

Verwante presentaties


Ads door Google