Video Hyperlinking @ TRECVid-2015

Video Hyperlinking

After running a video hyperlinking benchmark evaluation for a number of years at MediaEval, we are excited to have now an evaluation running on video hyperlinking at TRECVid as well. On the 17th of November 2015, we discussed the results of the evaluation and the plans for next year at the TRECVid workshop in Gaithersburg, US.

Benchmarking the concept of video hyperlinking already started in 2009 with the Linking Task in VideoCLEF that involved linking video to wikipedia material on the same subject in a different language. In 2012, we started a ‘brave new task’ in MediaEval, where we explored approaches to benchmark the concept of linking videos to other videos using internet video from blip.tv.  In 2013-2014, ‘search and hyperlinking’ ran as a regular MediaEval task, this time with a collection of about 2500 hours of broadcast video from BBC instead of internet video.

Thanks to MediaEval we could improve our understanding of the concept of…

View original post 600 more words

Video Hyperlinking @ ACM Multimedia 2015

Video Hyperlinking

IMG_3739The SLAM Workshop on Speech, Language and Audio in Multimedia, connected to the ACM Multimedia conference and located in Brisbane, Australia this year, had a special session on Video Hyperlinking on Friday the 30th of November 2015. It was a good opportunity to discuss in more detail the results of the MediaEval benchmark evaluation on ‘Searching and Anchoring in Video Archives (SAVA)’ and to look forward to the upcoming 2015 TRECVid benchmark evaluation workshop. Video Hyperlinking became one of the TRECVid tasks this year. More on Video Hyperlinking and TRECVid after the workshop 16-18 November.

IMG_3754At SLAM, there was a session with four presentations on Video Hyperlinking. Benoît Huet (Eurecom) introduced the session with an overview on the topic. The rationale behind video hyperlinking is that it can help to improve access to archived video, a topic that was central to recently finished EU projects AXES and LinkedTV. Benoît provided…

View original post 411 more words

Pop-up archiefvideo

axes-randomvisualHet efficiënter beschikbaar en doorzoekbaar maken van grote videoarchieven is al jaren onderwerp van intensief onderzoek in diverse nationale en internationale projecten.  Het AXES project dat eind maart 2015 werd afgerond, leverde een belangrijke bijdrage aan dit onderzoek door de technologie voor het analyseren en doorzoeken van video’s een forse stap verder vooruit te brengen en tegelijkertijd goed te kijken naar de gebruikerswensen van diverse gebruikersgroepen die geïnteresseerd zijn in videoarchieven. Denk aan producenten en journalisten die videomateriaal willen hergebruiken voor nieuwe producties, onderzoekers die kennis willen opdoen door (grote hoeveelheden) video te analyseren, of ‘de thuisgebruiker’ die uit is op ‘infotainmenten op een toegankelijke en speelse manier informatie wil opdoen of gewoon een leuk filmpje wil kijken. Met name voor deze laatste groep, die niet altijd meer achter een PC zit, maar op de bank, in de tuin of in de trein met een tablet op schoot, heeft AXES nieuwe concepten ontwikkeld om interessante video’s uit het archief naar boven te halen en naar de gebruiker toe te brengen. Hieronder een kort verslag van deze nieuwe concepten.

Read more of this post

Bruikbaarheid van spraakherkenning binnen de geesteswetenschappen (2)

scholarAanleiding voor het tweede deel van de serie over bruikbaarheid van spraakherkenning binnen de geesteswetenschappen is de kick-off van een aantal CLARIAH demonstratie-projecten maandag 11 Maart bij het Meertens Instituut. Eén van die projecten is het project Oral History Today. In dit project wordt een applicatie gebouwd speciaal voor onderzoekers die met Oral History –letterlijk Mondelinge Geschiedenis– aan de slag willen. De nadruk ligt hier sterk op de gebruikskant en omdat vanzelfsprekend het gesproken woord  in Oral History centraal staat en automatische spraakherkenning bij de ontsluiting van interviews een nuttige rol kan spelen, is deze kick-off een goede aanleiding om het vanuit een ander perspectief over bruikbaarheid te hebben.

Read more of this post

Bruikbaarheid van spraakherkenning binnen de geesteswetenschappen (1)

 

Foto: svenwerk

Foto: svenwerk

Naar aanleiding van een conferentie bij de British Library op 8 Februari 2013 over “Opening up speech archives” een post over de bruikbaarheid van spraakherkenning binnen de geesteswetenschappen. Regelmatig wordt geopperd dat spraakherkenning een nuttige rol zou kunnen spelen bij het ontsluiten van gesproken woord archieven. Onderzoekers in de geesteswetenschappen vragen zich echter af hoe bruikbaar spraakherkenning eigenlijk wel is. Spraakherkenning maakt immers fouten, soms zelfs véél fouten. Hoe betrouwbaar is het gebruik van spraakherkenning dan? En hoe ga je als onderzoeker methodologisch om met deze imperfectie? Heeft dat consequenties voor de interpretatie? En een heel praktisch punt, hoe kan een techniek als spraakherkenning breed en betaalbaar beschikbaar worden gemaakt aan onderzoekers in de geesteswetenschappen? In deel 1 van Bruikbaarheid van spraakherkenning binnen de geesteswetenschappen”  een stukje achtergrond met betrekking tot het gebruik van audiovisuele content in de geesteswetenschappen en mijn ervaring met de inzet van spraakherkenning in deze context.

Read more of this post

Video-linking voor zoeken en contextualiseren

2302094475_d25777c936_z

Naar aanleiding van een presentatie bij iMMovator over twee Europese projecten (AXES en LinkedTV) een korte blogpost over video-linking: het koppelen van video aan andere multimedia bronnen.

Verbanden leggen tussen digitale bronnen is iets dat tot de verbeelding spreekt. Vanuit mijn eigen ervaring kan ik me nog goed herinneren hoe enthousiast we waren over een applicatie die we –tien jaar geleden al weer–  bouwden in het kader van een onderzoeksproject rond multimedia retrieval op de Universiteit Twente. We namen elke avond het NOS 8 uur Journaal op en maakten de opgenomen journaals vervolgens doorzoekbaar met behulp van spraakherkenning. In het project werkten we samen met een aantal  Nederlandse kranten die ons een database met jaargangen krantenartikelen ter beschikking stelden. In de zoekapplicatie verwezen we bij elk zoekresultaat (een journaalfragment) naar de hierbij behorende top-5 meest relevante krantenartikelen. Deze top-5 werd volledig automatisch gegenereerd door de tekst uit het journaalfragment als “zoekvraag” te gebruiken om te zoeken in de krantendatabase. Een relatief eenvoudige aanpak die heel goed werkte. De demo heeft jarenlang voor enthousiaste reacties gezorgd en draait nog steeds. Helaas tegenwoordig zonder de links naar de kranten omdat het project is afgelopen.

Read more of this post