Projects

Current projects:

  • CLARIAH PLUS (2019-2023) — Technical coordinator/Product Manager of the Media Suite, developed at Netherlands Institute for Sound and Vision.

The successor of the CLARIAH project in which we increase our efforts to build a national research infrastructure where we focus especially on audiovisual data collections using the components that have been developed in the CLARIAH CORE project such as for data registry, multimedia search, user interaction with large data sets, data visualisations, speech transcription, computer vision and data analytics. I’m the technical coordinator of the Media Suite, a research portal specifically geared towards media researchers and other scholars that are interested in audiovisual media, that is developed in work package 5 of the project.

  • Kinderen in Gesprek met Media / Child-Robot-Media Interaction (2019-2023) — Principal Investigator/Project Lead

Project funded by SIDN fonds and CLICKNL where I’m working with a team including 2 PhD students from the University of Twente on spoken conversational search for kids that use a robot for interaction. The focus of the project is two-fold. Firstly, we investigate the child robot interaction (a combination of among others speech recognition, speech synthesis, dialogue management, search and visualisation) itself in terms of performance, likability and quality. Secondly, we investigate how we should develop child robot interaction that is responsible by design.

  • MediaScape (2020-2021) — Technical Coordinator

In MediaScape wordt een model voor het innovatief toegankelijk maken van audiovisueel cultureel erfgoed geïmplementeerd. In plaats van generieke applicaties zoals de welbekende zoekingangen op archieven en catalogi, gaan we “ genereuze applicaties” ontwerpen die beter in staat zijn om de potentie van digitale erfgoedcollecties tot zijn recht te laten komen. We gaan alternatieve vormen van toegang tot de collecties ontwikkelen om verbindingen te leggen tussen interesse van individuen en erfgoedobjecten. We maken hierbij gebruik van de state-of-the-art in informatietechnologie. Om deze applicaties te ontwikkelen is een “brug” nodig die deze nieuwe technieken kan verbinden met de legacy systemen die het fundament vormen van archieven. In MediaScape slaan we een brug tussen twee werelden. Samen met onderzoekers van het Centrum voor Wiskunde en Inforatica, erfgoedpartners en het publiek ontwerpen we opstellingen die in directe interactie met bezoekers laten zien hoe de nieuwe ontwerpen werken.

  • Data als Kans Talentenontwikkelingsprogramma (2020) — Trainer: Benutten van multimedia bronnen

In dit project wordt een talentontwikkelingsprogramma gerealiseerd voor het benutten van grootschalige, multimediale en wijdverspreide databronnen in de (onderzoeks)journalistiek, gebruik makend van moderne data-analyse technieken en artificiële intelligentie. Data-analyses waarbij grote hoeveelheden (multimediale) data via verschillende kanalen doorgrond kunnen worden zijn onontbeerlijk voor een gedegen en innovatieve onderzoeksjournalistiek, om journalistieke hypotheses te staven, feiten en bewijslast te verzamelen en nieuwe verbanden te leggen en te verklaren. We zien dat er steeds meer bronnen beschikbaar komen maar ook dat de bruikbaarheid van deze bronnen voor journalisten achterblijft bij haar potentie. Grootschaligheid, dataformaten — niet alleen tekst maar ook audio en beeld– en het omgaan met beperkte of (technisch) gecompliceerde toegankelijkheid vereisen kennis, tools en skills die niet tot de standaard opleiding van journalisten behoren.

  • ICT with Industry (januari 2020) — Scientific lead Beeld en Geluid use case

ICT with Industry brings together scientists and professionals from industry and governments to work collaboratively on case studies, which are subject to an intense week of analysing, discussing, and modeling solutions. ICT with Industry 2020 is held from January 20 to 24 in the Lorentz Center in Leiden.

 

Past projects:

  • CLARIAH (2014-2018) — Technical coordinator/Product Manager of the Media Suite, developed at Netherlands Institute for Sound and Vision.

CLARIAH is een project binnen de NWO Nationale Roadmap Grootschalige Onderzoeksfaciliteiten. Kennisinstellingen, erfgoedinstellingen en bedrijven werken hierin samen met als doel een duurzame, digitale infrastructuur op te zetten voor geesteswetenschappelijk onderzoek. Het project heeft een financiering van €12 miljoen over een periode van 2015 t/m 2018. Beeld en Geluid is één van de deelnemende erfgoedinstellingen en mede-aanvrager van het project. Vanzelfsprekend richt Beeld en Geluid zich in het project op een infrastructuur voor audiovisuele content.

  • Face Interaction (2018) — Lab coordinator

This  project (LAB)  investigated the use of face recognition as an interaction mechanism for visitors to the new Museum that is being developed at the institute. We were especially interested if the performance of face recognition tools (we tested a number of these) was good enough also in darker places in the museum to warrant smooth operation with visitors. We also checked if latency may be an impediment for interaction with visitors on the basis of face recognition, for example in a communication setting with a robot.

 

  • Feit & Fictie (2017) —  Project Lead

This project, funded by Stimuleringsfonds voor de Journalistiek, developed a content-based archival video recommendation application for journalists browsing the internet. The application automatically suggests relevant archive material based on newsfeeds such as nos.nl, nu.nl and nrc.nl. See this blogpost created by Brigitte Jansen that also contains a video about the application.

 

This project was funded by Netherlands Institute for Sound and Vision, Dutch National Police and CLARIAH to make a high-quality open-source Dutch speech recognition system available for R&D purposes.

Trecvid Video Hyperlinking (2016-2017) — Coordinator of the Video Hyperlinking Benchmark Evaluation run at National Institute for Standards and Technology (NIST) in the US.

Trecvid Video Hyperlinking (2015-2016) — Coordinator of the Video Hyperlinking Benchmark Evaluation run at National Institute for Standards and Technology (NIST) in the US.

FP7-AXES (2011-2015)

Verteld Verleden

COMMIT – Infiniti

FP6 Media Campaign (2006-2008)

FP6 MESH (2006-2009)

NWO CHORAL (2006-2012)

NWO CATCH(PLUS) (2004-2012)

FP6 AMIDA (2006-2009)

FP6 AMI (2003-2006)

FP5 ECHO (2002-2004)

MultimediaN (2000-2003)

Waterland (2000) — Project on deploying speech recognition for media search applications with public broadcasters.

NWO DRUID (1998-2000) — Document Retrieval Using Intelligent Disclosure. My first project during my PhD research focussing on speech recognition as a tool for audiovisual search. The project description: “Retrieval of information from large text corpora has become a mature science in the last years. Nowadays one can search for information with “natural” question phrases which will result in lists of documents that deal with the relevant topic, also if they do not literally contain the words of the query. What remains a problem, though, is that much of the relevant information is not available in a written format, but only as sound (speech) or image. In order to make this information retrievable, audio and/or video fragments have to be transformed into some kind of textual representation. This transformation is the central topic of the DRUID project.”