Bruikbaarheid van spraakherkenning binnen de geesteswetenschappen (2)

scholarAanleiding voor het tweede deel van de serie over bruikbaarheid van spraakherkenning binnen de geesteswetenschappen is de kick-off van een aantal CLARIAH demonstratie-projecten maandag 11 Maart bij het Meertens Instituut. Eén van die projecten is het project Oral History Today. In dit project wordt een applicatie gebouwd speciaal voor onderzoekers die met Oral History –letterlijk Mondelinge Geschiedenis– aan de slag willen. De nadruk ligt hier sterk op de gebruikskant en omdat vanzelfsprekend het gesproken woord  in Oral History centraal staat en automatische spraakherkenning bij de ontsluiting van interviews een nuttige rol kan spelen, is deze kick-off een goede aanleiding om het vanuit een ander perspectief over bruikbaarheid te hebben.

In een eerdere post ging het over de ontwikkeling en toepassing van de spraakherkenningstechnologie zelf en wat de technische randvoorwaarden zijn met betrekking tot bruikbaarheid. Maar de uiteindelijke bruikbaarheid van spraakherkenning voor onderzoek in de geesteswetenschappen, valt of staat met de technologie eromheen zoals de digitale infrastructuur, zoeksystemen en gebruikersinterfaces. Want het klinkt eenvoudig: een onderzoeker heeft een collectie interviews, haalt die door een spraakherkenner en kan vervolgens zoeken binnen de collectie op basis van de spraaktranscripties. Maar hoewel het op hoofdlijnen zo zou kunnen werken ligt het in de praktijk toch net iets ingewikkelder. Interviews moeten zijn gedigitaliseerd en in het juiste formaat beschikbaar zijn, er moet een spraakherkenner zijn waar de bestanden naartoe kunnen worden gestuurd, de resultaten moeten worden opgevangen en worden verwerkt in een database of zoeksysteem. Daarbij moet de zoek-applicatie op een, voor een onderzoeker zinnige manier kunnen verwijzen naar de bronbestanden, bijvoorbeeld door in ieder geval bij de zoekresultaten de mogelijkheid te bieden om de bronnen te kunnen afluisteren of bekijken.

Oral History

Als je dan toch moet gaan nadenken over een digitale infrastructuur met zoeksystemen en gebruikersinterfaces, is het zinnig om online beschikbaarheid mee te nemen. Tenslotte zou het mooi zijn als niet alleen de onderzoeker die de collectie heeft gemaakt maar ook andere onderzoekers en wellicht zelfs het algemeen publiek toegang tot de collectie zouden kunnen krijgen. In het project Verteld Verleden is deze hele keten –van digitalisering tot publieke toegankelijkheid– onder de loep genomen met Oral History als uitgangspunt.

(Bron: SpaarnestadPhoto, Eva Besnyö, 1970- 1971. Zie voor een discussie over het gebruik van deze icoonfoto bij stukjes als dezen http://www.martijnkleppe.nl)

Hoewel de definitie van wat Oral History nu precies is van belang is, met name voor de onderzoekers die met dit soort collecties werken, volstaat op deze plek dat het gaat om opgenomen interviews waarbij de geïnterviewden vertellen over hun leven, vaak in verband met (historische) gebeurtenissen zoals “de watersnoodramp” of thema’s zoals “de tweede feministische golf”. Een groot aantal waardevolle collecties worden, verspreid over heel Nederland en in sterk wisselende hoedanigheid, bewaard en beheerd. Soms geheel volgens de geldende archieveringstandaarden maar soms ook als een doos bandjes in de kast van een individuele onderzoeker. De toegankelijkheid en raadpleegbaarheid van de collecties laat over het algemeen te wensen over. Vanuit die constatering is de vraag of er een vorm kan worden gevonden om de toegankelijkheid en bruikbaarheid van de collecties te verbeteren, gebruik makend van de mogelijkheden van audiovisuele ontsluitingstechnologie, en tegelijkertijd rekening houdend met praktische zaken die voor de collectiebeheerders kunnen gelden. Denk hierbij aan beperkte infrastructurele capaciteit, gebrek aan ervaring met zoektechnologie, privacy issues voor (delen van) collecties, en wensen van individuele onderzoekers met betrekking tot toegankelijkheid. Vanuit een technologisch perspectief beoogde het project Verteld Verleden technology push –laten zien wat er technisch kan– en technology pull –de gebruiker bepaalt wat er nodig is– te bewerkstelligen.

Centraal doorzoeken

Het model dat Verteld Verleden koos om Nederlandse Oral History collecties beter toegankelijk te maken is gebaseerd op een “gedistribueerde aanpak“: laat de collecties en de kennis over de collecties zo veel mogelijk bij de collectiebeheerders maar zorg voor een infrastructuur die het mogelijk maakt om gezamenlijk gebruik te maken van beschikbare technische hulpmiddelen en de Nederlandse collecties vanuit elke gewenste plek integraal te doorzoeken. Deze aanpak vereist wel dat beheerders hun collecties gedigitaliseerd hebben en de metadata via een “open protocol”, aangeduid als OAI-PMH, beschikbaar stellen. Dit laatste houdt in dat externe partijen, zoals in dit geval Verteld Verleden, de metadata van de collecties kunnen opvragen en doorzoekbaar maken. In het ideale geval bevat de metadata ook een verwijzing naar een afspeelbare versie van het interview. Het voordeel voor beheerders is dat ze zich niet bezig hoeven te houden met de doorzoekbaarheid van de collecties en kunnen meeliften met een centrale, state-of-the-art en op audiovisuele content ingerichte zoekinfrastructuur die de collecties thematisch –in dit geval als Oral History– kan positioneren en dwarsverbanden met andere collecties inzichtelijk kan maken. Overigens staat het een collectiebeheerder natuurlijk vrij om collecties ook aan te bieden via een eigen zoekapplicatie. Het is technisch zelfs mogelijk om de centrale zoekapplicatie in te bedden (“embedden”) in de eigen website, waarbij kan worden gekozen om zoeken in alle aangesloten collecties aan te bieden of alleen in de eigen collecties. Het voordeel voor geïnteresseerden in Oral History is dat er in dit model een centrale plek is (of zelfs meerdere ‘centrale plekken’ zijn) waar informatie over Oral History collecties in Nederland kan worden opgevraagd.

Screen Shot 2013-03-08 at 11.19.53 AMIn Verteld Verleden werden op deze manier collecties van Atria kennisinstituut voor emancipatie en vrouwengeschiedenis, Beeld en Geluid, DANS en Meertens Instituut aangesloten op een centrale portal. Hoewel er haken en ogen aan de gedistribueerde aanpak zitten, biedt het wel een oplossing voor de infrastructurele beperkingen waar menige beheerder van Oral History collecties mee te maken heeft en die impliciet de bruikbaarheid van het inzetten van geavanceerde zoekmethoden voor onderzoek, bijvoorbeeld op basis van spraaktechnologie, in de weg zit. Verteld Verleden gaat daarom de komende jaren door met het aansluiten van collecties en zal in samenspraak met het veld zoeken naar (maat)oplossingen om de barrières weg te nemen die het gebruik van Oral History collecties door onderzoek en publiek in de weg staan. Lees hierover meer op de portal van Verteld Verleden.

Zoeken voor onderzoekers

Bovenop een centraal zoeksysteem waarin alle informatie van beschikbare collecties is ondergebracht kunnen meerdere zoekvensters (interfaces) worden aangeboden, afhankelijk van het type gebruik. Een onderzoeker zal andere eisen stellen aan een zoekapplicatie dan iemand die vanuit algemene interesse wil grasduinen in het archief. Een onderzoeker zal wellicht op zoek zijn naar specifieke aanvullende bronnen om een onderzoeksvraag te beantwoorden. Of is benieuwd of de collecties in een archief relevante thema’s voor zijn of haar onderzoek bevatten. Misschien is het doel om kennis op te doen over een collectie als geheel of zijn specifieke artistieke kwaliteiten van een collectie de drijfveer voor een onderzoeker om een audiovisueel archief door te spitten. Om dit soort gebruik mogelijk te maken en onderzoekers ondersteuning te bieden bij de beantwoording van onderzoeksvragen zou een zoekvenster dat is toegespitst op dit gebruik nuttig kunnen zijn.

 Onderzoeksfasen
In het Oral History Today project wordt een prototype onderzoeksvenster gebouwd bovenop de bestaande infrastructuur van Verteld Verleden. Bij de ontwikkeling van de tool wordt uitgegaan van vier fasen in onderzoek dat gebruik maakt van audiovisuele bronnen: een exploratieve fase waarin een archief wordt geraadpleegd om tot een selectie relevante bronnen te komen (selectiefase), een fase waarbij ingezoomd wordt op de geselecteerde bronnen en een onderzoeksvraag wordt beantwoord (analysefase), een fase waarin de resultaten van het onderzoek worden gepresenteerd (presentatiefase), bijvoorbeeld via een verrijkte publicatie, en tenslotte een curatiefase, waarbij voor zover mogelijk alle gebruikte en gegenereerde dataverzamelingen en onderzoeksresultaten duurzaam worden opgeslagen.
Geavanceerde zoekopties
Annotated-works-of-St-Aug-001Oral History Today richt zich met name op de eerste twee onderzoeksfasen. Denk hierbij voor de selectiefase aan mechanismen om een goed beeld te krijgen van de inhoud van een audiovisueel archief, bijvoorbeeld door inzicht te geven in de thema’s, tijdsperiodes, collectiebeheerders, locaties en onderzoekers die verbonden zijn aan de bronnen (vensters op de data).  Natuurlijk kan een gedegen zoekfunctionaliteit met filteropties (facetten) op basis van de beschikbare metadata niet ontbreken. Het kunnen bewaren van geselecteerde bronnen in een persoonlijke folder, het kunnen opslaan (loggen) van het zoekproces, en mogelijkheden om aantekeningen en persoonlijke annotaties toe te voegen, zijn andere functionaliteiten waaraan gedacht kan worden.

In de tweede onderzoeksfase wordt dieper ingezoomd op de geselecteerde bronnen en dan kunnen hulpmiddelen om (semi-)automatisch onderdelen van de collectie te clusteren of dwarsverbanden aan te geven nuttig zijn. Natuurlijk kunnen ook hier gedetailleerde zoek- en filteropties niet ontbreken. Het ligt echter voor de hand dat in de selectiefase het zoeken op documentniveau (het zoekproces levert als resultaten de complete interviews als geheel op) belangrijker is, terwijl in de analysefase het zoeken op fragmentniveau (het zoekproces levers als resultaten fragmenten uit interviews op die relevant zijn gegeven de zoekvraag) nuttig kan zijn. De mogelijkheid om op fragmentniveau te kunnen zoeken wordt overigens wel bepaald door de beschikbare informatie in de metadata. Zonder tijd-gecodeerde annotaties (bijvoorbeeld afkomstig uit spraakherkenning) kan alleen op documentniveau worden gezocht.

Patronen

Screen Shot 2013-03-12 at 9.51.55 AMTerwijl in de selectie-fase geselecteerde bronnen in grotere aantallen en als gehele bestanden worden opgeslagen in een persoonlijke werkruimte, zal voor de analyse-fase de bewaarfunctie moeten worden verfijnd om op een gedetailleerder niveau te kunnen werken. Het (virtueel) kunnen knippen en bewaren van fragmenten behoort hier tot de opties, maar ook het maken van aantekeningen, het toevoegen van annotaties en middelen om samen te werken met collega’s (bijvoorbeeld het delen van de werkruimte) kunnen een nuttige bijdrage leveren aan het analyse-proces. Tenslotte kan er worden gedacht aan het visualiseren van patronen of sleutelbegrippen in de data. Voor de hand liggende voorbeelden zijn woordenwolken op document- en fragmentniveau en op tijd enwoordfrequentie gebaseerde diagrammen zoals de bekende google n-gram viewer.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: