De toekomst van tekstcommunicatie: emotie en innovatie
De huidige trends en innovaties in tekstcommunicatie, waaronder e-mail, messaging en ondertitelingssystemen, zijn constant in ontwikkeling om de affectieve kloof tussen geschreven en gesproken spraak op een voldoende effectieve wijze te overbruggen. In de afgelopen jaren hebben we bijvoorbeeld de opkomst gezien van afwisselende hoofdletters als een provocatieve meme in sociale media vlammenoorlogen. Aan de andere kant blijft het gebruik van caps lock en schokkende typografische effecten door sommige platforms moderators aan het werk zetten.
Deze methoden zijn tamelijk primitief en schetsmatig in hoe ze de bedoeling van geschreven woorden verduidelijken. Gelukkig hebben de groeiende populariteit van emoticons en emoji’s, hybride tekstuele/visuele overbrengers van sentiment, een belangrijke rol gespeeld. Dit heeft de onderzoekssector Natural Language Processing (NLP) geïnspireerd, net als de betekenis van geanimeerde GIF’s die gebruikers in commentaarthreads plaatsen.
Innovaties in orosodie en typografie
Over de jaren heen heeft de geschreven taal een innovatieve basis ontwikkeld met ‘additieve’ taalkundige methoden die proberen emotie te reproduceren zonder de tonale informatie van gesproken woord. Denk bijvoorbeeld aan de uitroep ‘Oh Oh oh!’ aan het einde van Lady Macbeths beroemde monoloog. Afhankelijk van de intonatie kan de betekenis hier drastisch verschillen. In Trevor Nunn’s productie uit 1976 van Macbeth, bijvoorbeeld, nam Judi Dench maar liefst 24,45 seconden om deze regel te lezen, een historische interpretatie die de kracht van intonatie illustreert.
YouTube’s automatische ondertitelingssysteem voor deze clip beschreef Dench’s intense ululatie simpelweg als [MUZIEK], wat het probleem benadrukt: geschreven tekst vat de emotionele nuance van gesproken woorden niet goed genoeg.
Stemgemoduleerde typografie: een nieuwe dimensie
Een recent artikel uit Brazilië stelt een systeem voor dat spraakgemoduleerde typografie integreert, waardoor prosodie en andere paralinguïstische componenten direct in ondertitelde spraak worden opgenomen. Dit voegt een dimensie van emotie toe die momenteel slecht wordt weergegeven door conventionele methoden zoals het toevoegen van bijvoeglijke naamwoorden (bijvoorbeeld [Schreeuwen]).
Het voorgestelde model van spraakgemoduleerde typografie maakt gebruik van akoestische kenmerken van spraak om de visuele weergave van tekst te moduleren. Hierdoor kan de transcriptie niet alleen woorden weergeven, maar ook hoe ze uitgesproken zijn. Baseline shift, kerning en vetheid zijn enkele parameters die worden gebruikt in hun systeem vanwege hun veelzijdigheid en effectiviteit.
Prosodie omzetten in typografische stijl
Het paper getiteld Verborgen geschreeuw, gefluister en gekrijs: kan tekst meer laten klinken dan alleen de woorden? komt van onderzoekers Calua de Lacerda Pataca en Paula Dornhofer Paro Costa van de Universidade Estadual de Campinas in Brazilië. Ze stellen voor dat hun systeem universeel nuttig kan zijn, niet alleen voor ondertiteling, maar ook voor diverse NLP-toepassingen zoals klanttevredenheidsevaluatie en het afleiden van depressie uit tekstinhoud.
Het raamwerk biedt variatie in baseline shift, kerning en font-weight. Deze stijlen komen overeen met de geëxtraheerde kenmerken van spraak: respectievelijk toonhoogte, duur en amplitude.
Het onderzoek heeft testfasen doorlopen waarbij de methoden zijn geëvalueerd op effectiviteit. 117 deelnemers met gehoorproblemen werden betrokken en gaven waardevolle feedback over de interpretatie van gemoduleerde teksten. De resultaten van deze fase tonen aan dat hoewel er uitdagingen zijn, de voordelen van prosodiebewuste tekst veelbelovend zijn.
Op weg naar een emotie-rijke toekomst
De evoIutie van tekstcommunicatie is een bewijs van menselijke inventiviteit en aanpassingsvermogen. De inspanningen van onderzoekers zoals Calua de Lacerda Pataca en Paula Dornhofer Paro Costa laten zien dat we op het punt staan mogelijkheden te ontdekken die ons nog dieper in staat stellen ons met elkaar te verbinden.
De toekomst van tekstcommunicatie staat op het punt radicale veranderingen te ondergaan, en met voortdurende inspanningen kunnen we een wereld voor ons zien waarin geschreven woorden rijker en contextueel beter begrepen worden dan ooit tevoren.
Voor het eerst gepubliceerd op 24 februari 2022.