Veel dove kinderen hebben moeite om te lezen. En daarbij is het voor ouders vaak ook nog eens moeilijk om hun dove kinderen een verhaaltje voor te lezen bij het slapengaan. Huawei helpt dat te veranderen. Zij hebben een app ontwikkelt die door middel van kunstmatige intelligentie (AI), tekst omzet in gebarentaal.
Leer lezen met StorySign
Er zijn wereldwijd 32 miljoen dove kinderen. Zij hebben over het algemeen meer moeite met leren lezen dan horende leeftijdsgenootjes. Dit komt doordat dove en slechthorende kinderen klanken niet aan geschreven woorden kunnen koppelen. Dit maakt het voor leraren ook lastig, zij kunnen hun leerlingen bijvoorbeeld geen woordenlijstjes laten herhalen. Dove of slechthorende kinderen lopen hierdoor op een vroege leeftijd vaak al een taalachterstand op. Met behulp van de app wil Huawei de wereld van boeken toegankelijker maken voor dove kinderen. Zodat zij samen met hun ouders gebarentaal en leesvaardigheid ontwikkelen. Met StorySign worden geselecteerde kinderboeken door middel van AI vertaald naar gebarentaal.
De vriendelijke avatar Star
Huawei laat de boeken tot leven komen met behulp van een vriendelijke avatar die de tekst vertaald in gebaren. Het eerste kinderboek dat vertaald is door de vriendelijk avatar Star naar gebarentaal is ‘Waar is Dribbel?’. Hierbij zijn de exacte gezichtsuitdrukkingen van gebarentolken gekopieerd om Star tot leven te brengen. Mimiek is zeer belangrijk, omdat het 70% van de gebarentaal bepaalt. Dankzij Avatar Star kunnen dove en slechthorende kinderen, net als hun leeftijdgenoten, leren lezen terwijl ze door de lens van hun telefoon naar de woorden in kinderboeken kijken. En maakt het voor ouders mogelijk om hun dove kinderen een verhaaltje voor te lezen voor het slapen gaan.
Hoe werkt StorySign?
Je opent de app, kiest een boek uit de bibliotheek van StorySign en klikt erop. Daarna houd je je telefoon voor de woorden op de pagina. Star vertaalt het verhaal naar gebarentaal. De woorden die de avatar Star uitbeeldt worden gemarkeerd. Zo kunnen ouders en kinderen samen gebarentaal aanleren en leren lezen en dat allemaal in je eigen tempo.
