Sign2Me bruger deep learning til at oversætte tale- og tegnsprog i realtid mellem døve og hørende. De forventer at løsningen er klar til markedet i 2019.  

Døve falder alt for ofte udenfor arbejdsmarkedets rammer. Kun 38 procent af døve mellem 15-66 år tager dagligt på job. Det viser en ny rapport fra Ankestyrelsen og Det Centrale Handicapråd.

En af de største udfordringer er kommunikationen med ikke-døve kollegaer, og med kun 20 tolke-timer stillet til rådighed om ugen, er det svært at deltage i det uformelle fællesskab på arbejdspladsen.

Men lydmuren står ikke kun i vejen på jobbet. 90 procent af døve har ugentligt eller dagligt brug for at kommunikere med hørende ifølge en spørgeundersøgelse.

”Tænk på alle de dagligdags situationer, hvor du har brug for nemt at kommunikere. Hvis du skal spørge om vej, handle ind, eller koordinere børnenes legeaftaler med de andre forældre. I sådanne situationer har døve i dag brug for enten tolk eller pen og papir,” siger Gabriel Andersen.

Derfor har han og Brian Klindrup skabt appen, Sign2Me, der oversætter til og fra tegnsprog i realtid og bryder muren mellem hørende og ikke-hørende ned med en smartphone.

Appen er nomineret til CareWare-nexts idépris 2018. CareWare-Next har siden 2013 kåret de bedste idéer og bedste iværksættere med et dommerpanel bestående af bl.a. Aarhus Kommune, Enversion og Capnova.

Læs mere: Tidligere deltagere har fået 80 millioner kroner: Nu offentliggøres dette års finalister i velfærdskonkurrence

Fra fødselsdagsboller til kunstig intelligens

Ideen opstod da Brian Klindrup fejrede sin talehandicappede nevøs fødselsdag, som primært kommunikerer via tegnsprog. Men ligesom 98 procent af resten af verden “taler” Brian Klindrup ikke tegnsprog.

“There’s an app for that”, tænkte den frustrerede onkel. Men det var der ikke. Det var kimen til Sign2Me. App’en fungerer relativt simpelt; telefonens kamera optager tegnsproget, som så bliver oversat til tale med hjælp fra kunstig intelligens.

Omvendt opfanger telefonens mikrofon tale og oversætter det til tegnsprog, som bliver vist af en avatar på telefonen. På den måde kan døve og hørende kommunikere ligeværdigt, hurtigt og uden yderligere hjælpemidler.

Selvlært og vellært computer

Alexandra Instituttet er medudvikler af app’en, som er støttet af InnoBooster-ordningen. En almennyttig virksomhed, der hjælper offentlige og private initiativer med at anvende den nyeste it-forskning og teknologi.

Ifølge Søren Rasmussen, Visual Computing Engineer ved Alexandra Instituttet, har især Deep Learning, der ved hjælp af kunstig intelligens genkender billeder, været essentiel i udviklingen af Sign2Me.

“Det er et godt billede på, hvor hurtigt udviklingen går inden for de her teknologier. Hvor vi tidligere som mennesker definerede, hvad algoritmerne skulle kunne, er det i dag computeren selv, der definerer, hvordan algoritmerne arbejder,” forklarer Søren Rasmussen og fortsætter:

“Grundlæggende så er det rigtig svært at forklare, hvordan vi som mennesker genkender tegnsprog. Men vi kan godt lære en computer det, ved at fodre den med eksempler på tegnsprog og oversættelser, og langsomt lærer algoritmen så at oversætte tegnsprog selv.”

Sign2Me er klar i 2019

Brian Klindrup er utrolig stolt af den anerkendelse, der ligger i nomineringen til CareWare-Next idé-prisen. Det er en anerkendelse af behovet for en ligeværdig kommunikation mellem døve og hørende.

”Timingen passer utroligt godt med vores forventede Proof-Of-Concept og færdiggørelse af en prototype inden jul”.

Den færdige app forventes klar i 2019, og visionen er at udvikle app’en, så den kan bruges på andre sprog i resten af verden. I 2020 skal det være helt naturligt, at møde en døv kollega, og problemfrit at kommunikere.