Gebarencomputer studeert bij Elektro

Om een taal te leren, zijn vooral de eerste levensjaren belangrijk. “Maar de ouders van dove kinderen moeten vaak zelf nog gebarentaal leren”, aldus promovenda drs. Gineke ten Holt (Elektrotechniek, Wiskunde en Informatica). Om kinderen tussen drie en vijf jaar extra te laten oefenen met gebaren, ontwikkelt ze een elektronische leeromgeving, samen met de Nederlandse stichting voor het dove en slechthorende kind en twee andere promovendi.

De kinderen moeten bijvoorbeeld als ze een filmpje van een gebaar zien, het juiste plaatje erbij zoeken. Of bij een plaatje het juiste gebaar maken, waarbij de computer ‘beoordeelt’ of het goed is. Met dit laatste deel, de gebarentaalherkenner, houden de Delftse onderzoekers zich bezig. En dat is nog niet zo gemakkelijk.

Ir. Jeroen Lichtenauer, promovendus bij EWI, zorgt ervoor dat het gemaakte gebaar wordt omgezet in voor de computer begrijpelijker taal: cijfers. Het kind dat bijvoorbeeld ‘aap’ uitbeeldt, wordt opgenomen door twee camera’s. De computer combineert razendsnel die beelden met elkaar en bepaalt de 3D-posities van de handen voor alle losse beelden van het filmpje. “De computer herkent aan de huidskleur de handen en het hoofd. Om die van elkaar te kunnen onderscheiden, moeten de kinderen ieder gebaar beginnen met de handen op tafel”, zegt Lichtenauer. Het is een van de uitdagingen waarvan ir. Jeroen Arendsen, die bij Industrieel Ontwerpen aan hetzelfde onderzoek werkt, vindt dat ze overwonnen moeten worden voor het apparaat een succes kan worden. “Probeer een kind maar eens steeds met de handen op tafel te laten zitten”, zegt de industrieel ontwerper. Het systeem werkt nu alleen in een goed verlichte ruimte, als de kinderen voor een neutrale achtergrond zitten in een trui met lange mouwen. Zo zijn de handen goed te zien. “Een mens kan zich best een beetje aan een nieuwe technologie aanpassen, maar de drempel om gebarenherkenning te gebruiken moet niet te hoog zijn.”
Variaties

De technologie van beeldherkenning staat duidelijk nog in de kinderschoenen, maar dat is voor de Delftenaren geen reden om niet aan de ontwikkeling te werken. “Met computervisie is nog niet goed te zien welke vorm de hand maakt. Daarom hebben we ons nog even beperkt tot gebaren waarbij de beweging van de hele hand belangrijker is dan de vorm die hij maakt”, aldus Lichtenauer. Ten Holt heeft vervolgens de taak de computer te ‘leren’ wanneer hij een gebaar goed of fout moet rekenen. “Net als er bij gesproken taal verschillen in uitspraak zijn, kunnen gebaren op verschillende manieren gemaakt worden. Om de computer te trainen met variaties in gebaren om te gaan, hebben we zeventig proefpersonen gevraagd in totaal 121 gebaren te maken”, legt de onderzoekster uit. Het prototype dat nu bijna af is, rekent een gebaar goed als de handen van het kind ongeveer over bepaalde coördinaten bewegen. Hoeveel het gebaar mag afwijken, wordt nu met experimenten onderzocht.

Ondertussen denkt Ten Holt al aan de volgende stap in de ontwikkeling. “Ik denk dat voor het begrip van een gebaar karakteristieke bewegingen, bijvoorbeeld handen die samen een rondje maken, belangrijker zijn dan op welke precieze positie dat gebaar gemaakt wordt. In een volgende versie zou ik dat willen inbrengen.”

Arendsen doet onderzoek naar de perceptie van gebaren door mensen en is het met Ten Holt eens dat mensen anders naar gebaren kijken dan de huidige computers. Personen zullen minder snel een gebaar fout rekenen dan een heel precies geprogrammeerde computer. “Ouders begrijpen heel snel wat hun kind bedoelt, ook al gebaart of praat hij onduidelijk.” Ook kan een machine niet het verschil zien tussen een gebaar en alle andere bewegingen. “In mijn experimenten weten mensen feilloos wanneer iets een gebaar is. Ze negeren het gewoon als iemand aan zijn neus frunnikt, terwijl een computer meteen kijkt welk gebaar het is.” Zoals een mens gebaren waarneemt zal een computer dat niet snel leren, maar de technologie van beeldherkenning is in ontwikkeling. In computerspellen bijvoorbeeld. “Met de Playstation Eye-Toy kun je al een tijdje tegenstanders op het scherm uitschakelen door in je kamer met je handen in de lucht te slaan.”

Kinderen tussen drie en vijf jaar kunnen met de computer gebarentaal oefenen. Zij maken het gebaar dat hoort bij het plaatje op het scherm en de computer ‘beoordeelt’ of het goed is. (Foto: Jeroen Arendsen)

Om een taal te leren, zijn vooral de eerste levensjaren belangrijk. “Maar de ouders van dove kinderen moeten vaak zelf nog gebarentaal leren”, aldus promovenda drs. Gineke ten Holt (Elektrotechniek, Wiskunde en Informatica). Om kinderen tussen drie en vijf jaar extra te laten oefenen met gebaren, ontwikkelt ze een elektronische leeromgeving, samen met de Nederlandse stichting voor het dove en slechthorende kind en twee andere promovendi.

De kinderen moeten bijvoorbeeld als ze een filmpje van een gebaar zien, het juiste plaatje erbij zoeken. Of bij een plaatje het juiste gebaar maken, waarbij de computer ‘beoordeelt’ of het goed is. Met dit laatste deel, de gebarentaalherkenner, houden de Delftse onderzoekers zich bezig. En dat is nog niet zo gemakkelijk.

Ir. Jeroen Lichtenauer, promovendus bij EWI, zorgt ervoor dat het gemaakte gebaar wordt omgezet in voor de computer begrijpelijker taal: cijfers. Het kind dat bijvoorbeeld ‘aap’ uitbeeldt, wordt opgenomen door twee camera’s. De computer combineert razendsnel die beelden met elkaar en bepaalt de 3D-posities van de handen voor alle losse beelden van het filmpje. “De computer herkent aan de huidskleur de handen en het hoofd. Om die van elkaar te kunnen onderscheiden, moeten de kinderen ieder gebaar beginnen met de handen op tafel”, zegt Lichtenauer. Het is een van de uitdagingen waarvan ir. Jeroen Arendsen, die bij Industrieel Ontwerpen aan hetzelfde onderzoek werkt, vindt dat ze overwonnen moeten worden voor het apparaat een succes kan worden. “Probeer een kind maar eens steeds met de handen op tafel te laten zitten”, zegt de industrieel ontwerper. Het systeem werkt nu alleen in een goed verlichte ruimte, als de kinderen voor een neutrale achtergrond zitten in een trui met lange mouwen. Zo zijn de handen goed te zien. “Een mens kan zich best een beetje aan een nieuwe technologie aanpassen, maar de drempel om gebarenherkenning te gebruiken moet niet te hoog zijn.”
Variaties

De technologie van beeldherkenning staat duidelijk nog in de kinderschoenen, maar dat is voor de Delftenaren geen reden om niet aan de ontwikkeling te werken. “Met computervisie is nog niet goed te zien welke vorm de hand maakt. Daarom hebben we ons nog even beperkt tot gebaren waarbij de beweging van de hele hand belangrijker is dan de vorm die hij maakt”, aldus Lichtenauer. Ten Holt heeft vervolgens de taak de computer te ‘leren’ wanneer hij een gebaar goed of fout moet rekenen. “Net als er bij gesproken taal verschillen in uitspraak zijn, kunnen gebaren op verschillende manieren gemaakt worden. Om de computer te trainen met variaties in gebaren om te gaan, hebben we zeventig proefpersonen gevraagd in totaal 121 gebaren te maken”, legt de onderzoekster uit. Het prototype dat nu bijna af is, rekent een gebaar goed als de handen van het kind ongeveer over bepaalde coördinaten bewegen. Hoeveel het gebaar mag afwijken, wordt nu met experimenten onderzocht.

Ondertussen denkt Ten Holt al aan de volgende stap in de ontwikkeling. “Ik denk dat voor het begrip van een gebaar karakteristieke bewegingen, bijvoorbeeld handen die samen een rondje maken, belangrijker zijn dan op welke precieze positie dat gebaar gemaakt wordt. In een volgende versie zou ik dat willen inbrengen.”

Arendsen doet onderzoek naar de perceptie van gebaren door mensen en is het met Ten Holt eens dat mensen anders naar gebaren kijken dan de huidige computers. Personen zullen minder snel een gebaar fout rekenen dan een heel precies geprogrammeerde computer. “Ouders begrijpen heel snel wat hun kind bedoelt, ook al gebaart of praat hij onduidelijk.” Ook kan een machine niet het verschil zien tussen een gebaar en alle andere bewegingen. “In mijn experimenten weten mensen feilloos wanneer iets een gebaar is. Ze negeren het gewoon als iemand aan zijn neus frunnikt, terwijl een computer meteen kijkt welk gebaar het is.” Zoals een mens gebaren waarneemt zal een computer dat niet snel leren, maar de technologie van beeldherkenning is in ontwikkeling. In computerspellen bijvoorbeeld. “Met de Playstation Eye-Toy kun je al een tijdje tegenstanders op het scherm uitschakelen door in je kamer met je handen in de lucht te slaan.”

Kinderen tussen drie en vijf jaar kunnen met de computer gebarentaal oefenen. Zij maken het gebaar dat hoort bij het plaatje op het scherm en de computer ‘beoordeelt’ of het goed is. (Foto: Jeroen Arendsen)