EFFENDI - EFficient and Fast text ENtry for persons with motor Disabilities of neuromuscular orIgin (EFFENDI)

Third party funded individual grant


Acronym: EFFENDI

Start date : 01.02.2021

End date : 30.06.2022


Project details

Short description

The EFFENDI project investigates possibilities to assist persons with neuromuscular diseases in entering text quickly and efficiently. The project was inspired by the search of the applicant for a suitable way to operate a computer and to enter text. The applicant has been diagnosed with the progressive neuromuscular disorder Friedreich Ataxia more than 25 years ago. Being a researcher, he is obliged to use a computer for up to ten hours per day, but due to his disease, he had growing problems with the standard keyboard, making text entry very cumbersome and error prone for him. During his year long search for a suitable alternative, he came across many solutions, some exceeding his abilities by far, others demanding only a fraction of what he was able to deliver. Nothing was JUST RIGHT. To fill this gap, the applicant decided to develop his own alternative. With the idea in mind that what works for him should help others as well, the overall objective was not to concentrate on only one single case, but to consider the thus far neglected group of patients with neuromuscular diseases as a whole. The outcome, OnScreenDualScribe, is a very powerful tool allowing to replace the standard input devices for computer operation, full size keyboard and mouse, with a single device. An extension for the renewal is to search for an optimal input device for persons with neuromuscular diseases. This would also yield a solution suitable for able-bodied users with respect to several applications, e.g., a Travel Companion. The applicant completely switched to the new input method, meaning that he almost uses nothing else to operate a computer. It really has changed his life. For example, the applicant never liked writing emails as that was just effortful work for him. Now he does, since entering longer texts in ambiguous mode is a breeze. OnScreenDualScribe is very suitable for persons who are able to control both hands. Another part of the project aims at emulating this manual interaction with the help of various signals detected by different wearable sensors. Although the sensor platform is already existent regarding the basic hardware architecture, the number of detectable sensor signals is still much too small to allow first user tests. An idea to top up the number of input signals is to develop a limited vocabulary speech recognition tool that works for people with dysarthria. A different idea is to investigate a touch based spin off of OnScreenDualScribe which could open the long closed door to tablets and smartphones for persons with neuromuscular diseases. As the results are really promising, but actually just represent the beginning, the applicant would love to have a chance to go on, in excess to the already approved nine more months, as described in the renewal proposal.

Scientific Abstract

Das EFFENDI Projekt untersucht Möglichkeiten, Menschen mit neuromuskulaeren Krankheiten, NMK, dabei zu helfen, Text schnell und effizient einzugeben. Auslöser war die Suche des Antragstellers, AS, nach einer geeigneten Weise, einen Computer zu bedienen und Text einzugeben. Beim AS wurde vor über 25 Jahren die fortschreitende NMK Friedreich Ataxie festgestellt. Als Wissenschaftler ist er gezwungen, bis zu 10 h am Tag, einen Computer zu benutzen, aber aufgrund seiner Krankheit hatte er zunehmend Probleme mit der Standardtastatur; Texteingabe war daher sehr mühevoll und fehlerbehaftet für ihn. Im Laufe seiner jahrelangen Suche nach einer passenden Alternative liefen ihm einige Systeme über den Weg, manche davon überstiegen seine Fähigkeiten bei weitem, andere brauchten nur einen Bruchteil von dem, was er zu leisten imstande war. Es war nichts GERADE RICHTIG. Um diese Lücke zu füllen, entschied sich der AS seine eigene Alternative zu entwickeln. Mit dem Gedanken, dass das, was ihm hilft, auch anderen helfen sollte, war es das Ziel, sich nicht nur auf einen Fall zu konzentrieren, sondern die bis dahin vernachlässigte Gruppe von Patienten mit NMK insgesamt zu betrachten. Das Ergebnis OnScreenDualScribe, OSDS, ist ein sehr mächtiges Werkzeug, das es erlaubt, die normalen Eingabegeräte für einen Computer, große Tastatur und Maus, mit nur einem einzigen Gerät zu ersetzen. Eine Erweiterung zur Fortsetzung ist die Suche nach einem optimalen Eingabegerät für Menschen mit NMK. Dies würde auch eine Alternative für Nichtbehinderte aufzeigen, und zwar im Zusammenhang mit Anwendungen wie etwa einem Reisebegleiter. Der AS ist vollständig zur neuen Eingabemethode übergegangen, d.h., dass er nahezu nichts anderes benutzt, um einen Computer zu bedienen. Es hat sein Leben vollkommen verändert, z.B. hatte er nie gerne Emails geschrieben, da dies einfach mühevolle Arbeit war. Dies hat sich nun geändert, denn die Eingabe längerer Texte im Ambiguous Mode ist ein Kinderspiel. OSDS ist sehr geeignet für Personen, die beide Hände kontrollieren können. Ein anderer Teil des Projekts zielt auf die Emulation der manuellen Interaktion mit Hilfe verschiedener Signale, die von mehreren mobilen Sensoren aufgezeichnet werden. Obwohl die Sensorplattform schon existiert, hinsichtlich der grundlegenden Architektur, ist die Anzahl aufgezeichneter Sensorsignale noch um einiges zu klein, um erste Nutzertests zu erlauben. Eine Idee, diese Anzahl aufzustocken, ist die Entwicklung einer eingeschränkten Spracherkennung für Menschen mit Dysarthrie. Eine andere Idee ist die Untersuchung eines berührungssensitiven Ablegers von OSDS, welcher die lang verschlossene Tür zu Tablets oder Smartphones für Menschen mit NMK öffnen könnte. Da die Ergebnisse sehr vielversprechend, aber erst der Anfang sind, würde der AS gerne die Chance der Weiterführung haben, zusätzlich zu den momentan genehmigten 9 weiteren Monaten, wie im Fortsetzungsantrag beschrieben ist.

Involved:

Contributing FAU Organisations:

Funding Source