Human-computer Interaction Platform for the Hearing Impaired in Healthcare and Finance Applications

Summary:

In this thesis, we propose a human-computer interaction platform for the hearing impaired, that would be used in hospitals and banks. In order to develop such a system, we collected BosphorusSign, a Turkish Sign Language corpus in health and finance domains, by consulting sign language linguists, native users and domain specialists. Using a subset of the collected corpus, we have designed a prototype system, which we called HospiSign, that is aimed to help the Deaf in their hospital visits. The HospiSign platform guides its users through a tree-based activity diagram by asking specific questions and requiring the users to answer from the given options. In order to recognize signs that are given as answers to the interaction platform, we proposed using hand position, hand shape, hand movement and upper body pose features to represent signs. To model the temporal aspect of the signs we used Dynamic Time Warping and Temporal Templates. The classification of the signs are done using k-Nearest Neighbors and Random Decision Forest classifiers. We conducted experiments on a subset of BosphorusSign and evaluated the effectiveness of the system in terms of features, temporal modeling techniques and classification methods. In our experiments, the combination of hand position and hand movement features yielded the highest recognition performance while both of the temporal modeling and classification methods gave competitive results. Moreover, we investigated the effects of using a tree-based activity diagram and found the approach to not only increase the recognition performance, but also ease the adaptation of the users to the system. Furthermore, we investigated domain adaptation and facial landmark localization techniques and examined their applicability to the gesture and sign language recognition tasks.

Özet:

Bu tezde, işitme engellilerin hastane ve bankalarda kullanmaları amacıyla tasarlanmış bir insan-bilgisayar etkileşim platformu önerilmektedir. Söz konusu sistemin geliştirilmesi için öncelikle sağlık ve finans alanlarında işaretler içerin BosphorusSign Türk İşaret Dili veritabanı toplanmıştır. Veritabanı için dil bilimcilere, Türk İşaret Dili kullanıcılarına ve ilgili alanların uzmanlarına danışılmıştır. Toplanan veritabanının bir alt kümesi kullanılarak hastanelerde işitme engellilerin iletişimine yardımcı olacak HospiSign sistemi tasarlanmıştır. HospiSign platformu kullanıcılarına önceden belirlenmiş soruları ve bu sorulara verebileceği cevapları sunarak, ağaç tabanlı bir etkinlik diyagramı ile kullanıcıları yönlendirmektedir. HospiSign'a cevap olarak verilen işaretleri tanıyabilmek için ellerin şeklini, pozisyonunu, hareketini, ve üst vücudun duruşunu niteleyen öznitelikler kullanılmıştır. İşaretlerin zamansal özellikleri Dinamik Zaman Bükmesi ve Zamansal Şablonlar kullanılarak modellenmiştir. İşaretler k-En Yakın Komşu algoritması ve Rassal Karar Ormanları kullanılarak sınıflandırılmaktadır. Sistemin öznitelik, zamansal modelleme ve sınıflandırma yönlerinden değerlendirilmesi için BosphorusSign veritabanının bir alt kümesinde deneyler yapılmıştır. Deneyler sonucunda ellerin pozisyonu ve hareketini niteleyen özniteliklerin birlikte kulanımının en yüksek başarımı verdiği görülmüştür. Farklı zamansal modelleme ve sınıflandırma yaklaşımlarından ise birbirlerine yakın başarımlar elde edilmiştir. Yapılan deneyler sonucunda ağaç tabanlı etkinlik diyagramı kullanımının sistem başarımını arttırmanın yanı sıra kullanıcı adaptasyonunu da hızlandırdığı görülmüştür. Bu çalışmalara ek olarak, alan uyarlama ve yüzel nirengi noktası bulma yöntemleri incelenmiş, ve işaret dili ve işmar tanıma problemleri için kullanılabilirlikleri sınanmıştır.