Çoklu sensör tabanlı yapay zeka destekli el beceri değerlendirme sisteminin geliştirilmesi

Abstract

Motor beceri testlerine karpal tünel sendromu, serebral palsi, parkinson, artrit gibi hastalıkların teşhis ve tedavi aşamalarında, el becerisi gerektiren işlerdeki personel istihdamında mesleki yeterliliklerin kontrol edilmesinde ve ergonomi çalışmalarında ihtiyaç duyulmaktadır. Motor becerilerinin tespit edilebilmesi için çeşitli yöntemler geliştirilmiştir ve bunlar birçok aşamadan ve görevden oluşmaktadır. Bu testler bir uzman gözetiminde gerçekleştirilmektedir. Bu durum özellikle nüfusu fazla olan yerlerde hastalara günler sonrasına randevu verilmesine yol açmaktadır. Ayrıca yapılan ölçümlerdeki insan faktöründen dolayı çeşitli hatalar meydana gelebilmektedir. Bu tezde amaç, üst uzuv motor becerilerinin çoklu sensörler ve yapay zeka algoritmaları ile yüksek doğrulukta otomatik olarak değerlendirilmesi, sonuçların uzmanlara sunulması ve buna bağlı olarak uzmanların iş yükünün ve ölçüm hatalarının azaltılmasıdır. Üst uzuv motor becerileri eklem yapısı, kas kuvveti, duyu, mobilite ve koordinasyon gibi birçok bileşenden oluşur. Motor becerilerinin ölçümü ve belirlenmesi bu bileşenlerin ayrıntılı test edilmesini gerektirir. Bu tez çalışmasında kişilerin el motor beceri performansları çoklu sensörler ve yapay zekâ algoritmaları ile otomatik olarak belirlenmiştir. Performans belirleme aşamasında kişilerin kas kasılma seviyeleri ile hareket sınıflandırması yapılmış ve beceri testi esnasındaki tutma-bırakma hareketi süreleri tespit edilmiştir. Uzuv açısal hız, doğrusal ivme ve hız değişim değerleri ölçülerek kaydedilmiş, görüntü işleme yöntemi ile toplam test süresi ve testte yer alan disklerin her birinin yerleştirme ve çevirme süreleri hesaplanmıştır. Elde edilen tüm bu veriler kullanıcı arayüzü üzerinden uzmanlara sunulmuştur. Bu sayede uzmanların iş yükü azaltılarak günlük hasta kabul sayılarının artırılması sağlanmış, objektif ve doğru ölçümler gerçekleştirilmiştir. Mevcut test yöntemlerinde değerlendirme parametresi olarak kullanılan testi tamamlama süresinin yanında ek metrikler de uzmanlara sunulmuştur. Sistemin çalışma performansı 20 sağlıklı katılımcı ile test edilmiştir. Bu testler sonucunda elde edilen toplam test süresi, disk tutma bırakma süreleri, her bir diskin test düzeneğine yerleştirme ve çevirme süreleri ve uzuv dinamik parametreleri elde edilerek değerlendirilmiştir. Sonuç olarak sistemin el beceri değerlendirmesini otomatik olarak gerçekleştirebildiği ortaya konmuştur.

Dexterity tests are needed in the diagnosis and treatment stages of diseases such as carpal tunnel syndrome, cerebral palsy, Parkinson's, arthritis, in the control of professional competencies in the employment of personnel in jobs requiring manual dexterity and in ergonomics studies. Various methods have been developed to determine motor skills and they consist of many stages and tasks. These tests are carried out under the supervision of an expert. This leads to patients being given appointments days later, especially in overpopulated countries. In addition, various errors may occur due to the human factor in the measurements. The aim of this thesis is to automatically evaluate upper limb motor skills with high accuracy using multiple sensors and artificial intelligence algorithms, to present the results to experts, and to reduce the workload and measurement errors. Upper limb motor skills consist of many components such as joint structure, muscle strength, sensation, mobility and coordination. Measurement and determination of motor skills require detailed testing of these components. In this thesis, hand motor skill performances of individuals were determined automatically with multiple sensors and artificial intelligence algorithms. In the performance determination phase, muscle contraction levels and movement classification of the individuals were made and hold-release movement times during the test were determined. The angular velocity, linear acceleration and velocity change values of the limb were measured and recorded, and the total test time and the insertion and rotation times of each of the disks involved in the test were calculated by image processing. All these data were presented to the experts through the user interface. In this way, the workload of the experts was reduced, the number of daily patient admissions was increased, and objective and accurate measurements were made. In addition to the test completion time, which is used as an evaluation parameter in existing test methods, additional metrics were also presented to the experts. The performance of the system was tested with 20 healthy participants. As a result of these tests, the total test time, disc hold and release times, placement and rotation times of each disc on the test setup, and limb dynamic parameters were obtained and evaluated. As a result, it was demonstrated that the system can perform hand dexterity assessment automatically.