Yüz Özniteliklerinin Takibi ve İşaret Dili için İfade Tanıma
Uzunca bir uğraştan sonra (~1 haftasonu), tez sunumumu video haline getirebildim. Yazılar İngilizce, sunum (ses) ise Türkçe. Ne yazık ki tüm sunumu baştan Türkçe yazmaya zamanım olmadı. Bir de bilgisayara anlatmak sıkıcı bir şeymiş, onu öğrendim.
Aktif şekil modellerinin nasıl çalıştığını, yüz özniteliklerini takip etmede nasıl kullanılabileceğini ve bu sonuçların nasıl sınıflandırılabileceğini merak ediyorsanız izleyebilirsiniz. Tez de burada.
Özet:
Bir imge dizisinde bulunan yüz öznitelik noktalarının otomatik olarak takipedilmesi, ifade tanımayı da kapsayan birçok uygulamanın ilk adımıdır.İşaret dili özelinde bakarsak, ifadeler hem duygusal ifade hem de baş hareketi içerebilen ele ait olmayan işaretler olarakkarşımıza çıkar. Bu çalışmada, Türk İşaret Dili’nde yaygın olarak kullanılan ifadeleri tanımayı amaçladık. Önerdiğimiz sistem iki aşamadan oluşmaktadır: İlkinde, imge dizisindeki her kare için, çok-yönlü (düz, sağa, sola, yukarı) Çok-çözünürlüklü Aktif Şekil Modelleri (ÇÇAŞM) ile yüzdeki nirengi noktaları otomatik olarak saptanır. Bulunan yönlerden şekli modele en iyioturan ve önceki seçilen şekle en yakın olan yönün şekli seçilir. Eğer seçilen şeklin güvenirliği, eşik değerinin altında ise o kare boş bırakılır ve şekil başlangıç durumuna getirilir. Böylece takip edilen şeklin dağılması önlenirve sistemin gürbüz çalışması sağlanır. Boş bırakılan kareler interpolasyon ile doldurulur ve hatalı sonuçları elemek için alfa-trim ortalama süzgeci kullanılır. İkinci aşamada takip edilen noktalar normalize edilir ve çokdeğişkenli Sürekli Saklı Markov Modelleri (SSMM) tabanlı sınıflandırıcıya girdi olarak verilir ve ifade tanınması yapılır. Bulunan sonuçları sınayabilmek için ele ait olmayan ifadelerden oluşan bir video veritabanı topladık. Hem takip hem tanıma kısımları için ÇÇAŞM yöntemini tek-yön/çok-yön ve genel/kişiye-özel çeşitlemeleri ile çalıştırıp sonuçları karşılaştırdık. Çok-yönlü kişiye-özel takipçi en başarılı sonuçları vermektedir ve sistemin gürbüz bir şekilde noktaları takip edebildiği gözlemlenmektedir. Sınıflandırma kısmı için önerilen SSMM sınıflandırıcısını değişik eğitim ve test kümelerinde denedik. Birbirinden farklı sınıflar için başarı çok yüksek gözükmektedir.
Sunumu izle:
Yüz Özniteliklerinin Takibi Ve İşaret Dili İçin İfade Tanıma from İsmail on Vimeo.
2 yorum
İsmail bey, merhabalar.
Google da PCA ile arama yaparken teadüfen gözümün takıldığı blogunuzla tanışalı 4 saat oldu ve halen ayrılamadım. teknik konuların dışında yazdığınız yazılarda çok keyifli ve öğretici. Şuan bilgisayara koyun gibi bakmamı engelleyen workware uygulamasından dolayı yazıma ara veriyorum:) Gerçekten emeğiniz için teşekkürler.
Yazılarınız arasında asıl ilgimi çeken MATLAB ortamında anlattığınız yüz tanıma ve görüntü işlemeyle ilgili olanlar. Sizden ricam eğer mümkünse 2 boyutlu yüz tanıma ile ilgili;
1) öznitelik çıkarımı (Pixel Intensity, Line Edge Map, Local Directional Corner Points, Local Gradient Binary Codes, Gabor wavelet vs.) ,
2) boyut indirgeme (PCA dışında, LDA, Self Organising Map, Line Segment Hausdorff Distance, Minimum Warping Cost, Normalised correlation, Histogram vs.),
3) sınıflandırma (k.Nearest Neighbour (kNN), Convolutional Network, Weighted Chi Square vs)
yöntemlerinden bildiklerinizi (Özellikle LDA ve kNN) MATLAB ortamında anlatabilirseniz çok sevinirim.
Saygılarımla..
Merhabalar Şafak Bey, çok teşekkür ederim yorum için. Bahsettiğiniz konulardan bildiklerim (LDA, kNN, histogram gibi) var, kimini de çakma biliyorum ama iyi öğrenmeyi istiyorum (Gabor Wavelet gibi). Doktorada matematiksel temeli kuvvetli yöntemlere girdim bakalım. Bu konularla ilgileri olacak çoğu yerde ve ben de temelden alıp kendime anlatır gibi ekleyeceğim zaman buldukça. Bahsettiğiniz gibi MATLAB (veya Python) eşliğinde yapmaya çalışıyorum ki denemesi ve anlaması daha kolay olsun. Bunu çok faydalı buluyorum. Tekrardan yorumunuz için teşekkür ederim, not ettim :)