eNTERFACE'10'da "Vision-based Hand Puppet" isimli bir proje yürütüyoruz. Projedeki amaç kameradan el ve yüz jestlerini algılayıp sanal bir kuklayı oynatmak. Kısmen sanal gerçeklik de denebilir. Ben yüz ifadelerini algılama kısmıyla ilgileniyorum. Daha önceden yüz jestlerini algılama konusunda çalışmıştım. İlgili çalışmadaki jestler daha çok işaret dilleri özelindeydi, "hayır" anlamında kafayı sağa sola sallamak gibi global kafa hareketlerini de içeriyordu. Şimdi ise yüz ifadesi (gülme, üzülme, şaşkınlık, korku, iğrenme, kızma) tanıma hedefindeyiz. Global kafa hareketlerinin olmadığı (ya da dönmenin olmadığı) bir kurulum üstünde çalışıyoruz. İlk aşama olarak belli noktaları gerçek-zamanlı olarak takip edebilmek geliyor. Takip edilen noktalara dayanarak öznitelikler çıkarıp ifade tanımak da ikinci aşama olacak. İlk aşamaya ait örnek bir görüntü kaydettim. Web kamerasından 640x480'lik çözünürlükte bir çerçeveyi 80 ms gibi bir sürede işleyebiliyor.

Yüz Nirengi Noktası Takibi, Vimeo.