Deep Learning Verifikasi Kemiripan Wajah Dengan Arsitektur Jaringan Siamese

Abstract

Abstrak

Verifikasi wajah adalah masalah yang cukup populer dalam bidang computer vision. Banyak pendekatan yang telah dilakukan untuk menyelesaikan masalah tersebut baik menggunakan model matematika murni dengan mempelajari pola geometri pada wajah secara manual maupun cara otomatis menggunakan pendekatan pembelajaran mesin. Penelitian ini mencoba memecahkan masalah tersebut dengan pendekatan deep learning, dimana model dilatih menggunakan triplet loss yang didefinisikan pada paper FaceNet. Rancangan model yang digunakan adalah Siamese dengan menerapkan ResNet-50 yang telah dimodifikasi untuk mempelajari fitur yang ada pada gambar sehingga mampu mereduksi dimensi gambar yang tinggi menjadi vektor baris yang rendah disebut sebagai embedding. Setelah model berhasil mempelajari embedding yang baik pada gambar maka masalah verifikasi wajah bisa diselesaikan dengan membandingkan jarak embedding antar gambar dimana jarak yang dekat dapat diartikan sebagai wajah yang mirip (genuine) dan jarak yang jauh dapat diartikan sebagai wajah yang berbeda (impostor). Pada penelitian ini, model berhasil dilatih pada Dataset VGG Face v2 (Visual Geometry Group) dengan nilai akurasi 92% pada Dataset LFW (Labeled Faces in the Wild) sebagai data testing dan mendapatkan nilai AUC (Area Under the Curve) 97%. Nilai AUC yang tinggi dapat diartikan bahwa model dapat memverifikasi dengan baik gambar wajah orang yang sama sebagai genuine dan gambar wajah orang yang berbeda sebagai impostor.

Kata Kunci: Siamese, Triplet Loss, Verifikasi Wajah, Face Embedding, Dimensionality Reduction.

Abstract

Face verification is a quiet popular problem in computer vision. Various approach has been applied to solve this problem from using pure mathematical model by manually defining Face geometric pattern into automatic way by using machine learning.  This research try to solve this problem using deep learning approach. The model will be trained using Triplet Loss as defined in the Face Net paper. The model architecture that will be used is Siamese by applying modified ResNet-50 as the body of the Network, the Network will be trained as how to reduce high dimension image into a low dimension row vector, reduced image dimension into a low row feature vector also called embedding. If model successfully trained to produce a good embedding quality of an image then Face verification problem can be seen as Pythagorean problem where the distance of two pair of images can be calculated using euclidean distance those the distance can be seen as the similarity value which by applying some threshold value we can determine if those pair of images is genuine (similar) or not (impostor). This Research, model successfully trained on VGG Face v2 (Visual Geometry Group) Dataset by getting 92% accuracy on LFW (Labelled Face in the Wild) as testing Dataset. Also the AUC (Area Under The Curve) score is reacing 97%, high AUC score can be interpreted that the model is successfully verify similar person as genuine and different person as impostor.

Keywords: Siamese, Triplet Loss, Face Verification, Face Embedding, Dimensionality Reduction.