Pemanfaatan Kamera untuk Kontrol Gerakan Real-Time dalam Sistem Interaktif Berbasis Unreal Engine
DOI:
https://doi.org/10.30812/corisindo.v1.5353Keywords:
Pose Estimation, Kamera, Real-Time, Unreal Engine, Sistem InteraktifAbstract
Kemajuan teknologi pose estimation telah mendorong pengembangan sistem interaktif yang memanfaatkan gerakan tubuh pengguna sebagai input. Penelitian ini bertujuan untuk mengembangkan sistem kontrol karakter di Unreal Engine yang dikendalikan secara real-time melalui empat jenis gerakan tubuh, yaitu mengangkat tangan kanan, mengangkat tangan kiri, menekuk tangan kiri, dan menarik tangan kiri ke belakang. Sistem menggunakan MediaPipe BlazePose untuk mendeteksi 33 titik tubuh dari citra kamera secara langsung, kemudian mengubahnya menjadi data sudut gerakan (Euler angle) yang dikirim ke Unreal Engine melalui protokol UDP. Hasil implementasi menunjukkan bahwa sistem mampu merespons gerakan dengan cepat dan akurat, serta berjalan stabil pada perangkat tanpa GPU tambahan. Evaluasi kuisioner terhadap 32 responden menunjukkan bahwa sistem ini dinilai menarik, unik, dan berpotensi untuk digunakan dalam konteks game dan simulasi. Meskipun demikian, akurasi sistem masih dipengaruhi oleh pencahayaan dan kecepatan gerakan. Penelitian ini menunjukkan bahwa kontrol gerakan tubuh menggunakan kamera biasa dan algoritma visi komputer dapat menjadi alternatif interaksi manusia-komputer yang efisien dan ekonomis.
References
[1] A. Shehzadi, M. I. Sharif, S. Azam, F. De Boer, M. Jonkman, and M. Mehmood, “Implementasi Hand Gesture Mediapipe Pada Game Interaktif Untuk Stimulasi Motorik Anak Down Syndrome Pada,” vol. 8, no. 5, pp. 10776–10784, 2024.
[2] Shubham Mishra, Mrs. Versha Verma, Dr. Nikhat Akhtar, Shivam Chaturvedi, and Dr. Yusuf Perwej, “An Intelligent Motion Detection Using OpenCV,” Int. J. Sci. Res. Sci. Eng. Technol., no. March, pp. 51–63, 2022, doi: 10.32628/ijsrset22925.
[3] M. Gerakan and M. Lalu, “Menggunakan sistem penangkap gerakan untuk membuat adegan realitas virtual,” vol. 13, no. September, pp. 35–44, 2024.
[4] A. Zainudin, E. A. Tuli, D. S. Kim, and J. M. Lee, “A Human-Centric Interactive Avatar Creation Framework Using Motion Capture and Face Expression Detection in Metaverse,” J. Korean Inst. Commun. Inf. Sci., vol. 50, no. 1, pp. 116–133, 2025, doi: 10.7840/kics.2025.50.1.116.
[5] P. Tirpude, P. Girhepunje, S. Sahu, S. Zilpe, H. Ragite, and B. Student, “Real Time Object Detection Using Opencv-Python,” Int. Res. J. Mod. Eng. Technol. Sci. www.irjmets.com @International Res. J. Mod. Eng., vol. 5302, no. 05, pp. 2582–5208, 2022, [Online]. Available: www.irjmets.com
[6] S. C. Yeh, E. H. K. Wu, Y. R. Lee, R. Vaitheeshwari, and C. W. Chang, “User Experience of Virtual-Reality Interactive Interfaces: A Comparison between Hand Gesture Recognition and Joystick Control for XRSPACE MANOVA,” Appl. Sci., vol. 12, no. 23, 2022, doi: 10.3390/app122312230.
[7] D. Crampen, Y. Yadav, S. Ishar, S. Zlatanova, and W. Tian, “Development of 3D UDTs for Traffic Monitoring in Unreal 5 Game Engine,” Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. - ISPRS Arch., vol. 48, no. 4, pp. 131–138, 2024, doi: 10.5194/isprs-archives-XLVIII-4-2024-131-2024.
[8] W. Gao, S. Jin, W. Zhai, S. Shen, Y. Tian, and J. Zhang, “Study on the Design of a Non-Contact Interaction System Using Gestures: Framework and Case Study,” Sustain., vol. 16, no. 21, 2024, doi: 10.3390/su16219335.
[9] Y. Do, M. Zebrowitz, J. Stahl, and F. Zhang, “iFANnpp: Nuclear Power Plant Digital Twin for Robots and Autonomous Intelligence,” pp. 1–13, 2024, [Online]. Available: http://arxiv.org/abs/2410.09213
[10] P. Virtanen et al., “SciPy 1.0: fundamental algorithms for scientific computing in Python,” Nat. Methods, vol. 17, no. 3, pp. 261–272, 2020, doi: 10.1038/s41592-019-0686-2.
[11] M. Abdul muthalib, I. Irfan, K. Kartika, and S. M. Selamat Meliala, “Pengiraan Pose Model Manusia Pada Repetisi Kebugaran Ai Pemograman Python Berbasis Komputerisasi,” INFOTECH J., vol. 9, no. 1, pp. 11–19, 2023, doi: 10.31949/infotech.v9i1.4233.
[12] D. G. Maliana, R. A. Dewangga, and M. A. Saputra, “Implementasi Citra Gestur Tangan Pada Permainan Rock Paper Scissor Menggunakan OpenCV Dan Mediapipe,” vol. 4, pp. 548–556, 2025.
[13] J. W. Kim, J. Y. Choi, E. J. Ha, and J. H. Choi, “Human Pose Estimation Using MediaPipe Pose and Optimization Method Based on a Humanoid Model,” Appl. Sci., vol. 13, no. 4, 2023, doi: 10.3390/app13042700.
[14] G. Sung et al., “On-device Real-time Hand Gesture Recognition,” pp. 2–6, 2021, [Online]. Available: http://arxiv.org/abs/2111.00038
[15] S. Duli, “Data Visualizations in Python With Matplotlib,” Sed.Vpts.Edu.Rs, pp. 1–6, [Online]. Available: http://sed.vpts.edu.rs/fajlovi/inf/28.pdf
