<![CDATA[Abstract Augmented Reality (AR) is a technology with the concept of combining real-world dimensions with virtual world dimensions that are displayed in realtime. In the AR environment, interaction techniques used can vary. Marker-based AR is one type of AR that allows virtual objects to be displayed in the real world by using markers as pointers. In the use of marker-based AR required object detection method used for tracking markers. In this study, a system that can detect objects in the form of fingertips will be designed. In designing the system the Faster Region-based Convolutional Neural Network (Faster R-CNN) method is used. R-CNN Faster is an object detection method which is a combination of the Fast R-CNN method and the Region Proposal Network (RPN). The results of the detection parameters will be used for tracking, namely the coordinates x, y, width, and length. This research uses the Faster R-CNN method because it has a faster computing speed compared to the previous method, namely Particle Filter. The Faster R-CNN method uses ResNet architecture as the core of CNN. The system configuration to be tested is the 25K, 50K and 75K step training with the same-padding scheme. The testing process is taken from a video consisting of 10800 training data and 3600 test data. The best system configuration based on parameter priority for AR technology is obtained in the 50K step training.Keyword: augmented reality, convolutional neural network, faster region-based convolutional neural network, region proposal network, ResNet.Abstrak Augmented Reality (AR) adalah teknologi dengan konsep menggabungkan dimensi dunia nyata dengan dimensi dunia virtual yang ditampilkan secara real-time. Dalam lingkungan AR, teknik interaksi yang digunakan dapat bermacam – macam. Marker-based AR merupakan salah satu jenis AR yang memungkinkan objek virtual ditampilkan ke dalam dunia nyata dengan digunakannya marker sebagai pointer-nya. Dalam penggunaan AR berbasis marker diperlukan metode deteksi objek yang digunakan untuk tracking marker. Dalam penelitian ini akan dirancang sebuah sistem yang dapat mendeteksi objek berupa ujung jari. Dalam perancangan sistem tersebut digunakan metode Faster Region-Based Convolutional Nueral Network (Faster R-CNN). Faster R-CNN merupakan salah satu metode deteksi objek yang merupakan gabungan dari metode Fast R-CNN dan Region Proposal Network (RPN). Hasil dari parameter deteksi akan digunakan untuk tracking, yaitu koordinat x, y, width, dan length. Penelitian ini menggunakan metode Faster R-CNN karena memiliki kecepatan komputasi yang lebih cepat dibandingkan dengan metode sebelumnya yaitu Particle Filter. Metode Faster R-CNN mengunakan arsitektur ResNet sebagai inti dari CNN. Konfigurasi sistem yang akan diuji adalah step training 25K, 50K dan 75K dengan skema same-padding. Proses pengujian diambil dari video yang terdiri dari 10800 data latih dan 3600 data uji. Konfigurasi sistem terbaik berdasarkan prioritas parameter untuk teknologi AR didapatkan pada step training 50K.Keyword: augmented reality, convolutional neural network, faster region-based convolutional neural network, region proposal network, ResNet.]]>
