Penelitian ini bertujuan untuk mengimplementasikan klasifikasi semantik secara otomatis yang dapat membedakan jenis tanaman sebagai alternatif pengenalan objek berdasarkan metode deep learning menggunakan Convolutional Neural Network (CNN). Metode CNN merupakan salah satu metode deep learning yang mampu melakukan proses pembelajaran mandiri untuk pengenalan objek, ekstraksi objek dan klasifikasi serta dapat diterapkan pada citra resolusi tinggi yang memiliki model distribusi nonparametrik. Pada penelitian ini, diterapkan algoritma CNN untuk membedakan jenis tanaman upakara Hindu di Bali dengan memberikan label semantik dari objek jenis tanaman. Pengukuran tingkat akurasi diuji coba menggunakan tiga model yaitu model MobileNetV3Small, VGG19, VGG16. Dari ketiga model dapat disimpulkan bahwa model MobileNetV3Small memiliki hasil akuasi yang paling baik diikuti oleh VGG19 dan VGG16.