Gestur merupakan salah satu jenis komunikasi dengan membentuk suatu objek seperti huruf atau angka pada tangan untuk menyampaikan pesan ataupun sebuah informasi, salah satunya gestur angka pada tangan yang memiliki banyak jenisnya dengan pola yang berbeda untuk setiap pergerakan angka yang terbentuk. Salah satu solusi yang dapat dilakukan untuk melakukan pengenalan gestur angka pada tangan kepada komputer adalah menggunakan metode Convolutional Neural Network (CNN) dengan arsitektur AlexNet maupun LeNet. Penelitian ini menggunakan dataset citra gestur angka yang sebelumnya dilakukan tahap pre-processing yang terdiri dari threshold dan resize. Penelitian dilakukan menggunakan 2 pooling layer, yaitu Average Pooling dan Max Pooling kemudian menggunakan optimizer, yaitu SGD, RMSprop, dan Adam. Berdasarkan hasil pengujian yang didapatkan pada penelitian ini, yaitu penggunaan arsitektur AlexNet dengan Average Pooling dan optimizer RMSprop menghasilkan akuras dan f1-score keseluruhan 99,45% serta penggunaan arsitektur LeNet dengan Average Pooling dan optimizer RMSprop menghasilkan akurasi dan f1-score keseluruhan 99,49%. Secara keseluruhan penggunaan Average Pooling dengan optimizer RMSprop mendapatkan tingkat akurasi yang paling baik dibandingkan dengan pengujian yang lainnya.