Seiring meningkatnya pembangunan akibat pertumbuhan penduduk, diperlukan suatu pengawasan dalam pemanfaatan lahan secara tepat salah satunya melalui pemetaan sebaran bangunan. Pemetaan sebaran bangunan dapat dilakukan dengan cara menganalisis citra penginderaan jauh yang diambil menggunakan berbagai wahana salah satunya menggunakan wahana Unmanned Aerial Vehicle (UAV) yang mampu menyediakan citra resolusi sangat tinggi. Namun, selama ini proses klasifikasi seringkali dilakukan dengan cara digitasi secara manual yang dianggap kurang efektif dan efisien sehingga dibutuhkan cara ekstraksi otomatis. Dalam penelitian ini metode Convolutional Neural Networks (CNN) digunakan untuk mengatasi tantangan ekstraksi bangunan menggunakan data citra foto udara resolusi tinggi pada Desa Campurejo, Kabupaten Gresik dengan menggunakan algoritma Mask R-CNN, di mana algoritma ini diharapkan mampu membantu proses klasifikasi secara otomatis dengan menggunakan data masukan (training data). Hasil klasifikasi kemudian dilakukan validasi dan uji akurasi sehingga mampu menghasilkan peta sebaran bangunan skala besar yaitu 1:5000. Akurasi hasil klasifikasi bangunan dengan metode Mask R-CNN diuji dengan menggunakan confusion matrix yang menghasilkan nilai precision 94,78%, recall 82,63%, F1 Score 88,29% dan accuracy 79,03% untuk wilayah 1 dan untuk wilayah 2 menghasilkan nilai precision 98,10%, recall 78,37%, F1 Score 87,13% dan accuracy 77,20%. Sementara jumlah bangunan yang dapat dideteksi pada wilayah 1 sebanyak 2102 bangunan dan wilayah 2 sebanyak 247 bangunan. Prosedur ini menunjukan potensi yang besar untuk memanfaatkan metode Convolutional Neural Networks (CNN) dalam melakukan ekstraksi bangunan.