Prediksi kesegaran ikan menjadi alternatif mudah bagi perusahaan pengolah ikan dalam menentukan kesegaran ikan sehingga dapat menghindarkan konsumen dari produk kadaluarsa, oleh sebab itu perlu dilakukan proses penyortiran untuk menghilangkan ikan tongkol yang tidak segar. Pada penelitian ini, diusulkan klasifikasi berbasis Image Processing untuk mengolah citra mata ikan tongkol agar dapat memberikan informasi untuk pengklasifikasian kesegaran ikan. Metode backpropagation digunakan untuk pelatihan jaringan pada klasifikasi citra ikan,sehingga dapat diketahui tingkat kesegaran ikan tersebut. Tujuan penelitian ini adalah untuk mengklasifikasi kesegaran ikan tongkol berdasarkan warna mata menggunakan metode Image Processing dan Backpropagation dengan tepat dan akurat. Hasil uji coba dengan menggunakan data testing sebanyak 10 ikan. Percobaan dilakukan sebanyak 10 kali untuk setiap ikan, dengan menggunakan 2 hidden layer, hidden layer 1 memakai 15 dan hidden layer 2 memakai 5 dengan 1 lapisan output yang menghasilkan 2 output berupa ikan segar dan ikan tidak segar. Proses klasifikasi kesegaran ikan tongkol menghasilkan tingkat akurasi sebesar 90% melalui 10 kali percobaan. Penelitian ini dapat disimpulkan layak untuk diterapkannya metode Image Processing dan Backpropagation karena menghasilkan hasil akurasi yang tinggi sebesar 90%.