Seiring perkembangan teknologi yang semakin berkembang pada saat ini, metode yang digunakan agar pengguna dapat berinteraksi dengan objek virtual harus dituntut untuk lebih natural dan intuitif, salah satu contoh perkembangannnya adalah virtual mouse. Virtual mouse didesain untuk user agar dapat berinteraksi secara langsung dengan komputer tanpa menggunakan input device seperti mouse konvensional tetapi menggunakan tangannya sendiri sebagai objek penggerak atau menggunakan media lain seperti warna sebagai objeknya. Pada penelitian ini dilakukan pengujian bagaimana melakukan pelacakan pada suatu objek yang bergerak dalam melakukan perintah mouse dengan menggunakan perantara berupa webcam video berbasis image processing yang diambil secara real-time dengan menggunakan objek tracking berupa tiga variabel warna yang disusun berdasarkan komposisi RGB dengan menggunakan metode optical flow dalam pendeteksian pergerakannya. Hasil penelitian yang telah didapatkan secara keseluruhan bahwa objek warna RBG yang digunakan sebagai pengendali kursor pada mouse dengan metode optical flow dapat terdeteksi dengan baik, warna Red (Merah) akan menggerakkan kursor pada mouse, warna Blue (Biru) sebagai klik kiri mouse, dan warna Green (Hijau) sebagai klik kanan pada mouse.