Banyak peneliti atau guru yang perlu informasi lebih banyak dan lengkap tentang evaluasi pelaksanaan pembelajaran atau alat pengukuran kemampuan yang digunakan untuk mengetahui seberapa besar hasil belajar yang ditunjukkan oleh siswanya. Pada artikel ini, ditunjukkan bagaimana menganalisis soal berdasarkan pengelompokkan tingkat kesukaran dan kesesuaian item soal tes; khususnya pada soal tes berbasis HOTS (Higher-Order Thingking Skill) yang dikembangkan berdasarkan hirarki kognitif yang diadopsi dari taksonomi Bloom (C4, C5, C6). Proses analisis dilakukan berdasar pada penjelasan Sumintono (2015) tentang kombinasi nilai standar deviasi (SD) dan nilai rata-rata logit (Mean). Selanjutnya melakukan kriteria nilai outfit mean square (MNSQ), nilai outfit Z-standard (ZSTD) serta nilai point measure correlation (Pt. Measure Corr) (Boone et al., 2014). Teknik analisis dilakukan melalui pemodelan Rasch berbantuan aplikasi Winsteps 3.75. Adapun pengelompokkan tingkat kesukaran menurut Sumintono (2015) yakni 1) katgori soal sulit (nilai logit lebih besar +1SD); 2) kategori soal sukar (nilai 0,0 logit +1 SD); 3) kategori soal mudah (nilai 0,0 logit -1 SD); dan 4) kategori soal sangat mudah (nilai lebih kecil dari –SD), serta untuk kriteria yang digunakan untuk mengukur kesesuaian item soal menggunakan, 1) nilai 0,5 MNSQ 1,5; 2) nilai -2,0 ZSTD +2,0; dan 3) nilai 0,4 PT-Measure Corr 0,85, (Boone et al., 2014). Hasil analisis menunjukkan bahwa terdapat keberagaman tingkat kesukaran dan kesesuaian item soal tes berbasis HOTS. Item soal yang dianalisis memiliki tingkat kesesuaian yang dapat diterima dan layak dipertahankan karena seluruh item soal memenuhi ketiga kriteria tersebut. Dengan demikian, kumpulan soal tes berbasis HOTS berkategori baik karena dapat mengidentifikasi berbagai kemampuan siswa dalam berpikir tingkat tinggi dengan tingkat kesukaran yang beragam dan hal ini berimplikasi pada teknik guru dalam menyajikan soal tes tertulis yang berkualitas.