Claim Missing Document
Check
Articles

Found 2 Documents
Search
Journal : Techno.Com: Jurnal Teknologi Informasi

Penilaian Esai Pendek Otomatis dengan Pencocokan Kata Kunci Frasa Nomina Nurul Chamidah; Mayanda Mega Santoni; Helena Nurramdhani Irmanda; Ria Astriratma
Techno.Com Vol 20, No 4 (2021): November 2021
Publisher : LPPM Universitas Dian Nuswantoro

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33633/tc.v20i4.5043

Abstract

Pembelajaran daring menjadi suatu kebutuhan dalam pengajaran baik dalam memberikan materi maupun ujian. Ujian dalam bentuk soal objektif kurang dapat mengukur kemampuan pemahaman seseorang dan soal esai dianggap lebih baik untuk mengevaluasi hasil pembelajaran. Namun, jawaban berbentuk esai memerlukan waktu yang lebih banyak untuk dilakukan penilaian serta hasil penilaiannya dapat inkonsisten. Maka dari itu, diperlukan suatu sistem penilaian esai otomatis yang dapat menilai esai dengan lebih cepat dan konsisten. Penelitian ini dilakukan untuk menganalisis performa penilain esai otomatis dengan mengekstrak kata kunci dari frasa nomina dalam jawaban berbentuk esai pendek. Penilaian esai dilakukan dengan mencocokkan kata kunci yang diekstrak dari jawaban uji dan jawaban referensi. Jawaban uji dan referensi diproses dengan case folding, Part of Speech (POS) Tagging, ekstraksi frasa nomina, dan stemming. Kata kunci unik jawaban uji dan jawaban referensi yang diperoleh dari proses tersebut selanjutnya dicocokkan dan kemudian dinilai berdasarkan kecocokan tersebut. Hasil evaluasi penelitian ini menunjukkan Mean Absolute Error (MAE) dari nilai yang diperoleh dengan mencocokkan kata kunci dengan nilai uji yang diberikan manusia sebesar 18% dan Pearson Correlation sebesar 0.83 yang menunjukkan korelasi antara nilai sistem dan nilai uji sangat baik.
Penilaian Esai Pendek Otomatis Berdasarkan Similaritas Semantik dengan SBERT Nurul Chamidah; Mayanda Mega Santoni; Helena Nurramdhani Irmanda; Ria Astriratma; Yulnelly Yulnelly
Techno.Com Vol 21, No 4 (2022): November 2022
Publisher : LPPM Universitas Dian Nuswantoro

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33633/tc.v21i4.6758

Abstract

Ujian dalam bentuk soal esai dianggap lebih baik dalam mengukur pemahaman dari pada soal berbentuk pilihan. Namun, jawaban esai memerlukan waktu dan tenaga lebih banyak untuk dievaluasi dan sering terjadi inkonsistensi. Maka dari itu, diperlukan suatu sistem penilaian esai otomatis yang dapat membantu evaluator dalam memberikan nilai dengan lebih cepat dan lebih konsisten. Penelitian ini bertujuan untuk mengevaluasi performa model penilaian esai otomatis dimana teks esai jawaban uji dan kunci jawaban dibandingkan secara semantik untuk mengetahui seberapa besar persamaan antara teks jawaban uji dan kunci jawaban. Semantik dari teks esai diperoleh dengan melakukan word embeddings dengan memanfaatkan model bahasa pretrained Siamese-BERT (SBERT) yang mentransformasi teks esai menjadi vektor sepanjang 512. Proses penilaian esai otomatis ini dimulai dengan praproses pada teks dengan menerapkan case folding, berikutnya word embeddings pada teks yang telah di praproses dengan SBERT. Vektor numerik dari kunci jawaban dan jawaban uji hasil word embeddings kemudian dibandingkan dengan Cosine Similarity untuk mendapatkan similaritas semantik sekaligus nilai esai yang merupakan output model. Evaluasi model penilaian esai otomatis ini dilakukan dengan membandingkan nilai dari model dengan nilai dari evaluator manusia. Pengukuran yang dipakai untuk mengukur performa penilaian esai otomatis ini adalah adalah dengan menghitung Mean Absolute Error (MAE) dan Pearson Correlation, dimana hasil penelitian ini menunjukan nilai rata-rata MAE sebesar 0.26 dan rata-rata korelasi sebesar 0.78.