Article Per Year (5 Year)
p-Index From 2019 - 2024
0.61
P-Index
This Author published in this journals
All Journal Techno.Com: Jurnal Teknologi Informasi Jurnal Abdimas BSI: Jurnal Pengabdian Kepada Masyarakat IKRA-ITH Humaniora : Jurnal Sosial dan Humaniora
Yulnelly Yulnelly
Universitas Pembangunan Nasional Veteran Jakarta
Computer Science & IT Engineering Environmental Science Social Sciences

Published : 3 Documents Claim Missing Document
Claim Missing Document
Check
Articles

Found 1 Documents
Search
Journal : Techno.Com: Jurnal Teknologi Informasi

 1 
Penilaian Esai Pendek Otomatis Berdasarkan Similaritas Semantik dengan SBERT Nurul Chamidah; Mayanda Mega Santoni; Helena Nurramdhani Irmanda; Ria Astriratma; Yulnelly Yulnelly
Techno.Com Vol 21, No 4 (2022): November 2022
Publisher : LPPM Universitas Dian Nuswantoro

Show Abstract | Download Original | Original Source | Check in Google Scholar | DOI: 10.33633/tc.v21i4.6758

Abstract

Ujian dalam bentuk soal esai dianggap lebih baik dalam mengukur pemahaman dari pada soal berbentuk pilihan. Namun, jawaban esai memerlukan waktu dan tenaga lebih banyak untuk dievaluasi dan sering terjadi inkonsistensi. Maka dari itu, diperlukan suatu sistem penilaian esai otomatis yang dapat membantu evaluator dalam memberikan nilai dengan lebih cepat dan lebih konsisten. Penelitian ini bertujuan untuk mengevaluasi performa model penilaian esai otomatis dimana teks esai jawaban uji dan kunci jawaban dibandingkan secara semantik untuk mengetahui seberapa besar persamaan antara teks jawaban uji dan kunci jawaban. Semantik dari teks esai diperoleh dengan melakukan word embeddings dengan memanfaatkan model bahasa pretrained Siamese-BERT (SBERT) yang mentransformasi teks esai menjadi vektor sepanjang 512. Proses penilaian esai otomatis ini dimulai dengan praproses pada teks dengan menerapkan case folding, berikutnya word embeddings pada teks yang telah di praproses dengan SBERT. Vektor numerik dari kunci jawaban dan jawaban uji hasil word embeddings kemudian dibandingkan dengan Cosine Similarity untuk mendapatkan similaritas semantik sekaligus nilai esai yang merupakan output model. Evaluasi model penilaian esai otomatis ini dilakukan dengan membandingkan nilai dari model dengan nilai dari evaluator manusia. Pengukuran yang dipakai untuk mengukur performa penilaian esai otomatis ini adalah adalah dengan menghitung Mean Absolute Error (MAE) dan Pearson Correlation, dimana hasil penelitian ini menunjukan nilai rata-rata MAE sebesar 0.26 dan rata-rata korelasi sebesar 0.78.
Co-Authors Erly Krisnanik Helena Nurramdhani Irmanda Intan Hesti Indriana Marina Ery Setiyawati Nurul Chamidah Ria Astriratma Santoni, Mayanda Mega Tri Rahayu