PENGEMBANGAN MODEL TEXT SUMMARIZATION BERBASIS TEXT-TO-TEXT TRANSFER TRANSFORMER (T5) UNTUK JURNAL ILMIAH

Abstract

Pesatnya pertumbuhan publikasi ilmiah meningkatkan kebutuhan akan sistem peringkasan otomatis untuk membantu pembaca memahami inti informasi secara efisien. Namun, kompleksitas struktur teks jurnal, khususnya yang mengandung anotasi numerik dan ekspresi matematis, menjadi tantangan dalam menghasilkan ringkasan yang akurat. Penelitian ini bertujuan untuk mengimplementasikan dan mengevaluasi model abstractive text summarization berbasis T5-small pada jurnal ilmiah berbahasa Indonesia. Metode yang digunakan meliputi pra-pemrosesan teks, tokenisasi, pembatasan panjang token, serta fine-tuning model dengan tiga skema pembagian data, yaitu 70:30, 80:20, dan 90:10. Evaluasi dilakukan menggunakan metrik ROUGE-1, ROUGE-2, dan ROUGE-L untuk mengukur kesamaan antara ringkasan hasil model dan abstrak referensi. Hasil penelitian menunjukkan bahwa variasi proporsi data latih mempengaruhi performa model secara tidak linear. Skema 70:30 menghasilkan nilai ROUGE-L tertinggi pada dataset full teks, sedangkan skema 90:10 memberikan performa terbaik pada dataset dengan anotasi numerik dan matematis. Selain itu, keberadaan ekspresi matematis cenderung menurunkan kualitas ringkasan. Secara keseluruhan, model T5-small mampu menghasilkan ringkasan dengan tingkat kesamaan leksikal yang baik, namun masih dipengaruhi oleh karakteristik dan kompleksitas dataset