Dashboard Evaluasi LLM untuk Konsultasi Psikologis
Dashboard terpusat hasil kerja sama dengan BRIN untuk mengevaluasi output LLM pada skenario konsultasi psikologis.
Tentang Klien
Ringkasan Dampak
Tantangan Bisnis
Proses evaluasi output LLM sebelumnya dilakukan menggunakan spreadsheet sehingga tidak terstruktur dan sulit ditelusuri.
Evaluator kesulitan melakukan penilaian secara sistematis dari level pesan hingga kualitas keseluruhan percakapan.
Admin tidak memiliki visibilitas menyeluruh terhadap progres evaluasi dan kualitas LLM.
Solusi
Kami mengembangkan dashboard evaluasi LLM yang terpusat dan sistematis.
Evaluator dapat menilai output chat LLM per pesan, memberikan umpan balik, serta menentukan rating kualitas keseluruhan.
Sisi admin dilengkapi fitur manajemen dialog, assignment evaluator, manajemen pengguna, serta ringkasan hasil evaluasi.
Dashboard menyajikan ringkasan kualitas LLM berdasarkan hasil penilaian para evaluator.
Fitur Utama yang Diimplementasikan
- Evaluasi Output LLM per Pesan
- Penilaian Kualitas Percakapan
- Manajemen Evaluator & Dialog
- Ringkasan dan Insight Evaluasi
- Workflow Evaluasi Terpusat
Hasil
Proses evaluasi LLM menjadi lebih terstruktur, konsisten, dan mudah diaudit.
Penggunaan spreadsheet berhasil dieliminasi, meningkatkan efisiensi dan akurasi evaluasi.
BRIN memperoleh insight yang jelas mengenai kualitas LLM dalam konteks konsultasi psikologis.