Mengubah Penilaian Database menjadi Reward RL: Melatih Agen dengan ThinkingBox

Microsoft memperkenalkan ThinkingBox, sebuah metode post-training yang memanfaatkan penilaian database otomatis sebagai reward dalam Reinforcement Learning (RL) untuk meningkatkan kemampuan penalaran agen AI.

Apa itu ThinkingBox?

ThinkingBox adalah pendekatan pelatihan pasca-training (post-training) yang dirancang untuk meningkatkan kemampuan penalaran (reasoning) pada model bahasa besar. Metode ini berfokus pada pengubahan proses penilaian database tradisional menjadi sinyal reward yang dapat digunakan dalam Reinforcement Learning (RL).

Dengan mengintegrasikan mekanisme feedback yang terstruktur, ThinkingBox memungkinkan agen AI untuk belajar dari kesalahan dan mengoptimalkan langkah-langkah berpikir mereka guna mencapai jawaban yang benar dan akurat.

Mekanisme Reward dari Database Grading

Inti dari ThinkingBox adalah penggunaan 'database grading' sebagai sumber reward. Alih-alih hanya mengandalkan feedback manusia yang mahal dan lambat, sistem ini menggunakan verifikasi otomatis berbasis database untuk menentukan apakah output agen sudah tepat.

Reward yang dihasilkan dari grading ini kemudian diumpankan kembali ke dalam proses RL. Hal ini menciptakan loop pembelajaran di mana model didorong untuk mengembangkan strategi 'berpikir' atau penalaran internal yang lebih efektif sebelum memberikan jawaban akhir.

Dampak terhadap Kemampuan Penalaran Agen

Melalui implementasi ThinkingBox, agen AI dapat menunjukkan peningkatan dalam menangani tugas-tugas kompleks yang memerlukan langkah-langkah logis yang panjang. Model belajar untuk mengalokasikan lebih banyak 'waktu berpikir' pada bagian masalah yang sulit.

Pendekatan ini membantu mengurangi halusinasi dan meningkatkan konsistensi jawaban, karena setiap langkah penalaran divalidasi terhadap standar keberhasilan yang terukur dalam database.

Poin Penting

• ThinkingBox menggunakan penilaian database otomatis sebagai reward dalam Reinforcement Learning.
• Metode ini bertujuan untuk meningkatkan kemampuan penalaran (reasoning) agen AI secara sistematis.
• Pendekatan ini mengurangi ketergantungan pada feedback manusia yang intensif selama proses post-training.
• Integrasi reward berbasis data membantu model mengoptimalkan strategi berpikir untuk hasil yang lebih akurat.

Sumber: https://huggingface.co/blog/microsoft/thinkingbox-training