Scaling Indic Pretraining: Inovasi Data 2,8 Triliun Token untuk Bahasa-Bahasa India

NVIDIA memperkenalkan pendekatan baru dalam peningkatan skala pretraining untuk bahasa-bahasa India melalui pipeline generasi data terbuka yang mencakup 2,8 triliun token.

Tantangan Data dalam Bahasa Indic

Pengembangan model bahasa besar (LLM) untuk bahasa-bahasa India sering kali terhambat oleh kurangnya data berkualitas tinggi yang tersedia secara publik. Hal ini menciptakan kesenjangan performa antara bahasa Inggris dan bahasa-bahasa regional di India.

Untuk mengatasi masalah ini, NVIDIA berfokus pada peningkatan skala pretraining dengan mengumpulkan dan mengkurasi dataset yang jauh lebih besar dan representatif.

Pipeline Generasi Data Terbuka

NVIDIA mengembangkan pipeline generasi data terbuka yang memungkinkan pembuatan dataset berkualitas tinggi dalam skala besar. Pipeline ini dirancang untuk meningkatkan kualitas token yang digunakan dalam proses pelatihan model.

Dengan memanfaatkan teknik sintesis dan kurasi data, mereka berhasil mengumpulkan total 2,8 triliun token yang mencakup berbagai bahasa India, guna memastikan model memiliki pemahaman linguistik yang lebih mendalam.

Dampak pada Performa Model

Peningkatan jumlah token hingga skala triliunan ini bertujuan untuk meningkatkan kemampuan penalaran dan pemahaman kontekstual model dalam bahasa-bahasa target.

Pendekatan ini menunjukkan bahwa ketersediaan data yang terkurasi dengan baik dan berskala besar adalah kunci utama dalam menutup celah performa LLM untuk bahasa non-Inggris.

Poin Penting

• NVIDIA menggunakan 2,8 triliun token untuk meningkatkan pretraining bahasa-bahasa India.
• Pengembangan pipeline generasi data terbuka dilakukan untuk mengatasi kelangkaan data berkualitas tinggi.
• Fokus utama proyek ini adalah meningkatkan performa LLM pada bahasa-bahasa regional di India.
• Kualitas kurasi data menjadi faktor krusial dalam efektivitas scaling pretraining.

Sumber: https://huggingface.co/blog/nvidia/scaling-indic-pretraining