Skip to content
SSFARI

Open to work

Medan,

AI News

Mengenal Olmo-core 3: Infrastruktur Pelatihan Terbuka untuk Large MoEs

1 min read

Menerjemahkan…

Allen Institute for AI (AI2) memperkenalkan Olmo-core 3, sebuah infrastruktur pelatihan yang dirancang untuk membangun model Mixture-of-Experts (MoE) berskala besar secara terbuka dan efisien.

Apa itu Olmo-core 3?

Olmo-core 3 adalah infrastruktur pelatihan terbuka yang dikembangkan oleh Allen Institute for AI (AI2). Sistem ini dirancang khusus untuk mendukung pengembangan Large Language Models (LLMs) dengan arsitektur Mixture-of-Experts (MoE), yang memungkinkan model memiliki kapasitas parameter besar namun tetap efisien dalam penggunaan komputasi saat proses inferensi.

Fokus pada Skalabilitas dan Keterbukaan

Kelebihan utama dari Olmo-core 3 terletak pada skalabilitasnya yang tinggi, memungkinkan pelatihan model pada kluster GPU yang besar. Dengan pendekatan open-source, AI2 bertujuan untuk memberikan transparansi lebih besar dalam proses pelatihan model AI, mulai dari data hingga konfigurasi infrastruktur.

Infrastruktur ini mengoptimalkan cara model MoE mengelola aktivasi parameter, sehingga pengembang dapat meningkatkan ukuran model tanpa mengalami peningkatan biaya komputasi yang linear.

Implementasi Mixture-of-Experts (MoE)

Arsitektur MoE dalam Olmo-core 3 bekerja dengan mengaktifkan hanya sebagian kecil dari total parameter untuk setiap input yang diberikan. Hal ini membuat proses pelatihan dan penggunaan model menjadi lebih cepat dibandingkan dengan model dense tradisional yang mengaktifkan seluruh parameter pada setiap langkah.

Poin Penting

  • Olmo-core 3 adalah infrastruktur pelatihan terbuka untuk model Mixture-of-Experts (MoE).
  • Dirancang untuk meningkatkan skalabilitas pelatihan model AI berskala besar.
  • Mendukung efisiensi komputasi dengan hanya mengaktifkan parameter yang diperlukan melalui mekanisme MoE.
  • Dikembangkan oleh Allen Institute for AI (AI2) untuk mendorong transparansi dalam pengembangan LLM.

Sumber: https://huggingface.co/blog/allenai/olmocore3

NOTE — Note: This article is a summary based on actual materials.

Komentar (0)

Belum ada komentar. Jadilah yang pertama!

  1. Polemik Pusat Data: Apakah Masalah Utamanya Adalah Listrik?
  2. Bahasa Inggris Mesir dan Nigeria Kini Bergabung dalam Open ASR Leaderboard
  3. Melihat Masa Depan: Pengalaman Menggunakan Layanan Robot Humanoid untuk Membersihkan Apartemen