Fugaku-LLM merupakan salah satu Large Language Model atau LLM buatan Jepang yang memiliki cerita berbeda dari banyak model AI generatif lainnya. Model ini dilatih menggunakan superkomputer Fugaku, salah satu superkomputer paling canggih yang dikembangkan Jepang.
Fugaku-LLM dikembangkan oleh kolaborasi sejumlah peneliti dan perusahaan Jepang, termasuk Tokyo Institute of Technology, Tohoku University, Fujitsu, RIKEN, Nagoya University, CyberAgent, dan Kotoba Technologies.
Model tersebut secara resmi diperkenalkan pada 10 Mei 2024 dengan fokus pada kemampuan bahasa Jepang serta penggunaan untuk penelitian dan bisnis.
Yang membuat Fugaku-LLM sangat menarik adalah proses pelatihannya. Model ini dikembangkan secara full-scratch menggunakan data milik tim pengembang dan dilatih pada superkomputer Fugaku. Pendekatan tersebut memberikan tingkat transparansi yang berbeda dibandingkan model yang hanya mengambil model terbuka dari luar negeri kemudian melatihnya kembali dengan data Jepang.
Baca juga: PLaMo 2.0 Prime, Mengenal LLM Buatan Preferred Networks
Apa Itu Fugaku-LLM?
Fugaku-LLM adalah model bahasa besar atau LLM yang dirancang untuk memahami dan menghasilkan bahasa manusia, dengan kemampuan bahasa Jepang sebagai salah satu fokus utamanya.
Model ini memiliki sekitar 13 miliar parameter.
Ukuran tersebut cukup besar untuk ukuran model Jepang yang dikembangkan pada periode tersebut, tetapi masih relatif lebih mudah digunakan dibandingkan LLM dengan ratusan miliar parameter.
Para peneliti memilih ukuran 13 miliar parameter sebagai keseimbangan antara kemampuan model dan kebutuhan sumber daya komputasi.
Baca juga: tsuzumi 2 AI Buatan Jepang dari NTT yang Fokus pada Bahasa Jepang
Siapa yang Mengembangkan Fugaku-LLM?
Fugaku-LLM bukan produk dari satu perusahaan saja.
Model ini merupakan hasil kolaborasi antara beberapa institusi penelitian dan perusahaan Jepang.
Tim pengembangnya melibatkan:
- Tokyo Institute of Technology.
- Tohoku University.
- Fujitsu.
- RIKEN.
- Nagoya University.
- CyberAgent.
- Kotoba Technologies.
Kolaborasi tersebut menggabungkan keahlian dalam bidang AI, natural language processing, supercomputing, distributed computing, dan pengembangan infrastruktur.
Mengapa Namanya Fugaku-LLM?
Nama Fugaku-LLM berasal dari Fugaku, nama superkomputer milik RIKEN yang digunakan untuk melatih model tersebut.
Fugaku sendiri merupakan salah satu proyek komputasi paling penting Jepang.
Superkomputer ini berlokasi di RIKEN Center for Computational Science dan digunakan untuk berbagai penelitian ilmiah serta komputasi berskala besar.
Dengan menggunakan Fugaku sebagai infrastruktur pelatihan, para peneliti ingin membuktikan bahwa superkomputer Jepang juga dapat digunakan untuk mengembangkan teknologi generative AI dan LLM.
Apa Itu Superkomputer Fugaku?
Fugaku adalah superkomputer yang dikembangkan melalui kerja sama RIKEN dan Fujitsu.
Superkomputer tersebut menggunakan prosesor berbasis ARM yang dikenal sebagai A64FX.
Fugaku memiliki total 158.976 node dan dirancang untuk menjalankan berbagai jenis komputasi berskala besar.
Fugaku bukan hanya digunakan untuk AI.
Superkomputer tersebut juga digunakan untuk penelitian ilmiah, simulasi, analisis data, ilmu material, kesehatan, cuaca, dan berbagai bidang lainnya.
Fugaku Pernah Menjadi Superkomputer Tercepat di Dunia
Fugaku sempat menjadi salah satu simbol kekuatan superkomputer Jepang setelah menempati posisi teratas dalam daftar TOP500 pada 2020.
Namun, yang lebih menarik dalam konteks artikel ini bukan hanya kecepatannya.
Fugaku menunjukkan bahwa Jepang memiliki kemampuan membangun infrastruktur komputasi berskala ekstrem dan menggunakannya untuk penelitian AI.
Fugaku-LLM Dilatih dengan 13 Miliar Parameter
Fugaku-LLM dikembangkan dengan sekitar 13 miliar parameter.
Parameter dapat dianggap sebagai bagian dari model yang digunakan untuk mempelajari pola dari data.
Secara umum, model dengan lebih banyak parameter dapat memiliki kapasitas representasi yang lebih besar.
Namun, parameter bukan satu-satunya faktor yang menentukan kualitas AI.
Data pelatihan, arsitektur model, metode training, kualitas dataset, optimasi, dan proses instruction tuning juga sangat menentukan hasil akhirnya.
380 Miliar Token Digunakan untuk Training
Salah satu angka paling menarik dari Fugaku-LLM adalah jumlah data yang digunakan selama proses pelatihan.
Tim pengembang menyebut model tersebut dilatih menggunakan sekitar 380 miliar token.
Sekitar 60 persen data pelatihan merupakan bahasa Jepang, sementara sisanya mencakup bahasa Inggris, matematika, dan kode.
Komposisi tersebut menunjukkan bahwa Fugaku-LLM memang dirancang dengan perhatian besar terhadap bahasa Jepang.
Mengapa 60 Persen Data Berbahasa Jepang?
Bahasa Jepang memiliki karakteristik yang cukup berbeda dengan bahasa Inggris.
Bahasa Jepang menggunakan:
- Kanji.
- Hiragana.
- Katakana.
- Istilah serapan.
- Bahasa formal.
- Bahasa informal.
- Keigo atau bahasa hormat.
Model AI yang ingin memahami bahasa Jepang dengan baik membutuhkan data Jepang dalam jumlah besar.
Fugaku-LLM menggunakan proporsi data Jepang yang tinggi agar model dapat mempelajari karakteristik tersebut secara lebih mendalam.
Fugaku-LLM Dilatih dari Awal
Salah satu perbedaan penting Fugaku-LLM adalah metode pengembangannya.
Tim tidak sekadar mengambil model bahasa terbuka dari luar Jepang kemudian melakukan continual learning menggunakan data Jepang.
Fugaku-LLM dilatih dari awal atau from scratch menggunakan data yang dikembangkan oleh tim.
Menurut tim pengembang, pendekatan tersebut membuat proses pembelajaran model lebih transparan karena mereka memiliki pemahaman terhadap keseluruhan proses training.
Apa Keuntungan Melatih AI dari Awal?
Melatih model dari awal membutuhkan sumber daya yang besar.
Namun, pendekatan tersebut memberikan beberapa keuntungan.
- Tim memiliki kontrol lebih besar terhadap data.
- Proses training lebih mudah ditelusuri.
- Model dapat dirancang sesuai kebutuhan.
- Komposisi bahasa dapat dikendalikan.
- Peneliti dapat mempelajari perilaku model dari tahap awal.
Dalam konteks Fugaku-LLM, pendekatan tersebut juga menjadi bagian dari tujuan untuk meningkatkan transparansi dan keamanan model.
Fugaku-LLM Menggunakan Superkomputer, Bukan GPU
Ini merupakan salah satu fakta paling menarik dari Fugaku-LLM.
Sebagian besar training LLM modern menggunakan GPU dalam jumlah besar.
Namun, Fugaku menggunakan CPU A64FX buatan Fujitsu sebagai prosesor utamanya.
Tim Fugaku-LLM berhasil mengoptimalkan sistem sehingga model bahasa besar dapat dilatih menggunakan CPU Fugaku.
Keberhasilan tersebut menjadi penting karena menunjukkan bahwa kemampuan superkomputer Jepang dapat dimanfaatkan untuk pengembangan AI generatif.
Bagaimana Fugaku Bisa Digunakan untuk Melatih LLM?
Training LLM membutuhkan komputasi dalam jumlah sangat besar.
Model harus melakukan miliaran bahkan triliunan operasi matematika selama proses pembelajaran.
Karena itu, tim pengembang Fugaku-LLM mengembangkan berbagai metode distributed training agar pekerjaan tersebut dapat dibagi ke banyak node Fugaku secara bersamaan.
Tim juga memindahkan dan mengoptimalkan framework deep learning agar dapat bekerja secara efektif pada arsitektur Fugaku.
Megatron-DeepSpeed Dioptimalkan untuk Fugaku
Salah satu teknologi yang digunakan dalam proyek ini adalah Megatron-DeepSpeed.
Framework tersebut diadaptasi dan dioptimalkan agar dapat digunakan pada Fugaku.
Tim melakukan optimasi terhadap proses Transformer serta komunikasi antar-node.
Hasilnya, kecepatan komputasi untuk training LLM meningkat sekitar 6 kali dibandingkan pendekatan sebelumnya, sementara kecepatan komunikasi ditingkatkan sekitar 3 kali.
Training Menggunakan 13.824 Node Fugaku
Fugaku-LLM dilatih menggunakan sekitar 13.824 node dari superkomputer Fugaku.
Jumlah tersebut menunjukkan betapa besar sumber daya komputasi yang dibutuhkan untuk melatih model bahasa besar dari awal.
Proses tersebut menjadi salah satu eksperimen penting dalam mengembangkan metode training LLM pada infrastruktur superkomputer Jepang.
Mengapa Training LLM di Fugaku Penting?
Keberhasilan tersebut bukan hanya tentang menghasilkan satu model AI.
Yang tidak kalah penting adalah pengetahuan yang diperoleh dari proses training.
Para peneliti dapat mempelajari bagaimana LLM berskala besar dapat dilatih pada superkomputer Jepang.
Pengetahuan tersebut berpotensi digunakan untuk pengembangan infrastruktur komputasi generasi berikutnya.
Tokyo Tech dan RIKEN juga menilai hasil penelitian ini dapat berkontribusi terhadap peningkatan kemampuan Jepang dalam bidang AI.
Fugaku-LLM dan Bahasa Jepang
Fokus bahasa Jepang menjadi salah satu keunggulan utama model.
Tim pengembang menyatakan Fugaku-LLM memiliki kemampuan bahasa Jepang yang tinggi dan diharapkan mampu menghasilkan dialog alami, termasuk memahami karakteristik seperti keigo atau bahasa hormat Jepang.
Hal tersebut penting bagi berbagai aplikasi AI di Jepang.
Misalnya:
- Chatbot berbahasa Jepang.
- Customer service.
- Analisis dokumen Jepang.
- Pendidikan.
- Penelitian.
- Penerjemahan.
- Pembuatan konten.
- AI untuk perusahaan.
Apa Itu Keigo?
Keigo adalah sistem bahasa hormat dalam bahasa Jepang.
Penggunaannya sangat penting dalam komunikasi profesional dan sosial di Jepang.
Seseorang dapat menggunakan bentuk bahasa berbeda tergantung kepada siapa mereka berbicara.
Karena itu, AI yang digunakan dalam layanan pelanggan atau lingkungan bisnis Jepang perlu memahami perbedaan tingkat formalitas tersebut.
Fugaku-LLM dikembangkan dengan perhatian terhadap karakteristik bahasa Jepang seperti ini.
Fugaku-LLM Tidak Hanya Belajar Bahasa Jepang
Walaupun bahasa Jepang menjadi fokus utama, dataset training Fugaku-LLM juga mencakup bahasa Inggris, matematika, dan kode.
Artinya, model tidak dirancang sebagai AI yang hanya memahami percakapan bahasa Jepang.
Pengetahuan matematika dan kode juga memberikan kemampuan tambahan yang berguna untuk berbagai aplikasi.
Fugaku-LLM dan Coding
Data kode merupakan bagian dari dataset training Fugaku-LLM.
Dengan demikian, model memiliki kemampuan yang dapat digunakan untuk tugas tertentu yang berkaitan dengan pemrograman.
Namun, kemampuan coding Fugaku-LLM tidak seharusnya dibandingkan secara langsung dengan model coding modern yang memang dirancang secara khusus untuk software engineering.
Fokus utama Fugaku-LLM tetap pada pengembangan LLM Jepang yang dapat digunakan untuk penelitian dan bisnis.
Fugaku-LLM dan Matematika
Matematika juga termasuk dalam data pelatihan.
Hal tersebut dapat membantu model memahami pola matematika dan informasi numerik.
Namun, seperti semua LLM, hasil perhitungan AI tetap perlu diperiksa untuk tugas yang membutuhkan akurasi tinggi.
Fugaku-LLM untuk Penelitian
Salah satu tujuan utama proyek ini adalah membuka peluang penggunaan LLM dalam penelitian ilmiah.
Konsep tersebut sering dikaitkan dengan AI for Science.
AI for Science berarti penggunaan artificial intelligence untuk membantu proses penelitian ilmiah.
Contohnya adalah:
- Menganalisis literatur ilmiah.
- Membantu membuat hipotesis.
- Menganalisis data.
- Membantu pemrograman ilmiah.
- Mendukung simulasi.
- Membantu memahami dokumen penelitian.
Fugaku sendiri memiliki peran besar dalam penelitian ilmiah Jepang, sehingga menggabungkan LLM dengan superkomputer membuka peluang baru untuk penelitian berbasis AI.
Fugaku-LLM untuk Dunia Bisnis
Selain penelitian, Fugaku-LLM juga dirancang agar dapat digunakan untuk kebutuhan bisnis.
Tim pengembang menyebut model tersebut memiliki potensi untuk penggunaan penelitian dan bisnis.
Contoh penggunaannya antara lain:
- Analisis teks.
- Ringkasan dokumen.
- Customer support.
- Chatbot.
- Pembuatan konten.
- Pencarian informasi.
- Eksperimen AI perusahaan.
Fugaku-LLM Bersifat Terbuka
Salah satu karakteristik penting proyek ini adalah keterbukaannya.
Fugaku-LLM dirilis agar dapat digunakan oleh peneliti dan pengembang.
Model Fugaku-LLM juga tersedia melalui Hugging Face, termasuk versi 13B dan versi instruction-tuned.
Pendekatan terbuka seperti ini memungkinkan komunitas AI mempelajari model, melakukan eksperimen, dan mengembangkan aplikasi baru berdasarkan teknologi tersebut.
Apakah Fugaku-LLM Gratis?
Model ini tersedia untuk penggunaan yang lebih terbuka dibandingkan banyak layanan AI komersial.
Namun, pengguna tetap harus memperhatikan Fugaku-LLM Terms of Use dan ketentuan lisensi yang berlaku untuk model tertentu.
Ketersediaan model melalui Hugging Face tidak berarti semua bentuk penggunaan bebas tanpa syarat.
Fugaku-LLM dan Transparansi
Transparansi menjadi salah satu alasan tim memilih pendekatan training dari awal.
Ketika model dikembangkan dari awal dengan data yang dikelola oleh tim, proses training dapat lebih mudah dipahami dibandingkan ketika sebuah model dibangun melalui beberapa lapisan model dan dataset eksternal.
Tim Fugaku-LLM menekankan bahwa pendekatan tersebut memberikan keuntungan dari sisi transparansi dan keamanan.
Fugaku-LLM dan Keamanan AI
Keamanan menjadi perhatian penting dalam pengembangan AI.
Model bahasa besar dapat menghasilkan informasi yang salah, tidak sesuai konteks, atau tidak diinginkan.
Karena Fugaku-LLM ditujukan untuk penelitian dan bisnis, kemampuan memahami sumber data dan proses training menjadi bagian penting dalam pengembangan model.
Namun, Fugaku-LLM tetap merupakan model bahasa dan bukan sistem yang secara otomatis menjamin bahwa setiap jawabannya benar.
Fugaku-LLM vs PLaMo
Fugaku-LLM dan PLaMo sama-sama merupakan proyek LLM Jepang, tetapi latar belakangnya berbeda.
| Aspek | Fugaku-LLM | PLaMo |
|---|---|---|
| Pengembang | Kolaborasi universitas, RIKEN, Fujitsu, dan perusahaan | Preferred Networks |
| Fokus | Bahasa Jepang, penelitian, dan bisnis | Bahasa Jepang dan generative AI |
| Training | Superkomputer Fugaku | Infrastruktur AI PFN |
| Parameter | 13B | PLaMo 2.0-31B |
| Pengembangan | From scratch | Full-scratch |
| Keterbukaan | Model tersedia untuk komunitas | Memiliki produk dan layanan komersial |
Keduanya menunjukkan dua pendekatan berbeda dalam pengembangan AI Jepang.
Fugaku-LLM vs tsuzumi 2
Fugaku-LLM juga menarik jika dibandingkan dengan tsuzumi 2 dari NTT.
| Aspek | Fugaku-LLM | tsuzumi 2 |
|---|---|---|
| Pengembang | Kolaborasi Jepang | NTT |
| Ukuran | 13B | Sekitar 30B |
| Fokus | Bahasa Jepang dan penelitian | Bahasa Jepang dan enterprise |
| Training | Fugaku | Infrastruktur AI NTT |
| Target | Penelitian dan bisnis | Enterprise |
Perbandingan tersebut menunjukkan bahwa ekosistem LLM Jepang memiliki model dengan ukuran, tujuan, dan strategi yang berbeda.
Fugaku-LLM Bukan “ChatGPT Buatan Jepang”
Sering kali ketika membahas LLM Jepang, muncul pertanyaan apakah model tersebut merupakan “ChatGPT versi Jepang”.
Fugaku-LLM sebaiknya tidak dipandang seperti itu.
Fugaku-LLM adalah proyek penelitian dan teknologi yang memiliki fokus pada pengembangan LLM Jepang secara terbuka, kemampuan bahasa Jepang, dan pemanfaatan superkomputer Fugaku.
Tujuan utamanya bukan sekadar membuat chatbot konsumen yang bersaing langsung dengan ChatGPT.
Mengapa Fugaku-LLM Penting bagi Jepang?
Fugaku-LLM memiliki arti strategis yang lebih luas daripada sekadar sebuah model bahasa.
Proyek ini menunjukkan bahwa Jepang mampu menggabungkan:
- Superkomputer.
- CPU domestik.
- Teknologi distributed computing.
- Artificial intelligence.
- Natural language processing.
- Penelitian universitas.
- Teknologi perusahaan.
Semua komponen tersebut digunakan untuk membangun LLM yang memiliki kemampuan bahasa Jepang.
Fugaku dan Kemandirian Teknologi AI Jepang
Pengembangan Fugaku-LLM juga berkaitan dengan isu kemandirian teknologi.
Ketika sebagian besar model AI besar dunia membutuhkan GPU dalam jumlah besar, tim Jepang menunjukkan bahwa LLM dapat dilatih pada superkomputer yang menggunakan CPU A64FX.
Hal tersebut memberikan pengalaman berharga dalam membangun AI pada infrastruktur komputasi domestik.
Tokyo Tech menyebut keberhasilan training menggunakan CPU Fugaku penting dalam konteks pemanfaatan teknologi semikonduktor Jepang dan ekonomi keamanan.
Fugaku-LLM dan Masa Depan Superkomputer Jepang
Pengalaman mengembangkan Fugaku-LLM juga memiliki hubungan dengan masa depan superkomputer Jepang.
RIKEN saat ini mengembangkan FugakuNEXT, generasi penerus Fugaku yang dirancang bukan hanya untuk simulasi ilmiah, tetapi juga sebagai AI-HPC platform.
FugakuNEXT ditargetkan mulai beroperasi sekitar 2030 dan dirancang untuk mengintegrasikan AI dengan high-performance computing.
Dengan demikian, pengalaman training Fugaku-LLM dapat dilihat sebagai bagian dari perjalanan Jepang menuju era ketika AI dan superkomputer semakin terintegrasi.
FugakuNEXT Akan Lebih Berorientasi pada AI
FugakuNEXT dirancang dengan perhatian lebih besar terhadap kebutuhan AI.
Berbeda dari Fugaku yang menggunakan CPU A64FX sebagai fondasi utama, FugakuNEXT akan menggunakan GPU sebagai akselerator melalui kolaborasi RIKEN, Fujitsu, dan NVIDIA.
RIKEN menargetkan FugakuNEXT dapat memberikan kemampuan AI dan simulasi yang jauh lebih tinggi dibandingkan generasi sebelumnya.
Hal tersebut memperlihatkan bahwa pengalaman dari Fugaku dan proyek seperti Fugaku-LLM ikut menjadi bagian dari perjalanan Jepang menuju infrastruktur AI generasi berikutnya.
Apa yang Membuat Fugaku-LLM Istimewa?
Ada beberapa hal yang membuat Fugaku-LLM berbeda dari banyak LLM lainnya.
- Dilatih menggunakan superkomputer Fugaku.
- Dikembangkan melalui kolaborasi banyak institusi Jepang.
- Memiliki sekitar 13 miliar parameter.
- Dilatih menggunakan sekitar 380 miliar token.
- Sekitar 60 persen data training berbahasa Jepang.
- Dikembangkan dari awal.
- Menggunakan CPU A64FX Fugaku.
- Training menggunakan 13.824 node Fugaku.
- Dirancang dengan fokus pada bahasa Jepang.
- Dapat digunakan untuk penelitian dan bisnis.
- Model tersedia melalui Hugging Face.
Fakta Menarik Fugaku-LLM
- Fugaku-LLM diumumkan pada 10 Mei 2024.
- Model ini dikembangkan oleh kolaborasi sejumlah institusi Jepang.
- Superkomputer Fugaku milik RIKEN digunakan untuk training.
- Fugaku-LLM memiliki sekitar 13 miliar parameter.
- Training menggunakan sekitar 380 miliar token.
- Sekitar 60 persen data training merupakan bahasa Jepang.
- Data lainnya mencakup bahasa Inggris, matematika, dan kode.
- Model dikembangkan secara from scratch.
- Training dilakukan menggunakan 13.824 node Fugaku.
- Fugaku menggunakan CPU A64FX buatan Fujitsu.
- Tim mengoptimalkan Megatron-DeepSpeed untuk Fugaku.
- Kecepatan komputasi training berhasil ditingkatkan sekitar enam kali dibandingkan metode sebelumnya.
- Kecepatan komunikasi juga ditingkatkan sekitar tiga kali.
- Fugaku-LLM memiliki fokus kuat pada bahasa Jepang.
- Model tersedia untuk penelitian dan penggunaan bisnis sesuai ketentuan lisensinya.
- Model Fugaku-LLM tersedia melalui Hugging Face.
Fugaku-LLM AI
Fugaku-LLM merupakan salah satu proyek AI Jepang yang unik karena menggabungkan Large Language Model dengan kekuatan superkomputer Fugaku.
Dikembangkan melalui kolaborasi Tokyo Institute of Technology, Tohoku University, Fujitsu, RIKEN, Nagoya University, CyberAgent, dan Kotoba Technologies, model ini dirilis pada Mei 2024 dengan fokus pada kemampuan bahasa Jepang serta penggunaan untuk penelitian dan bisnis.
Fugaku-LLM memiliki sekitar 13 miliar parameter dan dilatih menggunakan sekitar 380 miliar token. Sekitar 60 persen data pelatihannya berbahasa Jepang, sedangkan data lainnya mencakup bahasa Inggris, matematika, dan kode.
Yang membuat proyek ini semakin istimewa adalah model tersebut dilatih menggunakan 13.824 node superkomputer Fugaku yang berbasis CPU A64FX buatan Fujitsu.
Para peneliti bahkan mengembangkan dan mengoptimalkan teknologi distributed training agar LLM dapat dilatih secara efektif pada arsitektur Fugaku. Hasilnya, performa komputasi training meningkat sekitar enam kali dan komunikasi antar-node sekitar tiga kali dibandingkan pendekatan sebelumnya.
Fugaku-LLM juga menunjukkan bahwa pengembangan AI Jepang tidak hanya berkaitan dengan membuat chatbot baru.
Lebih jauh dari itu, Jepang sedang membangun kemampuan dari lapisan paling dasar: infrastruktur komputasi, metode training, dataset bahasa Jepang, model AI, hingga aplikasi penelitian dan bisnis.
Pengalaman tersebut menjadi semakin relevan ketika Jepang mengembangkan FugakuNEXT, superkomputer generasi berikutnya yang dirancang sebagai platform yang menggabungkan AI dan high-performance computing.
Fugaku-LLM dengan demikian bukan hanya AI berbahasa Jepang, tetapi juga bukti bahwa superkomputer Jepang dapat digunakan untuk membangun teknologi AI dari awal.