Meta kembali membuat gebrakan di dunia kecerdasan buatan.
Perusahaan tersebut resmi memperkenalkan Muse Glimmer, model AI open-weight yang dirancang agar dapat dijalankan secara lokal di komputer pribadi.
Berbeda dari banyak model AI berukuran besar yang membutuhkan infrastruktur cloud untuk menjalankan proses komputasi, Muse Glimmer dirancang untuk bekerja langsung di perangkat pengguna.
Model ini memiliki sekitar 30 miliar parameter dan dioptimalkan untuk menjalankan berbagai tugas agentic, termasuk penggunaan tools, coding, pengelolaan file, hingga pekerjaan yang membutuhkan proses beberapa langkah.
Meta menyebut Muse Glimmer dapat dijalankan pada PC atau Mac menggunakan satu GPU konsumen.
Perkembangan ini dapat menjadi langkah penting menuju AI yang tidak selalu bergantung pada server cloud.
AI Mulai Pindah dari Cloud ke Komputer Pribadi
Selama beberapa tahun terakhir, penggunaan AI generatif umumnya bergantung pada server perusahaan teknologi.
Ketika pengguna mengirim pertanyaan ke chatbot, permintaan tersebut diproses oleh komputer di pusat data sebelum hasilnya dikirim kembali.
Model seperti Muse Glimmer menawarkan pendekatan berbeda.
AI dapat dijalankan langsung pada perangkat pengguna.
Artinya, sejumlah pekerjaan dapat dilakukan tanpa harus terus-menerus mengirim data ke server cloud.
Menurut Meta, model ini dirancang untuk menjalankan workflow lokal yang dapat aktif terus-menerus.
Hal tersebut membuka kemungkinan penggunaan AI yang lebih dekat dengan perangkat dan data pribadi pengguna.
Muse Glimmer Memiliki 30 Miliar Parameter
Muse Glimmer merupakan model dengan sekitar 30 miliar parameter.
Jumlah tersebut cukup besar untuk ukuran model yang ditujukan berjalan pada perangkat konsumen.
Namun, Meta menggunakan berbagai teknik optimasi agar model tersebut dapat dijalankan dengan kebutuhan memori yang jauh lebih rendah.
Pada precision penuh, model 30 miliar parameter diperkirakan membutuhkan lebih dari 55 GB memori.
Meta kemudian menggunakan quantization sekitar 4-bit untuk mengurangi ukuran model menjadi kurang dari 20 GB.
Dengan optimasi tersebut, Muse Glimmer dapat berjalan dalam lingkungan perangkat dengan memori GPU sekitar 24 GB hingga 32 GB.
Bukan Sekadar Chatbot
Salah satu fokus utama Muse Glimmer adalah kemampuan agentic.
Artinya, model tidak hanya dirancang untuk memberikan jawaban dalam bentuk teks.
AI dapat membantu melakukan pekerjaan yang terdiri dari beberapa tahapan.
Beberapa penggunaan yang ditargetkan Meta antara lain:
- Local AI agents.
- Function calling.
- Local coding.
- Pengelolaan file.
- Penggunaan berbagai tools.
- Analisis dokumen dan gambar.
- Evaluasi output model AI lain.
Konsepnya adalah membuat AI yang dapat membantu menyelesaikan pekerjaan, bukan hanya menjawab pertanyaan.
Bisa Bekerja Tanpa Internet
Salah satu keunggulan utama AI lokal adalah kemampuannya bekerja tanpa koneksi internet.
Meta menjelaskan bahwa menjalankan model secara lokal memungkinkan AI digunakan kapan saja dan di mana saja, termasuk ketika perangkat tidak memiliki akses ke jaringan.
Hal ini memiliki beberapa keuntungan.
Data tertentu tidak perlu dikirim ke server eksternal.
Pengguna juga tidak selalu bergantung pada ketersediaan layanan cloud.
Selain itu, pengembang dapat memiliki kontrol lebih besar terhadap bagaimana model digunakan.
Namun, kemampuan offline juga bergantung pada perangkat keras yang digunakan.
Model besar tetap membutuhkan sumber daya komputasi yang cukup.
AI Bisa Mengelola Tugas di Komputer
Meta membayangkan model seperti Muse Glimmer dapat digunakan sebagai local agent.
Dalam skenario tersebut, AI tidak hanya berbicara dengan pengguna.
AI dapat berinteraksi dengan tools dan menjalankan rangkaian tugas.
Contohnya adalah membantu mengatur jadwal, mengelola file, membantu coding, atau memproses informasi dari berbagai sumber yang tersedia di perangkat.
Kemampuan seperti ini menjadi semakin penting dalam perkembangan AI agent.
AI tidak lagi hanya menjadi tempat bertanya.
AI mulai diarahkan untuk menjadi sistem yang dapat melakukan pekerjaan.
Muse Glimmer Dibangun dari Model yang Lebih Besar
Muse Glimmer tidak dilatih sepenuhnya dari awal dengan pendekatan yang sama seperti model besar.
Meta menggunakan teknik distillation untuk mentransfer kemampuan dari model yang lebih besar, yaitu Muse Spark.
Dalam proses tersebut, Muse Glimmer belajar dari output model yang lebih besar.
Meta kemudian melakukan pelatihan tambahan untuk meningkatkan kemampuan reasoning, coding, penggunaan tools, dan tugas agentic.
Pendekatan ini memungkinkan kemampuan model yang lebih besar dikompresi menjadi model yang lebih kecil dan lebih praktis untuk dijalankan secara lokal.
AI Multimodal
Muse Glimmer juga memiliki kemampuan memahami input gambar selain teks.
Kemampuan tersebut membuat pengguna dapat memberikan informasi melalui screenshot, dokumen, grafik, atau gambar.
AI kemudian dapat menganalisis informasi tersebut sebagai bagian dari proses reasoning.
Hal ini penting untuk agent lokal karena komputer tidak hanya berisi teks.
Sebagian besar aktivitas digital pengguna berlangsung melalui antarmuka visual.
Kemampuan memahami gambar membuat AI lebih berpotensi berinteraksi dengan berbagai jenis informasi yang tersedia di perangkat.
Open-Weight dan Bisa Dikembangkan
Meta merilis bobot Muse Glimmer secara terbuka melalui Hugging Face menggunakan lisensi Apache 2.0.
Pendekatan ini memberikan ruang bagi pengembang untuk mempelajari, menjalankan, dan mengembangkan model sesuai kebutuhan mereka.
Meta juga menyediakan dokumentasi untuk membantu developer menjalankan model tersebut.
Integrasi dengan berbagai tool seperti llama.cpp, MLX, dan ExecuTorch juga disiapkan.
Dengan ekosistem tersebut, pengembang dapat mengintegrasikan Muse Glimmer ke berbagai aplikasi dan workflow lokal.
Kenapa AI Lokal Menarik?
AI lokal memiliki beberapa keunggulan dibandingkan model yang sepenuhnya bergantung pada cloud.
Privasi
Data dapat diproses langsung di perangkat sehingga tidak selalu perlu dikirim ke server eksternal.
Kontrol
Pengembang memiliki kontrol lebih besar terhadap model dan lingkungan tempat AI dijalankan.
Offline
AI dapat digunakan dalam kondisi tertentu tanpa koneksi internet.
Biaya
Penggunaan model lokal dapat mengurangi ketergantungan pada biaya API atau layanan cloud untuk beberapa jenis penggunaan.
Kustomisasi
Pengembang dapat membangun sistem yang lebih spesifik sesuai kebutuhan mereka.
Namun, semua keuntungan tersebut tetap bergantung pada kemampuan perangkat keras dan konfigurasi software.
Ada Trade-off yang Harus Dipahami
Menjalankan AI secara lokal bukan berarti semua pengguna otomatis mendapatkan performa seperti pusat data.
GPU konsumen memiliki keterbatasan.
Model yang lebih besar membutuhkan lebih banyak memori dan daya komputasi.
Kecepatan respons juga dapat berbeda antara satu perangkat dan perangkat lainnya.
Karena itu, AI lokal menghadirkan kompromi.
Pengguna mendapatkan kontrol dan privasi yang lebih besar, tetapi harus menyediakan hardware yang memadai.
Persaingan AI Open-Weight Makin Panas
Peluncuran Muse Glimmer juga terjadi ketika persaingan model AI open-weight semakin meningkat.
Perusahaan teknologi tidak hanya berlomba membuat model paling besar.
Mereka juga berlomba membuat model yang lebih efisien, lebih murah, lebih mudah dijalankan, dan dapat dikustomisasi.
Bagi developer, model yang dapat dijalankan sendiri memiliki daya tarik besar.
Mereka tidak harus selalu bergantung pada satu penyedia cloud.
Model dapat ditempatkan di server sendiri, workstation, atau bahkan komputer pribadi jika perangkat kerasnya memenuhi persyaratan.
AI Agent di Komputer Pribadi
Perkembangan ini dapat mengubah cara manusia berinteraksi dengan komputer.
Saat ini, pengguna biasanya membuka aplikasi terlebih dahulu kemudian melakukan pekerjaan secara manual.
Di masa depan, AI agent dapat menjadi lapisan baru di atas berbagai aplikasi.
Pengguna cukup memberikan tujuan.
AI kemudian dapat membantu memecah tujuan tersebut menjadi beberapa langkah dan menggunakan tools yang tersedia untuk menyelesaikannya.
Jika teknologi ini terus berkembang, komputer pribadi tidak hanya menjadi alat yang digunakan manusia.
Komputer dapat berubah menjadi sistem yang secara aktif membantu manusia menyelesaikan pekerjaan.
Fakta Penting
- Muse Glimmer memiliki sekitar 30 miliar parameter.
- Model ini dirancang untuk workflow AI agent yang berjalan secara lokal.
- Muse Glimmer dapat dijalankan pada PC atau Mac dengan satu GPU konsumen.
- Quantization sekitar 4-bit membuat ukuran model menjadi kurang dari 20 GB.
- Model dirancang untuk penggunaan seperti coding, function calling, local agents, dan evaluasi model.
- Muse Glimmer memiliki kemampuan memahami teks dan gambar.
- Model dikembangkan menggunakan teknik distillation dari Muse Spark.
- Bobot model dirilis secara terbuka di Hugging Face dengan lisensi Apache 2.0.
- Meta menyiapkan integrasi dengan tool seperti llama.cpp, MLX, dan ExecuTorch.
- AI lokal dapat digunakan tanpa selalu bergantung pada koneksi cloud.
AI Tidak Lagi Harus Berada di Cloud
Muse Glimmer menunjukkan arah baru dalam perkembangan AI.
Jika sebelumnya model AI semakin besar dan membutuhkan pusat data raksasa, kini ada dorongan kuat untuk membuat AI yang cukup efisien agar dapat berjalan langsung pada perangkat pengguna.
Perubahan ini bukan berarti cloud akan menghilang.
Model terbesar kemungkinan tetap membutuhkan pusat data dengan infrastruktur komputasi masif.
Namun, semakin banyak tugas AI yang dapat dipindahkan ke perangkat lokal.
Bagi pengguna, hal tersebut dapat berarti AI yang lebih privat, lebih personal, dan dapat bekerja bahkan ketika internet tidak tersedia.
Bagi developer, model open-weight seperti Muse Glimmer membuka kesempatan untuk membangun AI agent tanpa harus sepenuhnya bergantung pada layanan tertutup.
Masa depan AI kemungkinan tidak hanya berada di pusat data.
Sebagian kecerdasannya juga akan berpindah ke komputer yang ada di meja pengguna.
