NVIDIA kembali memperluas kiprahnya di dunia kecerdasan buatan.
Perusahaan yang selama ini dikenal sebagai salah satu pemain terbesar dalam penyediaan chip untuk AI kini menghadirkan model AI open-weight baru bernama Nemotron 3.5 Lightning.
Model ini dirancang dengan satu gagasan utama: AI tidak harus selalu menggunakan kemampuan komputasi maksimal untuk menyelesaikan setiap pekerjaan.
Untuk tugas sederhana, AI dapat bekerja secara cepat dan ringan.
Namun, ketika menghadapi masalah yang lebih kompleks, model dapat menggunakan kemampuan penalaran yang lebih besar.
Pendekatan tersebut ditujukan untuk membuat AI lebih efisien dari sisi kecepatan maupun biaya.
AI yang Bisa Menyesuaikan “Tenaga”
Tidak semua pertanyaan membutuhkan proses berpikir yang panjang.
Jika pengguna hanya meminta AI menerjemahkan sebuah kalimat atau menjawab pertanyaan sederhana, menggunakan komputasi besar-besaran tentu tidak efisien.
Sebaliknya, tugas seperti coding, analisis data, perencanaan, atau pekerjaan multi-langkah membutuhkan proses reasoning yang lebih kompleks.
Nemotron 3.5 Lightning dirancang untuk menghadapi perbedaan tersebut.
Model dapat mengalokasikan kemampuan komputasinya sesuai kebutuhan tugas.
Konsep ini membuat AI lebih menyerupai sistem yang mengetahui kapan harus menggunakan sumber daya besar dan kapan cukup bekerja secara sederhana.
Lebih Kecil, tetapi Tetap Kuat
Nemotron 3.5 Lightning memiliki sekitar 31,6 miliar parameter secara keseluruhan.
Namun, hanya sebagian parameter yang aktif dalam satu waktu.
Jumlah parameter aktifnya berada di kisaran 3,6 miliar.
Pendekatan tersebut merupakan bagian dari arsitektur yang menggabungkan teknologi seperti Mamba dan Transformer serta mekanisme Mixture-of-Experts.
Dengan cara ini, model dapat memiliki kapasitas pengetahuan yang besar tanpa harus menjalankan seluruh jaringan pada setiap proses.
Hasilnya adalah kebutuhan komputasi yang lebih efisien.
Dirancang untuk AI Agent
Nemotron 3.5 Lightning tidak hanya ditujukan sebagai chatbot.
NVIDIA juga mengarahkannya untuk kebutuhan AI agent.
AI agent adalah sistem yang dapat menjalankan tugas secara lebih mandiri dengan menggunakan berbagai tools dan melakukan beberapa langkah untuk mencapai tujuan tertentu.
Contohnya:
- Membantu coding.
- Menjalankan perintah melalui tools.
- Menganalisis informasi.
- Menyelesaikan pekerjaan multi-langkah.
- Membantu workflow perusahaan.
- Mengotomatisasi pekerjaan tertentu.
Kemampuan agentic menjadi semakin penting karena perkembangan AI mulai bergeser dari sekadar menjawab pertanyaan menuju melakukan pekerjaan.
Bisa Berjalan pada Satu GPU
Salah satu daya tarik Nemotron 3.5 Lightning adalah efisiensinya.
NVIDIA menyebut model tersebut dirancang agar dapat dijalankan secara lokal menggunakan satu GPU.
Hal ini membuka peluang bagi developer dan perusahaan untuk menjalankan AI tanpa selalu membutuhkan infrastruktur pusat data berukuran besar.
Model yang lebih ringan juga dapat mengurangi biaya inferensi.
Bagi perusahaan yang menjalankan AI dalam jumlah besar, efisiensi semacam ini dapat memberikan dampak signifikan terhadap biaya operasional.
Kenapa AI yang Lebih Kecil Bisa Menarik?
Model AI terbesar memang menawarkan kemampuan yang sangat tinggi.
Namun, semakin besar model biasanya semakin besar pula kebutuhan komputasinya.
Perusahaan yang menjalankan jutaan atau bahkan miliaran permintaan AI harus memperhitungkan biaya setiap token yang diproses.
Karena itu, model yang lebih kecil tetapi cukup pintar untuk tugas tertentu dapat menjadi pilihan yang lebih efisien.
Tidak semua pekerjaan membutuhkan model AI paling kuat.
Jika tugas sederhana dapat diselesaikan model yang lebih ringan, perusahaan tidak perlu menggunakan model besar untuk setiap permintaan.
NVIDIA Perkenalkan Nemo Switchyard
Bersamaan dengan Nemotron 3.5 Lightning, NVIDIA juga memperkenalkan Nemo Switchyard.
Teknologi ini berfungsi sebagai sistem routing model AI.
Sederhananya, sistem dapat membantu menentukan model mana yang paling sesuai untuk sebuah tugas.
Jika pertanyaan sederhana, sistem dapat memilih model yang lebih ringan.
Jika tugas membutuhkan reasoning yang lebih kompleks, sistem dapat mengarahkannya ke model yang lebih kuat.
Pendekatan ini dapat membantu perusahaan menyeimbangkan tiga hal:
- Kemampuan AI.
- Kecepatan respons.
- Biaya komputasi.
Dengan demikian, perusahaan tidak harus menggunakan satu model untuk semua pekerjaan.
AI Bisa Menghemat Biaya
Efisiensi menjadi salah satu alasan utama mengapa model seperti Nemotron 3.5 Lightning menarik perhatian.
Bayangkan sebuah perusahaan menerima jutaan permintaan AI setiap hari.
Jika seluruh permintaan tersebut diproses menggunakan model besar, biaya komputasinya dapat menjadi sangat tinggi.
Namun, jika permintaan sederhana dialihkan ke model yang lebih ringan, sebagian beban komputasi dapat dikurangi.
Nemo Switchyard dapat membantu membuat proses tersebut lebih otomatis.
AI tidak hanya harus pintar.
AI juga harus ekonomis ketika digunakan dalam skala besar.
Open-Weight untuk Developer
NVIDIA juga menempatkan Nemotron 3.5 Lightning sebagai model open-weight.
Model ini dapat digunakan dan dikembangkan oleh perusahaan maupun developer sesuai ketentuan lisensinya.
Pendekatan open-weight memberikan fleksibilitas yang lebih besar dibandingkan sistem AI tertutup.
Developer dapat menjalankan model sendiri, melakukan penyesuaian, dan mengintegrasikannya ke dalam workflow tertentu.
Bagi perusahaan, kemampuan mengontrol model juga dapat menjadi penting ketika menangani data atau informasi internal.
Dibuat dengan Teknik Distillation
Nemotron 3.5 Lightning juga menggunakan teknik distillation.
Dalam pendekatan ini, kemampuan dari model yang lebih besar digunakan untuk membantu melatih model yang lebih kecil.
Tujuannya adalah mempertahankan sebanyak mungkin kemampuan penting tanpa membawa seluruh beban komputasi model besar.
Dengan kata lain, model kecil mencoba mendapatkan "pengetahuan" dari model yang lebih besar dalam bentuk yang lebih efisien.
Teknik seperti ini semakin banyak digunakan dalam pengembangan AI modern.
Perubahan Arah Industri AI
Peluncuran Nemotron 3.5 Lightning menunjukkan adanya perubahan arah dalam industri AI.
Persaingan tidak lagi hanya mengenai siapa yang memiliki model paling besar.
Kini perusahaan juga berlomba membuat model yang:
- Lebih cepat.
- Lebih murah.
- Lebih efisien.
- Lebih mudah dijalankan.
- Lebih cocok untuk AI agent.
- Lebih mudah dikustomisasi.
Model kecil dengan kemampuan tinggi dapat menjadi sangat penting ketika AI digunakan dalam jumlah besar.
AI Masa Depan Tidak Selalu Menggunakan Model Terbesar
Selama beberapa tahun terakhir, perkembangan AI sering dikaitkan dengan model yang semakin besar.
Namun, pendekatan tersebut memiliki batas.
Biaya komputasi meningkat.
Kebutuhan energi meningkat.
Infrastruktur semakin kompleks.
Karena itu, efisiensi menjadi sama pentingnya dengan kemampuan.
Nemotron 3.5 Lightning menggambarkan pendekatan baru:
Gunakan kemampuan yang cukup untuk menyelesaikan tugas, bukan selalu kemampuan maksimal.
Prinsip tersebut mirip dengan kendaraan yang tidak perlu menggunakan tenaga penuh ketika berjalan di jalan yang kosong.
AI juga tidak harus "menginjak gas" sepenuhnya untuk setiap pertanyaan.
Apa Dampaknya bagi Perusahaan?
Bagi perusahaan, teknologi seperti Nemotron 3.5 Lightning dapat membuat penerapan AI menjadi lebih ekonomis.
AI dapat digunakan untuk berbagai pekerjaan rutin tanpa selalu mengandalkan model paling mahal.
Sistem routing juga memungkinkan perusahaan mengatur penggunaan model berdasarkan kebutuhan.
Misalnya, chatbot layanan pelanggan dapat menggunakan model ringan untuk pertanyaan umum.
Jika pelanggan memberikan masalah kompleks, sistem dapat mengalihkannya ke model yang lebih kuat.
Dengan pendekatan tersebut, perusahaan dapat mengoptimalkan biaya sekaligus mempertahankan kualitas layanan.
AI Agent Semakin Dekat dengan Dunia Kerja
Kemampuan agentic menjadi salah satu bagian paling penting dari perkembangan AI saat ini.
AI tidak lagi hanya menjadi tempat bertanya.
AI mulai dapat melakukan serangkaian pekerjaan.
Model seperti Nemotron 3.5 Lightning dirancang untuk mendukung perkembangan tersebut.
Jika digabungkan dengan berbagai tools, AI dapat membantu menjalankan workflow yang sebelumnya membutuhkan interaksi manusia secara terus-menerus.
Perubahan ini berpotensi memengaruhi cara perusahaan membangun software dan mengelola pekerjaan digital.
Fakta Penting
- Nemotron 3.5 Lightning merupakan model AI open-weight dari NVIDIA.
- Model memiliki sekitar 31,6 miliar parameter secara keseluruhan.
- Sekitar 3,6 miliar parameter dapat aktif pada satu waktu.
- Model menggunakan pendekatan arsitektur hybrid yang menggabungkan Mamba dan Transformer.
- Nemotron 3.5 Lightning ditujukan untuk tugas agentic dan workflow multi-langkah.
- Model dirancang untuk efisiensi komputasi dan dapat dijalankan menggunakan satu GPU.
- NVIDIA juga memperkenalkan Nemo Switchyard sebagai sistem routing model AI.
- Switchyard dapat membantu memilih model berdasarkan kompleksitas tugas, biaya, dan latensi.
- NVIDIA menggunakan teknik distillation untuk membantu memindahkan kemampuan model yang lebih besar ke model yang lebih ringan.
- Pendekatan ini menunjukkan bahwa masa depan AI tidak hanya bergantung pada model berukuran sangat besar.
AI yang Pintar Tidak Harus Selalu Berat
Nemotron 3.5 Lightning menunjukkan bahwa perkembangan AI mulai memasuki fase baru.
Model terbesar tidak selalu menjadi pilihan terbaik.
Untuk pekerjaan sederhana, model ringan dapat memberikan hasil yang cukup dengan biaya dan waktu yang lebih rendah.
Untuk pekerjaan kompleks, sistem dapat menggunakan model yang lebih kuat.
Dengan teknologi routing seperti Nemo Switchyard, berbagai model bahkan dapat bekerja sebagai sebuah ekosistem.
Pada akhirnya, masa depan AI mungkin bukan tentang satu model yang melakukan semuanya.
Melainkan tentang sistem yang tahu model mana yang harus digunakan, kapan harus menggunakan kemampuan besar, dan kapan harus bekerja secara ringan.
Jika pendekatan ini berhasil diterapkan dalam skala besar, AI akan menjadi bukan hanya semakin pintar, tetapi juga semakin efisien.
