Alibaba Cloud, raksasa komputasi awan asal Tiongkok, dan MediaTek menjalin kerjasama untuk mendorong penggunaan kecerdasan buatan (AI) di perangkat terbaru, dimulai dari ponsel pintar. Kolaborasi ini memungkinkan model bahasa berskala besar (LLM) Qwen dari Alibaba Cloud, dengan parameter 1,8 miliar dan 4 miliar, untuk dijalankan pada chipset premium generasi ketiga MediaTek, Dimensity 9300 dan Dimensity 8300. Hal ini memungkinkan ponsel pintar untuk menjalankan tugas AI seperti menjawab berbagai pertanyaan bahkan saat tidak terhubung ke internet atau memiliki koneksi yang terbatas.
Sebelumnya, AI generatif hanya dapat diakses melalui pusat data. Dengan kerjasama ini, AI generatif dapat hadir langsung di smartphone. Gartner memperkirakan bahwa hingga akhir 2024, 240 juta ponsel pintar dan 54,5 juta PC akan dilengkapi dengan GenAI dan AI terdistribusi.
“Kami melihat minat yang meningkat dari banyak perusahaan untuk menggunakan LLMs berukuran lebih kecil ke dalam gawai, untuk mendorong aplikasi AI generatif,” kata Xu Dong, Head of Business Development di Qwen team. “Melalui kemitraan dengan MediaTek, kami ingin memberikan lebih banyak kesempatan kepada para pengembang untuk bisa menciptakan aplikasi AI yang inovatif dan mudah digunakan.”
Pergeseran dari cloud ke perangkat didorong oleh munculnya LLMs yang lebih kecil, berkisar antara beberapa juta hingga beberapa miliar parameter. Dibandingkan model sebelumnya yang lebih besar, model-model ini lebih hemat komputasi, lebih ekonomis, dan dapat disesuaikan dengan kebutuhan pengguna perangkat terbaru.
Alibaba Cloud telah menyediakan versi open source dari LLM dengan parameter 1,8 miliar, Qwen-1.8B, awal tahun lalu. Dioptimalkan untuk perangkat yang lebih kecil, model ini membutuhkan daya komputasi yang lebih sedikit untuk dijalankan, sehingga memungkinkan aplikasi yang didukung oleh LLM berjalan di ponsel pintar dengan keterbatasan atau tanpa koneksi jaringan.
Kompatibilitas menjadi tantangan utama dalam mengimplementasikan model AI di perangkat genggam, karena perbedaan dalam perangkat keras, perangkat lunak, dan protokol komunikasi.
Alibaba Cloud dan MediaTek bekerja sama dalam beberapa area untuk mengatasi tantangan integrasi ini, termasuk optimasi ukuran model, optimasi inferensi, dan penyimpanan untuk mencapai keseimbangan antara akurasi model, efektivitas biaya, dan efisiensi energi.
Dengan dukungan Dimensity 9300, versi model Qwen dengan parameter 1,8 miliar dapat mencapai kinerja terdepan di industri dan menggunakan kurang dari 30% CPU dan 2 GB RAM dalam proses inferensi AI sambil mencapai lebih dari 20 token per detik. Konsumsi daya dalam proses inferensi kurang dari 3 watt, memberikan peningkatan kinerja dalam tugas AI tanpa mengorbankan efisiensi energi.
Untuk memastikan adopsi model AI di perangkat mereka, kedua perusahaan akan merilis paket pengembangan perangkat lunak bagi produsen dan pengembang ponsel pintar. Solusi ini memungkinkan produsen ponsel pintar menyematkan fitur-fitur AI generatif pada perangkat mereka, mulai dari kontrol suara hingga asisten virtual. Produsen juga dapat melatih dan menyempurnakan model untuk fitur AI yang lebih canggih.
Kedua perusahaan juga akan bekerja sama untuk mengeksplorasi pembangunan agen AI yang dapat menavigasi antarmuka yang kompleks dan menjalankan tugas melintasi beberapa aplikasi, memanfaatkan kemampuan LLM dari Alibaba Cloud dan daya komputasi dari Dimensity 9300.
“Memfasilitasi implementasi AI generatif secara menyeluruh, serta pengembangan cepat dari aplikasi AI dan ekosistem agen AI, akan memberikan pengalaman produk yang lebih menarik bagi para pengguna,” kata Dr. Yenchi Lee, Deputy General Manager di MediaTek Wireless Communications Business Unit.
Kolaborasi ini menandakan langkah maju yang signifikan dalam membawa AI ke perangkat terbaru, memungkinkan pengguna untuk merasakan manfaat AI generatif di mana saja dan kapan saja.
