AMD telah meluncurkan prosesor Ryzen AI 300 Series yang membawa peningkatan besar dalam performa Large Language Models (LLM) untuk aplikasi konsumen. Dalam kolaborasi dengan Llama.cpp dan LM Studio, AMD menghadirkan kemampuan akselerasi berbasis AI yang lebih efisien, mendukung pengguna dalam menjalankan model-model bahasa mutakhir tanpa memerlukan keterampilan teknis khusus.
Proyek Llama.cpp dikenal luas sebagai kerangka kerja populer untuk menerapkan model bahasa secara cepat. Berbasis AVX2 pada CPU x86, proyek ini memungkinkan pengguna menjalankan LLM hanya dengan CPU, walau opsi akselerasi GPU tersedia untuk performa lebih tinggi. Llama.cpp dan aplikasi LM Studio memungkinkan siapa saja menggunakan model bahasa secara langsung dengan antarmuka yang mudah diakses, menjadikan AI lebih inklusif untuk pengguna umum.
AMD Ryzen AI 300 Series mempercepat beban kerja dalam Llama.cpp melalui arsitektur XDNA 2 berbasis NPU. Teknologi ini memungkinkan efisiensi daya yang signifikan untuk tugas AI, terutama pada skenario di mana AI berjalan terus-menerus seperti Copilot+. Dalam mode CPU saja, AMD Ryzen AI 9 HX 375 bahkan menunjukkan performa hingga 27% lebih cepat dibandingkan prosesor pesaing dalam metrik kecepatan token per detik (tk/s) atau jumlah kata yang dicetak per detik.
Dalam uji coba performa, AMD Ryzen AI 9 HX 375 mencapai kecepatan hingga 50,7 token per detik menggunakan model Meta Llama 3.2 1b dengan kuantisasi 4-bit. Pengujian lainnya mengukur latensi awal atau “time to first token” yang menunjukkan respons AI setelah prompt dikirimkan. Pada model yang lebih besar, prosesor berbasis Zen 5 ini menghasilkan latensi 3,5 kali lebih cepat dibandingkan prosesor sejenis dari kompetitor.
AMD Ryzen AI juga memiliki fitur Variable Graphics Memory (VGM), yang memungkinkan alokasi memori lebih besar untuk iGPU hingga 75% dari RAM sistem yang tersedia. Dalam pengujian dengan VGM 16GB aktif, Ryzen AI mencatat peningkatan performa hingga 22% pada Meta Llama 3.2 1b Instruct, dengan peningkatan total hingga 60% menggunakan akselerasi iGPU.
LM Studio mendukung akselerasi Vulkan API, menjadikannya pilihan yang dapat diakses oleh berbagai perangkat keras tanpa ketergantungan pada vendor tertentu. Saat GPU offload diaktifkan, performa LLM meningkat rata-rata 31% untuk Meta Llama 3.2 1b Instruct, dibandingkan mode CPU-only. Model yang lebih besar, seperti Mistral Nemo 2407 12b Instruct, mencatat peningkatan performa rata-rata 5,1% dalam tahap generasi token.
Saat menggunakan versi Vulkan dari Llama.cpp, hasil performa menunjukkan bahwa prosesor AMD Ryzen AI memiliki keunggulan signifikan dibandingkan prosesor kompetitor, yang justru mengalami penurunan performa ketika Vulkan-based GPU offload diaktifkan. Keunggulan ini menjadikan AMD Ryzen AI pilihan tepat bagi mereka yang mencari kinerja optimal untuk model AI di perangkat berbasis x86.
Komitmen AMD dalam menghadirkan AI yang dapat diakses oleh setiap kalangan tampak jelas dalam penerapan teknologi di Ryzen AI 300 Series. Dengan aplikasi seperti LM Studio, pengguna kini dapat memanfaatkan LLM tanpa pengaturan yang rumit, dan dapat menikmati pembaruan AI terbaru segera setelah dirilis, berkat kompatibilitas Llama.cpp. Semua ini dihadirkan dalam ekosistem yang dirancang agar pengguna dapat menjalankan model AI secara lokal di laptop x86, dengan kinerja maksimal.
AMD Ryzen AI 300 Series menawarkan kemampuan akselerasi yang tinggi bagi pengguna yang ingin menjalankan model AI secara langsung di perangkat mereka. Dengan integrasi Variable Graphics Memory dan optimasi untuk Llama.cpp di LM Studio, AMD Ryzen AI mempercepat kinerja LLM dengan tingkat respons tinggi dan efisiensi daya yang optimal.
