Google Cloud baru saja mengumumkan Trillium, TPU (Tensor Processing Unit) generasi keenam mereka yang paling canggih dan hemat energi. Dengan performa 4.7 kali lebih tinggi per chip dibandingkan TPU sebelumnya, Trillium siap mengubah dunia AI.
TPU ini dirancang untuk meningkatkan performa dan efisiensi energi dalam dunia kecerdasan buatan (AI). Dengan kemampuan komputasi yang meningkat hingga 4.7 kali lipat per chip dibandingkan versi sebelumnya, Trillium menjanjikan kemajuan signifikan dalam pelatihan dan penerapan model AI.
TPU Trillium ini dilengkapi dengan memori High Bandwidth Memory (HBM) yang kapasitas dan bandwidth-nya dua kali lipat dari versi sebelumnya. Ini memungkinkan Trillium untuk bekerja dengan model yang lebih besar dan lebih kompleks. Selain itu, peningkatan bandwidth Interchip Interconnect (ICI) memfasilitasi pelatihan dan inferensi pada skala yang jauh lebih besar.
Salah satu fitur unggulan TPU ini adalah SparseCore generasi ketiga, yang merupakan akselerator khusus untuk mengolah embedding ultra-besar yang umum dalam beban kerja peringkat dan rekomendasi canggih. Dengan teknologi ini, Trillium dapat melatih model dasar generasi berikutnya dengan lebih cepat dan melayani model tersebut dengan latensi yang lebih rendah serta biaya yang lebih murah.
Dalam hal keberlanjutan, TPU generasi keenam ini juga menjadi yang paling ramah lingkungan. Trillium lebih efisien energi hingga 67% dibandingkan TPU v5e. Ini merupakan langkah besar dalam upaya Google Cloud untuk menciptakan teknologi yang tidak hanya canggih tetapi juga berkelanjutan.
Trillium mampu berskala hingga 256 TPU dalam satu pod berbandwidth tinggi dan latensi rendah. Teknologi multislice dan Titanium Intelligence Processing Units (IPUs) memungkinkan Trillium untuk berskala hingga ratusan pod, menghubungkan puluhan ribu chip dalam superkomputer berskala bangunan yang terhubung oleh jaringan datacenter multi-petabit-per-second.
TPU Trillium akan mendukung gelombang berikutnya dari model dan agen AI. Google Cloud bersemangat untuk membantu pelanggan mereka dengan kemampuan canggih ini. Misalnya, perusahaan kendaraan otonom Essential AI berharap menggunakan Trillium untuk merevolusi cara bisnis beroperasi. Nuro, yang berdedikasi untuk menciptakan kehidupan sehari-hari yang lebih baik melalui robotika, berencana melatih model mereka dengan Cloud TPUs.
AI Hypercomputer dengan Trillium
AI Hypercomputer dari Google Cloud adalah arsitektur superkomputasi yang revolusioner, dirancang khusus untuk beban kerja AI terdepan. Ini mengintegrasikan infrastruktur yang dioptimalkan untuk performa (termasuk Trillium TPUs), kerangka kerja perangkat lunak sumber terbuka, dan model konsumsi yang fleksibel.
Komitmen Google Cloud terhadap perpustakaan sumber terbuka seperti JAX, PyTorch/XLA, dan Keras 3 memberdayakan pengembang. Dukungan untuk JAX dan XLA berarti deskripsi model deklaratif yang ditulis untuk generasi TPU sebelumnya dapat langsung dipetakan ke perangkat keras baru dan kemampuan jaringan Trillium TPUs. Google Cloud juga telah bermitra dengan Hugging Face pada Optimum-TPU untuk pelatihan model yang lebih efisien.
AI Hypercomputer juga menawarkan model konsumsi yang fleksibel yang diperlukan untuk beban kerja AI/ML. Dynamic Workload Scheduler (DWS) memudahkan akses ke sumber daya AI/ML dan membantu pelanggan mengoptimalkan pengeluaran mereka. Mode mulai fleksibel dapat meningkatkan pengalaman beban kerja yang meledak seperti pelatihan, penyetelan halus, atau pekerjaan batch, dengan menjadwalkan semua akselerator yang diperlukan secara bersamaan, terlepas dari titik masuk Anda: Vertex AI Training, Google Kubernetes Engine (GKE) atau Google Cloud Compute Engine.
Sumber: Google Cloud
