Alibaba Cloud, bagian penting dari ekosistem teknologi digital Alibaba Group, memperkenalkan sejumlah fitur inovatif Apache Flink 2.0 dalam acara Flink Forward Asia yang digelar di Jakarta. Konferensi ini menjadi sorotan karena merupakan ajang pertama di Asia Tenggara yang secara khusus membahas Apache Flink, framework open-source yang mengintegrasikan pemrosesan data real-time dan batch secara mulus. Alibaba Cloud, sebagai pendukung utama, memainkan peran penting dalam pengembangan komunitas Flink, terutama di kawasan Asia.
Feng Wang, Head of Open Data Platform di Alibaba Cloud Intelligence, menyatakan, “Dalam dunia yang semakin digerakkan oleh data, penting untuk memiliki solusi pemrosesan yang efisien dan skalabel. Apache Flink 2.0 menjadi langkah besar sejak peluncuran teknologi ini pada 2016 dan menandai kemajuan luar biasa dalam pengolahan data modern.”
Evolusi Teknologi Pemrosesan Data Apache Flink 2.0
Apache Flink 2.0, yang dijadwalkan rilis awal 2025, membawa perubahan besar dalam pemrosesan data dengan pendekatan terpadu untuk batch dan streaming. Pendekatan ini dioptimalkan untuk lingkungan cloud-native, dirancang untuk menangani kebutuhan beban kerja hibrida yang penting dalam era AI generatif (GenAI). Teknologi ini menjadi fondasi penting bagi aplikasi kecerdasan buatan yang memerlukan pengolahan data secara canggih.
Alibaba Cloud telah memberikan kontribusi signifikan pada pengembangan fitur utama Flink 2.0. Salah satu fitur utamanya adalah Disaggregated State Storage and Management, yang menggantikan penyimpanan lokal dengan penyimpanan jarak jauh. Fitur ini memungkinkan pengguna untuk mengelola data besar tanpa keterbatasan kapasitas disk lokal, mempercepat skala pekerjaan, dan memungkinkan checkpoint yang ringan serta cepat.
Selain itu, ada fitur Materialized Table yang dirancang untuk menyederhanakan proses batch dan streaming. Fitur ini meningkatkan pengoperasian dengan konektor baru serta pengaturan scheduler yang lebih efektif. Teknologi Adaptive Batch Execution juga menjadi salah satu inovasi penting, yang menyesuaikan rencana pemrosesan data secara dinamis. Hal ini meningkatkan efisiensi analisis real-time untuk kebutuhan Online Analytical Processing (OLAP).
Terakhir, arsitektur Streaming Lakehouse yang mengintegrasikan stream dan batch mendukung analitik data real-time dengan fleksibilitas tinggi. Data dapat diproses dan diperbarui secara dinamis untuk memenuhi beragam kebutuhan analitik modern. Dengan kontribusi ini, Alibaba Cloud terus mendukung transformasi digital di era cloud dan AI.
Pemanfaatan di Dunia Nyata
Mekari, salah satu perusahaan SaaS terkemuka di Indonesia, menjadi salah satu contoh bagaimana Apache Flink membantu menangani tantangan pengolahan data secara real-time. Dengan memanfaatkan Flink 1.0, Mekari mampu mengintegrasikan data dari berbagai sumber ke MaxCompute, platform data skala besar milik Alibaba. Teknologi ini mempercepat proses data dan menghasilkan wawasan yang lebih cepat dan akurat, mendukung efisiensi operasional perusahaan.
Feng Wang menambahkan, “Apache Flink 2.0 menghadirkan masa depan pemrosesan data, menggabungkan inovasi AI untuk menetapkan standar baru di industri. Kami berharap dapat terus mendukung komunitas Flink dengan solusi yang lebih canggih.”
Langkah Strategis Alibaba Cloud
Dalam acara yang sama, Alibaba Cloud mengumumkan peluncuran open-source untuk Fluss (Flink Unified Streaming Storage) di GitHub. Fluss dirancang sebagai solusi penyimpanan streaming untuk analitik real-time, yang berfungsi sebagai jembatan antara data streaming dan data Lakehouse. Dengan latensi rendah dan throughput tinggi, solusi ini mendukung efisiensi data di berbagai aplikasi, termasuk integrasi dengan Apache Flink.
Komitmen Alibaba Cloud dalam mendukung komunitas Apache Flink mencakup optimalisasi lapisan SQL, runtime Flink, serta integrasi dengan proyek open-source lainnya. Inovasi ini meningkatkan skalabilitas, stabilitas, dan kinerja Flink, menjadikannya standar baru dalam pemrosesan data modern.
