Kisi data dalam memori vs. database dalam memori

Penerapan komputasi dalam memori terus meningkat. Solusi yang matang memungkinkan organisasi memperoleh kecepatan dan skala pemrosesan database yang mereka butuhkan untuk inisiatif transformasi digital dan pengalaman pelanggan omnichannel mereka. Misalnya, perusahaan investasi Wellington Management menggunakan platform komputasi dalam memori untuk mempercepat dan menskalakan buku catatan investasinya (IBOR), satu-satunya sumber kebenaran untuk posisi investor, eksposur, penilaian, dan kinerja. Semua transaksi perdagangan waktu nyata, semua aktivitas akun terkait, data pihak ketiga seperti kutipan pasar, dan semua aktivitas kantor belakang terkait mengalir melalui IBORnya secara waktu nyata. IBOR juga mendukung analisis kinerja, penilaian risiko, kepatuhan terhadap peraturan, dan banyak lagi. Dalam berbagai tes,platform baru ini bekerja setidaknya sepuluh kali lebih cepat daripada sistem lama perusahaan yang dibangun langsung pada database relasional Oracle.

Nikita Ivanov adalah CTO di GridGain Systems, yang mengembangkan solusi komputasi dalam memori.

Gartner memperkirakan bahwa pada 2019, 75 persen pengembangan aplikasi cloud-native akan menggunakan komputasi dalam memori, atau layanan yang menggunakan komputasi dalam memori, untuk memungkinkan pengembang arus utama mengimplementasikan aplikasi berkinerja tinggi yang dapat diskalakan secara masif. Namun, pengembang yang baru mengenal teknologi komputasi dalam memori perlu mengembangkan pemahaman tentang berbagai strategi untuk menambahkan teknologi ke arsitektur mereka. Dalam kebanyakan kasus, keputusan pertama yang perlu mereka buat adalah apakah akan menerapkan kisi data dalam memori atau database dalam memori. Keputusan ini akan didasarkan terutama pada apakah mereka bermaksud untuk mempercepat aplikasi yang ada, berencana untuk mengembangkan aplikasi baru atau sepenuhnya merancang ulang aplikasi yang sudah ada atau melihat peluang untuk melakukan keduanya. Mereka juga perlu mempertimbangkan lapisan mana yang akan berfungsi sebagai sistem pencatatan,lapisan komputasi dalam memori atau lapisan data yang mendasarinya.

Mari jelajahi teknologi komputasi dalam memori yang diperlukan untuk menerapkan strategi ini.

Kisi data dalam memori

Kisi data dalam memori (IMDG) menyalin data berbasis disk dari basis data RDBMS, NoSQL, atau Hadoop ke dalam RAM, tempat pemrosesan berlangsung tanpa penundaan yang disebabkan oleh pembacaan dan penulisan disk yang terus-menerus. Disisipkan di antara aplikasi dan lapisan data, grid data dalam memori diterapkan pada sekelompok node server dan berbagi memori dan CPU yang tersedia dari cluster tersebut. Baik diterapkan di lingkungan cloud publik atau pribadi, di lokasi, atau di lingkungan hybrid, kisi data dalam memori dapat diskalakan hanya dengan menambahkan node baru ke cluster. Beberapa kisi data dalam memori dapat mendukung transaksi SQL dan ACID ANSI-99, keamanan tingkat lanjut, pembelajaran mesin, serta integrasi asli Spark, Cassandra, dan Hadoop.

Kisi data dalam memori adalah solusi sederhana dan hemat biaya untuk aplikasi yang ada. Namun, banyak kisi data dalam memori mengharuskan semua data dalam database berbasis disk yang mendasarinya masuk ke dalam memori, yang mengharuskan bisnis membeli cukup memori untuk menyimpan semua data. Karena memori masih lebih mahal daripada disk, banyak perusahaan mungkin lebih suka menyimpan beberapa data hanya pada disk. Arsitektur baru yang berpusat pada memori menyelesaikan masalah ini dengan memproses kumpulan data lengkap, meskipun beberapa data disimpan di disk. Kemampuan "penyimpanan persisten" ini memungkinkan jumlah data melebihi jumlah memori. Ini berarti data dapat dioptimalkan sehingga semua data berada di disk, tetapi data yang lebih sering digunakan juga berada di dalam memori, sementara data yang jarang digunakan hanya ada didi disk. Keuntungan utama lainnya adalah setelah reboot, sistem dengan penyimpanan persisten dapat segera mulai memproses kumpulan data di disk tanpa menunggu kumpulan data dimuat ke memori.

Workday, penyedia solusi keuangan dan HR SaaS yang melayani perusahaan Fortune 50, menceritakan bagaimana mereka menggunakan grid data dalam memori untuk memproses sekitar 189 juta transaksi per hari, memuncak pada sekitar 289 juta per hari. Sebagai perbandingan, Twitter menangani sekitar 500 juta tweet per hari.

Database dalam memori

Database dalam memori (IMDB) paling sesuai untuk aplikasi baru atau yang dirancang ulang. Ini adalah database berfitur lengkap yang berdiri sendiri yang berjalan di dalam memori yang mendukung API pemrosesan data seperti ANSI-99 SQL, nilai kunci, komputasi, dan pembelajaran mesin. Keuntungan database dalam memori dibandingkan grid data dalam memori adalah arsitekturnya dikurangi dari tiga lapisan (aplikasi, dalam memori, dan data) menjadi dua. Kerugiannya adalah tidak dapat digunakan untuk aplikasi yang sudah ada tanpa mengangkat dan menggeser kumpulan data dari database yang ada. Selain itu, karena database dalam memori berfungsi sebagai sistem pencatatan, solusinya harus menyertakan strategi untuk melindungi data jika terjadi waktu henti. Strategi ini mungkin mirip dengan kemampuan penyimpanan persisten yang didiskusikan untuk grid data dalam memori, atau bisa juga melibatkan penggunaan RAM nonvolatile,sebuah teknologi baru yang kemungkinan besar akan memainkan peran yang semakin menonjol di masa depan.

Saat ini, sebuah bank besar dengan 135 juta pelanggan menggunakan database dalam memori dengan kemampuan penyimpanan yang persisten untuk mengembangkan arsitektur skala web yang dapat menangani hingga 1,5PB data, bersama dengan volume transaksi yang diperlukan. Solusi ini berfungsi sebagai sistem pencatatan dan tidak berada di atas datastore yang ada.

Platform komputasi dalam memori

Organisasi yang mengembangkan strategi jangka panjang yang melibatkan percepatan aplikasi yang ada dan meluncurkan yang baru dapat memilih platform komputasi dalam memori yang menggabungkan skalabilitas IMDG dengan kapabilitas database relasional penuh dari IMDB. Oleh karena itu, platform komputasi dalam memori dapat digunakan untuk mempercepat aplikasi yang sudah ada atau menjadi dasar untuk pembuatan aplikasi baru atau yang diatur ulang yang dapat memanfaatkan komputasi terdistribusi dan penyimpanan persisten.

Selain memutuskan teknologi mana yang paling sesuai dengan kebutuhan mereka, organisasi harus mempertimbangkan apakah mereka memerlukan dukungan tambahan dalam teknologi memori, seperti:

  • Mesin analisis streaming untuk mengelola semua kerumitan seputar aliran data dan pemrosesan acara.
  • Kerangka kerja pembelajaran berkelanjutan bertenaga deep-learning untuk berfungsi sebagai blok bangunan untuk apa yang oleh Gartner disebut sebagai HTAP dalam proses (pemrosesan transaksional / analitik hybrid); yaitu, kemampuan untuk menerapkan pembelajaran mesin atau analisis pembelajaran mendalam ke data operasional secara real time.

Teknologi komputasi dalam memori digunakan oleh perusahaan digital terkemuka saat ini dan akan semakin banyak digunakan di masa mendatang. Semakin cepat Anda mengembangkan pemahaman yang kuat tentang strategi penerapan dan kapabilitas komputasi dalam memori, semakin cepat Anda dapat membantu organisasi Anda mendapatkan keunggulan kompetitif yang dibutuhkannya.