Metode Baru untuk Penyimpanan Efektif Big Data Time Series
Author : MAHMOUDREZA TAHMASSEBPOUR
To link to this article: http://www.ieee.org/publications_standards/publications/rights/index.html
Mengadaptasi dari jurnal yang berjudul "A New Method for Time-Series Big Data Effective Storage"
Saat ini, salah satu tantangan utama penelitian data besar adalah pemrosesan data deret waktu besar. Selain itu, analisis data waktu sangat penting, karena tren sebelumnya berguna untuk memprediksi masa depan. Karena penundaan yang cukup besar ketika volume data meningkat, adanya redundansi, dan kurangnya struktur deret waktu bawaan, model data relasional tradisional tampaknya tidak cukup mampu menganalisis data waktu. Selain itu, banyak struktur data tradisional tidak mendukung operator waktu, yang mengakibatkan akses ke data waktu tidak efisien. Oleh karena itu, sistem manajemen basis data relasional mengalami kesulitan dalam menangani data besar sehingga mungkin memerlukan perangkat lunak paralel yang sangat besar yang berjalan di banyak server. Hal ini mendorong penulis untuk mengimplementasikan Perangkat Lunak Chronos, database waktu berbasis latar belakang dalam memori untuk pasangan nilai kunci; Perangkat lunak ini diimplementasikan dengan menggunakan bahasa C ++. Desain independen telah disarankan melalui penggunaan algoritme temporal, algoritme paralelisme, dan metode penyimpanan data dalam RAM secara tepat. Hasil penulis menunjukkan bahwa penggunaan RAM untuk menyimpan data dan algoritme Indeks Timeline untuk mendapatkan akses ke latar belakang waktu kunci di Chronos diterjemahkan ke dalam peningkatan efisiensi sekitar 40% 90% dibandingkan dengan yang lain. database, seperti MySQL dan MongoDB.
PENGANTAR
Karena pesatnya pertumbuhan kumpulan data dan volume informasi yang perlu disimpan, diperlukan manajemen yang komprehensif untuk menjaga informasi dalam jumlah besar tersebut. Produksi data selama beberapa tahun terakhir telah berkembang sedemikian rupa sehingga bank relasional tidak dapat lagi mengontrol data tersebut; Selain itu, data hari ini sama sekali tidak mirip dengan data tradisional. Sementara itu, manajemen data waktu menjadi semakin penting dalam banyak aplikasi; Di antara sistem database yang sudah mendukung dimensi temporal data, beberapa operator temporal saat ini yang bahkan memiliki kualitas kinerja yang buruk. Sebagai struktur data terpadu, Indeks Garis Waktu secara efisien mendukung operator waktu seperti agregasi temporal, perjalanan waktu, dan gabungan temporal. Karena kemandiriannya dalam urutan fisik data, Indeks Garis Waktu memungkinkan fleksibilitas dalam desain fisik.
DATA BESAR
Big data mengacu pada kumpulan data yang begitu besar atau kompleks sehingga sulit untuk ditangani menggunakan alat manajemen database atau aplikasi pemrosesan data tradisional. Sistem manajemen basis data relasional dan paket visualisasi tidak dapat menangani data besar, ini mungkin memerlukan penggunaan perangkat lunak paralel besar-besaran yang dijalankan pada sejumlah besar server. Batas big data bergantung pada kemampuan organisasi pengelola dan aplikasi yang digunakan untuk analisis data. Tantangan yang relevan termasuk ekstraksi, penyimpanan, pencarian, berbagi, transfer, analisis, dan visualisasi data.
TUJUAN PENELITIAN
Database temporal berisi data yang terkait dengan masa depan atau penjadwalan aplikasi. Banyak aplikasi yang bersifat temporal, di antaranya adalah aplikasi keuangan dan perbankan, dan aplikasi penjadwalan seperti pengontrolan lampu di bandara, jadwal kereta, dll.
Dengan mempertimbangkan definisi yang diberikan di atas, penulis telah membangun database temporal yang bertujuan untuk i) membuat sistem yang dapat diskalakan untuk menyimpan data terkait waktu, ii) menyajikan solusi yang efektif untuk menyimpan data waktu dengan menggunakan data Indeks Timeline struktur [1], iii) mengelola data waktu, dan meningkatkan analisis data deret waktu, dan iv) menciptakan sistem yang cepat tanggap terhadap penundaan dalam sistem basis data tradisional.
Penulis telah merealisasikan tujuan penulis menggunakan Indeks Timeline yang merupakan struktur data yang digunakan untuk manajemen data waktu yang efisien dan kinerja kueri pada data.
KOMPONEN DESAIN BARU CHRONOS DATABASE
komponen desain baru perangkat lunak Chronos kami dan hubungan bagian-bagian penyusunnya. Komponen database Chronos adalah sebagai berikut:
Pustaka templat standar (STL) mencakup struktur dan definisi dasar standar dari bahasa pemrograman C ++ seperti string, peta, vektor, dll. Semua bagian penting yang diperlukan untuk membangun perangkat lunak;
Semakin lama termasuk definisi yang penting untuk menulis pesan log-waktu di output terminal, yang membantu pengguna dengan proses tindak lanjut menanggapi permintaan yang dikirimkan ke program, dan dengan menangani kemungkinan kesalahan yang terjadi di jalannya menjalankan perangkat lunak;
Mongoose adalah pustaka yang ditulis dalam bahasa C dan server HTTP ringan tertanam yang dapat menanggapi banyak permintaan HTTP dalam waktu singkat meskipun kode volume rendah. Library Mongoose tidak secara independen menanggapi permintaan HTTP, dan memerlukan pemberitahuan tentang mekanisme akuntabilitas program melalui penetapan fungsi panggilan balik yang merujuk permintaan ke server HTTP; ini akan dijelaskan lebih lanjut nanti;
Threading building block (TBB), pustaka yang ditulis oleh Perusahaan Intel, digunakan untuk menulis aplikasi multi-core dan paralel. Struktur yang disajikan di pustaka ini sangat mirip dengan yang diberikan di pustaka STL, kecuali bahwa struktur TBB seperti Concurrent HashMap dapat memproses permintaan paralel, menjamin perlindungan kesehatan data dan kecepatan eksekusi yang sesuai. Di antara fitur-fitur lain dari pustaka ini adalah pengaturan yang diperlukan yang disediakan untuk menjalankan operator atom gabungan yang eksekusinya dilakukan secara spontan sesuai dengan sistem lainnya. Operator atom adalah salah satu segmen paling dasar dari sistem paralel yang digunakan dalam penelitian ini;
Server HTTP adalah bagian dari perangkat lunak Chronos yang menganalisis permintaan HTTP yang diterima dari Mongoose melalui Callback, dan kemudian, mengubahnya menjadi bahasa yang dapat dipahami oleh bagian lain dari perangkat lunak. Karena HTTP adalah protokol berbasis teks, kita perlu mengekstrak jenis permintaan dan informasi lain yang diperlukan sebelum melakukan permintaan, yang merupakan tugas server HTTP. Setelah menganalisis permintaan, server HTTP mentransfernya ke Penangan Permintaan yang dijelaskan nanti. Selain itu, setelah analisis, server menghasilkan keluaran dan mengubahnya menjadi bahasa dan format yang dapat dipahami pengguna, dan kemudian, mengirimkannya ke pengguna;
Penangan permintaan adalah titik awal praktis untuk memproses permintaan yang dibuat oleh pengguna. Setelah menerima permintaan yang dianalisis dari server HTTP, penangan permintaan memanggil proses yang diinginkan dari tabel temporal sesuai dengan jenis permintaan (get set, dll.), Dan kemudian, mengembalikan respons yang dihasilkan ke server HTTP;
Tabel temporal adalah inti dari perangkat lunak Chronos tempat semua data disimpan, dan semua proses yang diminta dilakukan. Tabel temporal memang merupakan implementasi dalam memori dari algoritme Indeks Garis Waktu. Karena Chronos dirancang untuk kondisi dengan kecepatan akses tinggi, sistem ini memerlukan kontrol akses yang sangat akurat untuk mencegah data dimusnahkan; Selain itu, keakuratan kontrol akses menjadi lebih penting bagi database dalam memori untuk melindungi data yang disimpan dalam RAM. Dalam tabel temporal, kontrol akses ini dicapai dengan menggunakan data struktur HashMap Bersamaan dari pustaka TBT. Data terstruktur ini merupakan implementasi dari Open Hashing dengan partisi, yang memungkinkan akses dan pengurangan waktu tunggu secara bersamaan.
Comments