Pengantar pengolahan Data

Pengontrol layanan pengolahan Data akan bertanggung jawab untuk menciptakan, memelihara, dan menghancurkan segala hal yang diciptakan untuk clusternya. Pengontrol akan menggunakan layanan Networking untuk membangun jalur jaringan antara dirinya dan cluster. Ini juga akan mengelola penyebaran dan siklus hidup aplikasi pengguna yang akan dijalankan di cluster. Instance dalam sebuah cluster berisi inti mesin pemrosesan kerangka dan layanan pemrosesan Data menyediakan beberapa opsi untuk membuat dan mengelola koneksi ke instance ini.

Sumber daya pengolahan data (clusters, jobs, and data sources) dipisahkan oleh proyek yang didefinisikan dalam layanan Identitas. Sumber daya ini dibagi dalam sebuah proyek dan penting untuk memahami kebutuhan akses mereka yang menggunakan layanan ini. Kegiatan dalam proyek (misalnya, launching clusters, uploading jobs, dll.) dapat dibatasi lebih jauh melalui penggunaan role-based access control.

Dalam bab ini kita membahas bagaimana menilai kebutuhan pengguna pengolahan data sehubungan dengan aplikasinya, data yang mereka gunakan, dan kemampuan yang diharapkan dalam suatu proyek. Kami juga akan menunjukkan sejumlah teknik pengerasan untuk pengendali layanan dan clusternya, dan memberikan contoh berbagai konfigurasi controller dan pendekatan manajemen pengguna untuk memastikan tingkat keamanan dan privasi yang memadai.

Arsitektur

Diagram berikut menyajikan pandangan konseptual tentang bagaimana layanan pemrosesan Data sesuai dengan ekosistem OpenStack yang lebih besar.

../_images/data_processing_architecture.png

Layanan pengolahan Data membuat penggunaan berat dari layanan Compute, Orchestration, Image, dan Block Storage selama penyediaan cluster. Ini juga akan menggunakan satu atau beberapa jaringan, yang diciptakan oleh layanan Networking, yang disediakan selama pembuatan cluster untuk akses administratif ke instance. Sementara pengguna menjalankan aplikasi framework controller dan cluster akan mengakses layanan Object Storage. Dengan penggunaan layanan ini, sebaiknya ikuti petunjuk yang diuraikan di Dokumentasi sistem untuk membuat katalog semua komponen instalasi.

Teknologi terlibat

Layanan Data Processing bertanggung jawab atas pengerahan dan pengelolaan beberapa aplikasi. Untuk pemahaman lengkap tentang opsi keamanan yang diberikan, kami merekomendasikan agar operator memiliki keakraban umum dengan aplikasi ini. Daftar teknologi yang disorot dibagi menjadi dua bagian: pertama, aplikasi prioritas tinggi yang memiliki dampak lebih besar pada keamanan, dan kedua, mendukung aplikasi dengan dampak yang lebih rendah.

Dampak lebih tinggi

Dampak lebih rendah

Teknologi ini terdiri dari inti kerangka kerja yang digunakan dengan layanan pengolahan Data. Selain teknologi ini, layanan ini juga mencakup kerangka kerja yang disediakan oleh vendor pihak ketiga. Kerangka bundel ini dibuat dengan menggunakan potongan inti yang sama seperti yang dijelaskan di atas ditambah konfigurasi dan aplikasi yang disertakan vendor. Untuk informasi lebih lanjut tentang kumpulan kerangka pihak ketiga, silakan lihat link berikut ini:

Akses pengguna ke sumber daya

Sumber daya (clusters, jobs, dan data source) dari layanan pengolahan Data dibagi dalam lingkup proyek. Meskipun satu instalasi pengontrol tunggal dapat mengatur beberapa kumpulan sumber daya, sumber daya ini masing-masing akan diolah satu proyek tunggal. Dengan kendala ini, kami merekomendasikan agar keanggotaan pengguna dalam proyek dipantau secara ketat untuk menjaga pemisahan sumber daya secara benar.

Karena persyaratan keamanan dari organisasi yang menerapkan layanan ini akan bervariasi berdasarkan kebutuhan spesifik mereka, kami merekomendasikan agar operator fokus pada privasi data, pengelolaan cluster, dan aplikasi pengguna akhir sebagai titik awal untuk mengevaluasi kebutuhan pengguna mereka. Keputusan ini akan membantu memandu proses konfigurasi akses pengguna ke layanan. Untuk diskusi yang diperluas tentang privasi data lihat Privasi data penyewa.

Asumsi default untuk instalasi pengolahan data adalah pengguna akan memiliki akses ke semua fungsi dalam proyek mereka. Jika diperlukan kontrol yang lebih terperinci, layanan pengolahan data menyediakan file kebijakan (seperti yang dijelaskan di Kebijakan). Konfigurasi ini akan sangat tergantung pada kebutuhan organisasi penginstalan, dan karena itu tidak ada saran umum mengenai penggunaannya: lihat Kebijakan kontrol akses berbasis peran untuk rinciannya.