Large objects (benda besar)¶

Static large objects (object besar statis)¶

Untuk membuat sebuah objek besar statis, bagilah konten Anda menjadi potongan-potongan dan menciptakan (upload) objek segmen mengandung masing-masing bagian.

Anda harus mencatat nilai header respon ETag dimana pengembalian operation PUT. Atau, Anda dapat menghitung checksum MD5 dari segmen sebelum Anda melakukan upload dan termasuk nilai ini dalam header permintaan ETag. Tindakan ini memastikan bahwa upload tidak dapat merusak data Anda.

Daftar nama masing-masing objek segmen bersama dengan ukuran dan MD5 checksum secara teratur.

Buat objek nyata (manifest). Sertakan query string ?multipart-manifest=put pada akhir nama objek nyata untuk menunjukkan bahwa ini adalah objek nyata.

Body permintaan (request) PUT pada objek nyata terdiri dari daftar JSON dimana setiap elemen mengandung atribut ini:

path

Wadah (container) dan objek nama dalam format: CONTAINER_NAME/OBJECT_NAME.

etag

MD5 checksum dari isi dari objek segmen. Nilai ini harus sesuai dengan ETag dari objek itu.

size_bytes

Ukuran dari objek segmen. Nilai ini harus sesuai dengan Content-Length dari objek itu.

[
    {
        "path": "mycontainer/objseg1",
        "etag": "0228c7926b8b642dfb29554cd1f00963",
        "size_bytes": 1468006
    },
    {
        "path": "mycontainer/pseudodir/seg-obj2",
        "etag": "5bfc9ea51a00b790717eeb934fb77b9b",
        "size_bytes": 1572864
    },
    {
        "path": "other-container/seg-final",
        "etag": "b9c3da507d2557c1ddc51f27c54bae51",
        "size_bytes": 256
    }
]

Dynamic large objects (objek besar yang dinamis)¶

Sebelum Anda dapat meng-upload object yang lebih besar dari 5 GB, Anda harus memotong mereka. Anda meng-upload object segmen seperti yang Anda lakukan dengan object lain dan menciptakan dinamika objek nyata (manifest) besar. Objek manifest memberitahu Object Storage bagaimana menemukan object segmen yang terdiri dari objek besar. Anda masih dapat mengakses setiap segmen individual, tetapi ketika Anda mengambil objek nyata, API merangkai segmen. Anda dapat menyertakan sejumlah segmen dalam sebuah objek tunggal yang besar.

Untuk memastikan download bekerja dengan benar, Anda harus meng-upload semua segmen objek ke kontainer yang sama dan awalan (prefix) setiap nama objek sehingga segmen semacam agar rangkaian yang benar.

Anda juga membuat dan mengunggah file manifest. File manifest file nol-byte dengan tambahan header X-Object-Manifest CONTAINER/PREFIX. CONTAINER adalah kontainer dimana segmen objek berada di dalamnya, dan `` PREFIX`` adalah awalan umum untuk semua segmen. Anda harus utf-8-encode dan kemudian URL-encode kontainer dan awalan umum di header X-Object-Manifest.

Cara terbaik adalah untuk meng-upload semua segmen pertama dan kemudian membuat atau memperbarui manifes. Dengan metode ini, objek penuh tidak tersedia untuk di-download sampai upload selesai. Juga, Anda dapat meng-upload satu set segmen baru ke lokasi kedua dan memperbarui manifes untuk menunjuk ke lokasi baru ini. Selama upload segmen baru, manifes asli masih tersedia untuk men-download set segmen pertama.

PUT /API_VERSION/ACCOUNT/CONTAINER/OBJECT HTTP/1.1
Host: storage.example.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
ETag: 8a964ee2a5e88be344f36c22562a6486
Content-Length: 1
X-Object-Meta-PIN: 1234

PUT /API_VERSION/ACCOUNT/CONTAINER/OBJECT HTTP/1.1
Host: storage.example.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
ETag: 8a964ee2a5e88be344f36c22562a6486
Content-Length: 1
X-Object-Meta-PIN: 1234

PUT /API_VERSION/ACCOUNT/CONTAINER/OBJECT HTTP/1.1
Host: storage.clouddrive.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
Content-Length: 0
X-Object-Meta-PIN: 1234
X-Object-Manifest: CONTAINER/PREFIX

[...]

Informasi transaksi tambahan¶

Anda dapat menggunakan header permintaan (request) X-Trans-Id-Extra untuk memasukkan informasi tambahan untuk membantu Anda debug kesalahan yang mungkin terjadi dengan meng-upload objek besar dan transaksi Object Storage lainnya.

Objek Storage API menambahkan 32 karakter pertama dari nilai header permintaan (request) X-Trans-Id-Extra ke nilai ID transaksi di header respon X-Trans-Id yang dihasilkan. Anda harus UTF-8-encode dan kemudian URL-encode informasi transaksi tambahan sebelum Anda memasukkannya dalam header permintaan X-Trans-Id-Extra.

Misalnya, Anda dapat memasukkan informasi transaksi tambahan ketika Anda meng-upload object besar seperti image.

Ketika Anda meng-upload setiap segmen dan manifes, masukkan nilai yang sama dalam header permintaan (request) X-Trans-Id-Extra . Jika terjadi kesalahan, Anda dapat menemukan semua permintaan yang berhubungan dengan upload objek besar di log Object Storage.

Anda juga dapat menggunakan string X-Trans-Id-Extra membantu permintaan operator debug yang gagal untuk menerima tanggapan. operator dapat mencari informasi tambahan di log.

Perbandingan object besar (large object) statis dan dinamis¶

Sementara objek statis dan dinamis memiliki perilaku yang sama, tabel ini menggambarkan perbedaan mereka:

Upload large objects with python-swiftclient¶

You can use python-swiftclient to easily upload large objects.

• Upload a large file by specifying the segment size with the --segment-size or -S arguments:

  $ swift upload CONTAINER OBJECT_FILENAME --segment-size <bytes>
  

  This will automatically break the file into the desired segment size and upload segments to a container named <container>_segments.

• After upload has completed, you can download the large object as a single file:

  $ swift download CONTAINER OBJECT_FILENAME
  

• Additional large object arguments can be found by using --help:

  $ swift upload --help