ラージオブジェクト¶

静的ラージオブジェクト¶

静的ラージオブジェクトを作成する場合、コンテンツを部品に分割し、各部品を含む分割オブジェクトを作成 (アップロード) します。

PUT 処理が返す ETag 応答ヘッダー値を記録する必要があります。代わりに、アップロード前にそのセグメントの MD5 チェックサムを計算して、これを ETag リクエストヘッダーに含めることもできます。このアクションにより、アップロードしたデータが破損していないことを保証できます。

順番に各分割オブジェクトの名前、容量、MD5 チェックサムを一覧表示します。

マニフェストオブジェクトを作成します。マニフェストオブジェクトの最後に ?multipart-manifest=put クエリー文字列を含め、これがマニフェストオブジェクトであることを示します。

マニフェストオブジェクトの PUT リクエストのボディーは JSON リストから構成され、各要素は以下の属性を含みます。

path

CONTAINER_NAME/OBJECT_NAME 形式のコンテナー名とオブジェクト名。

etag

分割オブジェクトのコンテンツの MD5 チェックサム。この値は、オブジェクトの ETag と一致しなければいけません。

size_bytes

分割オブジェクトの容量。この値は、オブジェクトの Content-Length と一致しなければいけません。

[
    {
        "path": "mycontainer/objseg1",
        "etag": "0228c7926b8b642dfb29554cd1f00963",
        "size_bytes": 1468006
    },
    {
        "path": "mycontainer/pseudodir/seg-obj2",
        "etag": "5bfc9ea51a00b790717eeb934fb77b9b",
        "size_bytes": 1572864
    },
    {
        "path": "other-container/seg-final",
        "etag": "b9c3da507d2557c1ddc51f27c54bae51",
        "size_bytes": 256
    }
]

動的ラージオブジェクト¶

5 GB より大きいオブジェクトをアップロードする前に、ユーザーはそのオブジェクトを分割する必要があります。他のオブジェクトと同様に分割オブジェクトをアップロードして、動的ラージマニフェストオブジェクトを作成します。マニフェストオブジェクトは、ラージオブジェクトを構成する分割オブジェクトを検索する方法を Object Storage に知らせます。分割オブジェクトに個別にアクセスできますが、マニフェストオブジェクトを取得する際には API は分割オブジェクトを結合します。1 つのラージオブジェクトには任意の数の分割オブジェクトを含めることができます。

ダウンロードをきちんと動作させるために、すべての分割オブジェクトを同じコンテナーにアップロードして、各オブジェクトの名前に同じ方法でプレフィックスを付ける必要があります。これにより、結合されるべき順番で並び替えられます。

マニフェストファイルも作成してアップロードします。マニフェストファイルは、追加の X-Object-Manifest CONTAINER/PREFIX ヘッダーを持つ 0 バイトのファイルです。この CONTAINER は、オブジェクトの部品が置かれるコンテナーです。PREFIX は、すべての部品に共通のプレフィックスです。X-Object-Manifest ヘッダーにあるコンテナーと共通プレフィックスを UTF-8 エンコードして URL エンコードする必要があります。

まず、すべての部品をアップロードして、マニフェストを作成または更新する方法が最良です。完全なオブジェクトは、アップロードが完了するまでダウンロードすることができません。また、新しいセットの部品を 2 番目の場所にアップロードして、この場所を指し示すようにマニフェストを更新できます。新しい部品のアップロード中は、元のマニフェストが 1 番目の部品をダウンロードできるままになっています。

PUT /API_VERSION/ACCOUNT/CONTAINER/OBJECT HTTP/1.1
Host: storage.example.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
ETag: 8a964ee2a5e88be344f36c22562a6486
Content-Length: 1
X-Object-Meta-PIN: 1234

PUT /API_VERSION/ACCOUNT/CONTAINER/OBJECT HTTP/1.1
Host: storage.example.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
ETag: 8a964ee2a5e88be344f36c22562a6486
Content-Length: 1
X-Object-Meta-PIN: 1234

PUT /API_VERSION/ACCOUNT/CONTAINER/OBJECT HTTP/1.1
Host: storage.clouddrive.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
Content-Length: 0
X-Object-Meta-PIN: 1234
X-Object-Manifest: CONTAINER/PREFIX

[...]

拡張トランザクション情報¶

ラージオブジェクトのアップロードや他の Object Storage のトランザクションで発生したエラーのデバッグの助けとなるように、 X-Trans-Id-Extra リクエストヘッダーを使って追加情報を含めることができます。

Object Storage API は、 X-Trans-Id-Extra リクエストヘッダーの値の最初の 32 文字を、生成する X-Trans-Id レスポンスヘッダーのトランザクション ID 値に追加します。 X-Trans-Id-Extra リクエストヘッダーに値を指定する前に、追加のトランザクション情報は UTF-8 エンコードと URL エンコードを行わなければいけません。

例えば、イメージなどのラージオブジェクトをアップロードする際に追加のトランザクション情報を含めることができます。

各セグメントとマニフェストをアップロードする際、 X-Trans-Id-Extra リクエストヘッダーに同じ値を指定します。エラーが発生した場合、 Object Storage のログからそのラージオブジェクトのアップロードに関連する全リクエストを見つけることができます。

また X-Trans-Id-Extra はオペレーターが応答を受信できなかったリクエストのデバッグを行う際にも役立ちます。オペレーターはログで追加情報を検索できます。

静的ラージオブジェクトと動的ラージオブジェクトの比較¶

静的オブジェクトと動的オブジェクトは同じような動作をしますが、この表は違いを説明しています。

python-swiftclient を用いたラージオブジェクトのアップロード¶

python-swiftclient を使用して、ラージオブジェクトを簡単にアップロードできます。

• --segment-size または -S 引数を使用してセグメントサイズを指定することにより、ラージオブジェクトをアップロードします。

  $ swift upload CONTAINER OBJECT_FILENAME --segment-size <bytes>
  

  これにより、ファイルが希望するセグメントサイズに自動的に分割され、<container>_segments という名前のコンテナーにアップロードされます。

• アップロードした後、ラージオブジェクトを単一ファイルとしてダウンロードすることもできます。

  $ swift download CONTAINER OBJECT_FILENAME
  

• その他のラージオブジェクト関連の引数は、--help を使用して見つけられます。

  $ swift upload --help