マニフェストを使用して特定のファイルまたはオブジェクトを転送する

Storage Transfer Service では、特定のファイルまたはオブジェクトの転送がサポートされています。これらのファイルは、マニフェストを使用して指定します。manifestマニフェストは、Cloud Storage にアップロードされる CSV ファイルです。このファイルには、Storage Transfer Service が処理するファイルまたはオブジェクトのリストが含まれています。

マニフェストは次の転送に使用できます。

• AWS S3、S3 互換ストレージ、Azure Blobstore、または Cloud Storage から Cloud Storage バケット。

• ファイル システムから Cloud Storage バケット。

• Cloud Storage バケットからファイル システム。

• 2 つのファイル システム間。

• 一般公開されている HTTP / HTTPS ソースから Cloud Storage バケット。マニフェストの形式は URL リストに固有なため、URL リストを作成するの手順に沿って操作します。

マニフェストを作成する

マニフェスト ファイルには次の要件があります。

• マニフェストは CSV 形式にする必要があります。
• UTF-8 文字を含めることができます。
• 最初の列は、ファイル名またはオブジェクト名にする必要があります。名前は、転送ジョブで指定された ルートパスまたはバケットとフォルダに対する相対パスです。詳細については、 ファイル システム転送と オブジェクト ストレージ転送をご覧ください。
• マニフェスト ファイルはワイルドカードをサポートしていません。ファイル名またはオブジェクト名のないフォルダ名は対象外です。
• ファイル名やオブジェクト名にカンマが含まれている場合は、名前を二重引用符で囲む必要があります。例: "doe,john.txt"
• マニフェスト ファイルのサイズに制限はありません。

構成エラーによる不要な API 呼び出しを避けるため、少数のファイルまたはオブジェクトで転送をテストすることをおすすめします。

ファイル転送のステータスは、転送ジョブのページでモニタリングできます。転送に失敗したファイルまたはオブジェクトは転送ログに記録されます。

ファイル システム転送

ファイル システム上のファイルのマニフェストを作成するには、1 列の CSV ファイルを作成し、その列に転送ジョブの作成で指定したルート ディレクトリからの相対ファイルパスを記述します。

たとえば、次のファイル システム ファイルを転送するとします。

マニフェストは次のようになります。

dir1/subdir1/file1.txt
file2.txt
dir2/subdir1/file3.txt

マニフェスト ファイルを任意のファイル名と .csv 拡張子で保存します。

オブジェクト ストレージ転送

オブジェクトのマニフェストを作成するには、最初の列にオブジェクト名を含む CSV ファイルを作成します。オブジェクト名は、転送ジョブの作成時に指定したバケット名とパスに対する相対名で記述します。すべてのオブジェクトは同じバケット内に存在する必要があります。

オプションの 2 列目に、転送する特定のバージョンの Cloud Storage 世代番号を指定することもできます。

たとえば、次のオブジェクトを転送するとします。