전송 만들기

이 페이지에서는 전송 작업을 만들고 시작하는 방법을 보여줍니다.

소스 및 대상(싱크라고도 함)이 Storage Transfer Service에서 지원되는지 확인하려면 지원되는 소스 및 싱크를 참조하세요.

에이전트 및 에이전트 풀

소스 및 대상에 따라 에이전트 풀을 만들어 구성하고 소스 또는 대상에 대한 액세스 권한이 있는 머신에 에이전트를 설치해야 할 수도 있습니다.

  • Amazon S3, Microsoft Azure, URL 목록 또는 Cloud Storage에서 Cloud Storage로 전송 시 에이전트와 에이전트 풀이 필요하지 않습니다.

  • 해당 소스 또는 대상이 파일 시스템이거나 S3 호환 스토리지의 전송은 에이전트 및 에이전트 풀이 필요하지 않습니다. 자세한 내용은 에이전트 풀 관리를 참조하세요.

시작하기 전에

전송을 구성하기 전에 다음에 대한 액세스를 구성했는지 확인하세요.

gcloud 명령어를 사용하는 경우 gcloud CLI를 설치합니다.

전송 만들기

전송 작업 이름에 개인 식별 정보(PII) 또는 보안 데이터와 같은 민감한 정보를 포함하지 마세요. 리소스 이름은 다른 Google Cloud 리소스 이름으로 전파될 수 있으며 프로젝트 외부의 Google 내부 시스템에 노출될 수 있습니다.

Google Cloud 콘솔

  1. Google Cloud 콘솔에서 Storage Transfer Service 페이지로 이동합니다.

    Storage Transfer Service로 이동

  2. 전송 작업 만들기를 클릭합니다. 전송 작업 만들기 페이지가 표시됩니다.

  3. 소스를 선택합니다.

    Cloud Storage

    소스 계정과 대상 버킷을 선택하려면 사용자 계정에 storage.buckets.get 권한이 있어야 합니다. 또는 버킷 이름을 직접 입력할 수 있습니다. 자세한 내용은 액세스 문제 해결을 참조하세요.

    1. 소스 유형에서 Cloud Storage를 선택합니다.

    2. 대상 유형을 선택합니다.

    3. 대상 위치가 Cloud Storage인 경우 예약 모드를 선택합니다. 일괄 전송은 일회성 또는 예약 기반으로 실행됩니다. 이벤트 기반 전송은 소스를 지속적으로 모니터링하고 데이터가 추가되거나 수정되면 데이터를 전송합니다.

      이벤트 기반 전송을 구성하려면 이벤트 기반 전송의 안내를 수행합니다.

    4. 다음 단계를 클릭합니다.

    5. 다음 중 하나를 수행하여 버킷과 해당 버킷의 폴더(선택사항)를 선택합니다.

      • 버킷 또는 폴더 필드에 프리픽스 gs:// 없이 기존 Cloud Storage 버킷 이름과 경로를 입력합니다. 예를 들면 my-test-bucket/path/to/files입니다. 다른 프로젝트의 Cloud Storage 버킷을 지정하려면 버킷 이름 필드에 이름을 정확하게 입력합니다.

      • 찾아보기를 클릭한 후 버킷을 선택하여 프로젝트의 기존 버킷 목록을 선택합니다.

        찾아보기를 클릭할 때 프로젝트 ID를 클릭하고 새 프로젝트 ID와 버킷을 선택하여 다른 프로젝트에서 버킷을 선택할 수 있습니다.

      • 새 버킷을 만들려면 새 버킷 만들기를 클릭합니다.

      폴더 내 경로를 지정하는 경우 소스 및 대상 경로 지정에서 중요한 세부정보를 확인하세요.

    6. 이벤트 기반 전송인 경우 다음 형식으로 Pub/Sub 구독 이름을 입력합니다.

      projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
    7. 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가 my-test-bucket/path/인 경우 file의 포함 필터는 my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다.

    8. 다음 단계를 클릭합니다.

    Amazon S3

    Amazon S3에서 Cloud Storage로 전송을 참조하세요.

    S3 호환 스토리지

    S3 호환 스토리지에서 Cloud Storage로 전송을 참조하세요.

    Microsoft Azure Blob Storage

    1. 소스 유형에서 Azure Blob Storage 또는 Data Lake Storage Gen2를 선택합니다.

    2. 다음 단계를 클릭합니다.

    3. 다음 사항을 지정합니다.

      1. 스토리지 계정 이름 — 소스 Microsoft Azure Storage 계정 이름입니다.

        스토리지 계정 이름은 모든 서비스 > 스토리지 > 스토리지 계정의 Microsoft Azure Storage 포털에 표시됩니다.

      2. 컨테이너 이름 — Microsoft Azure Storage 컨테이너 이름입니다.

        컨테이너 이름은 스토리지 탐색기 > Blob 컨테이너의 Microsoft Azure Storage 포털에 표시됩니다.

      3. 공유 액세스 서명(SAS) — 저장된 액세스 정책에서 만든 Microsoft Azure Storage SAS 토큰입니다. 자세한 내용은 공유 액세스 서명(SAS)을 사용하여 Azure Storage 리소스에 대한 제한된 액세스 권한 부여를 참조하세요.

        SAS 토큰의 기본 만료 시간은 8시간입니다. SAS 토큰을 만들 때 전송을 성공적으로 완료할 수 있도록 적절한 만료 시간을 설정해야 합니다.
    4. 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가 my-test-bucket/path/인 경우 file의 포함 필터는 my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다.

    5. 다음 단계를 클릭합니다.

    파일 시스템

    1. 소스 유형에서 POSIX 파일 시스템을 선택합니다.

    2. 대상 유형을 선택하고 다음 단계를 클릭합니다.

    3. 기존 에이전트 풀을 선택하거나 에이전트 풀 만들기를 선택하고 안내에 따라 새 풀을 만듭니다.

    4. 파일 시스템 디렉터리의 정규화된 경로를 지정합니다. 루트가 아닌 경로를 지정하는 경우 소스 및 대상 경로 지정에서 중요한 세부정보를 확인하세요.

    5. 다음 단계를 클릭합니다.

    HDFS

    HDFS에서 Cloud Storage로 전송을 참조하세요.

    URL 목록

    1. 소스 유형에서 URL 목록을 선택하고 다음 단계를 클릭합니다.

    2. TSV 파일의 URL에서 탭으로 구분된 값(TSV) 파일의 URL을 입력합니다. TSV 파일을 만드는 방법에 대한 자세한 내용은 URL 목록 만들기를 참조하세요.

    3. 원하는 경우 프리픽스를 기준으로 객체를 필터링하거나 최종 수정 날짜를 기준으로 객체를 필터링하도록 선택합니다. 폴더를 소스 위치로 지정한 경우 프리픽스 필터는 해당 폴더를 기준으로 합니다. 예를 들어 소스가 my-test-bucket/path/인 경우 file의 포함 필터는 my-test-bucket/path/file로 시작하는 모든 파일을 포함합니다.

    4. 다음 단계를 클릭합니다.

  4. 대상 위치 선택:

    Cloud Storage

    1. 버킷 또는 폴더 필드에 대상 버킷과 폴더 이름(선택사항)을 입력하거나 찾아보기를 클릭하여 현재 프로젝트의 기존 목록에서 버킷을 선택합니다. 새 버킷을 만들려면 새 버킷 만들기를 클릭합니다.

      버킷 내 경로를 지정하는 경우 소스 및 대상 경로 지정에서 중요한 세부정보를 확인하세요.

    2. 다음 단계를 클릭합니다.

    3. 예약 옵션을 선택합니다.

      1. 한 번 실행 드롭다운 목록에서 다음 중 하나를 선택합니다.

        • 한 번 실행: 선택한 시간에 단일 전송을 실행합니다.

        • 매일 실행: 선택한 시점부터 매일 전송을 실행합니다.

          선택사항인 종료일을 입력하거나 종료일을 비워 두어 전송을 계속 실행할 수 있습니다.

        • 매주 실행: 선택한 시간부터 매주 전송을 실행합니다.

        • 커스텀 빈도로 실행: 선택한 빈도로 전송을 실행합니다. 시간, 일 또는 주라는 정기적인 간격으로 전송을 반복하도록 선택할 수 있습니다.

          선택사항인 종료일을 입력하거나 종료일을 비워 두어 전송을 계속 실행할 수 있습니다.

      2. 지금 시작 드롭다운 목록에서 다음 중 하나를 선택합니다.

        • 지금 시작: 만들기를 클릭한 후 전송을 시작합니다.

        • 시작일: 선택한 날짜 및 시간에 전송을 시작합니다. 캘린더를 클릭하여 시작일을 선택할 캘린더를 표시합니다.

    4. 다음 단계를 클릭합니다.

    5. 전송 작업의 설정을 선택합니다. 일부 옵션은 특정 소스/싱크 조합에만 사용할 수 있습니다.

      1. 설명 필드에 전송 설명을 입력합니다. 작업을 구분할 수 있도록 의미 있고 고유한 설명을 입력하는 것이 좋습니다.

      2. 메타데이터 옵션에서 기본 옵션을 사용하도록 선택하거나 옵션 보기 및 선택을 클릭하여 지원되는 모든 메타데이터의 값을 지정합니다. 자세한 내용은 메타데이터 보존을 참조하세요.

      3. 덮어쓸 시점에서 다음 중 하나를 선택합니다.

        • 다른 경우: 이름이 같은 소스 파일에 다른 Etag 또는 체크섬 값이 있는 경우 대상 파일을 덮어씁니다.

        • 항상: 소스 파일 이름이 같으면 동일하더라도 항상 대상 파일을 덮어씁니다.

      4. 삭제 시점에서 다음 중 하나를 선택합니다.

        • 삭제 안함: 소스 또는 대상 위치에서 파일을 삭제하지 않습니다.

        • 전송 후 소스에서 파일 삭제: 파일이 대상으로 전송된 후 소스에서 파일을 삭제합니다. 소스 파일이 전송되지 않는 경우(예: 대상에 이미 있는 경우) 소스 파일은 삭제되지 않습니다.

        • 소스에도 없는 경우 대상 위치에서 파일 삭제: 대상 Cloud Storage 버킷의 파일이 소스에도 없는 경우 Cloud Storage 버킷에서 파일을 삭제합니다.

          이 옵션을 사용하면 대상 Cloud Storage 버킷이 소스와 정확하게 일치합니다.

      5. Cloud Storage 버킷 간 전송의 경우 관리 폴더를 전송할지 선택합니다.

      6. Storage Transfer Service 로깅을 사용 설정하거나 사용 중지합니다.

      7. 알림 옵션에서 Pub/Sub 주제 및 알림을 받을 이벤트를 선택합니다(선택사항). 자세한 내용은 Pub/Sub 알림을 참고하세요.

    6. 사용자 관리형 서비스 계정에 서비스 에이전트 권한을 위임하는 경우 해당 옵션을 선택하고 서비스 계정 이메일 주소를 SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com 형식으로 입력합니다.

    7. 만들기를 클릭합니다.

    파일 시스템

    1. 기존 에이전트 풀을 선택하거나 에이전트 풀 만들기를 선택하고 안내에 따라 새 풀을 만듭니다.

    2. 정규화된 대상 디렉터리 경로를 지정합니다. 루트가 아닌 경로를 지정하는 경우 소스 및 대상 경로 지정에서 중요한 세부정보를 확인하세요. 지정한 경로가 없으면 전송 에이전트가 전송 프로세스 중에 대상 파일 시스템에 디렉터리 구조를 만들려고 시도합니다. 에이전트에는 상위 디렉터리에 대한 쓰기 권한이 있어야 합니다.

    3. 다음 단계를 클릭합니다.

    4. 예약 옵션을 선택합니다.