데이터 프로필 스캔 만들기 및 사용

Dataplex Universal Catalog를 사용하면 BigQuery 테이블에 있는 열의 일반적인 통계 특성(일반적인 값, 데이터 분포, null 개수)을 식별할 수 있습니다. 이 정보는 데이터를 더욱 효과적으로 이해하고 분석하는 데 도움이 됩니다.

Dataplex Universal Catalog 데이터 프로필 스캔에 대한 자세한 내용은 데이터 프로파일링 정보를 참조하세요.

시작하기 전에

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

필요한 역할

데이터 프로필 스캔을 만들고 관리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트 또는 테이블과 같은 리소스에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

  • 데이터 프로필 스캔 만들기, 실행, 업데이트, 삭제: 데이터 스캔이 포함된 프로젝트에 대한 Dataplex DataScan 편집자(roles/dataplex.dataScanEditor) 역할
  • Dataplex Universal Catalog가 BigQuery 데이터에 대해 데이터 프로필 스캔을 실행하도록 허용하려면 Dataplex Universal Catalog 서비스 계정에 다음 역할을 부여하세요. 스캔을 실행하는 프로젝트의 BigQuery 작업 사용자(roles/bigquery.jobUser) 역할, 스캔되는 테이블의 BigQuery 데이터 뷰어(roles/bigquery.dataViewer) 역할
  • Cloud Storage 데이터를 사용하는 BigQuery 외부 테이블에 대한 데이터 프로필 스캔을 실행하려면 Dataplex Universal Catalog 서비스 계정에 Cloud Storage 버킷에 대한 스토리지 객체 뷰어(roles/storage.objectViewer) 및 스토리지 기존 버킷 리더(roles/storage.legacyBucketReader) 역할을 부여합니다.
  • 데이터 프로필 스캔 결과, 작업, 기록 보기: 데이터 스캔이 포함된 프로젝트에 대한 Dataplex DataScan 뷰어(roles/dataplex.dataScanViewer) 역할
  • 데이터 프로필 스캔 결과를 BigQuery 테이블로 내보내기: 테이블에 대한 BigQuery 데이터 편집자(roles/bigquery.dataEditor) 역할
  • 데이터 프로필 스캔 결과를 Dataplex Universal Catalog에 게시: @bigquery 항목 그룹에 대한 Dataplex 카탈로그 편집자(roles/dataplex.catalogEditor) 역할
  • 데이터 프로필 탭에서 BigQuery에 게시된 데이터 프로필 스캔 결과 보기: 테이블에 대한 BigQuery 데이터 뷰어(roles/bigquery.dataViewer) 역할

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

필수 권한

커스텀 역할을 사용하는 경우 다음 IAM 권한을 부여해야 합니다.

  • 데이터 프로필 스캔 만들기, 실행, 업데이트, 삭제:
    • 프로젝트에 대한 dataplex.datascans.create: DataScan 만들기
    • 데이터 스캔에 대한 dataplex.datascans.update: DataScan 설명 업데이트
    • 데이터 스캔에 대한 dataplex.datascans.delete: DataScan 삭제
    • 데이터 스캔에 대한 dataplex.datascans.run: DataScan 실행
    • 데이터 스캔에 대한 dataplex.datascans.get: 결과를 제외한 DataScan 세부정보 보기
    • 프로젝트에 대한 dataplex.datascans.list: DataScan 나열
    • 데이터 스캔 작업에 대한 dataplex.dataScanJobs.get: DataScan 작업 리소스 읽기
    • 데이터 스캔에 대한 dataplex.dataScanJobs.list: 프로젝트의 DataScan 작업 리소스 나열
  • Dataplex Universal Catalog가 BigQuery 데이터에 대해 데이터 프로필 스캔을 실행하도록 허용:
    • 프로젝트에 대한 bigquery.jobs.create: 작업 실행
    • 테이블에 대한 bigquery.tables.get: 테이블 메타데이터 가져오기
    • 테이블에 대한 bigquery.tables.getData: 테이블 데이터 가져오기
  • Cloud Storage 데이터를 사용하는 BigQuery 외부 테이블에 대한 데이터 프로필 스캔 실행:
    • 버킷에 대한 storage.buckets.get: 버킷 메타데이터 읽기
    • 객체에 대한 storage.objects.get: 객체 데이터 읽기
  • 데이터 프로필 스캔 결과, 작업, 기록 보기:
    • 데이터 스캔에 대한 dataplex.datascans.getData: 결과를 포함한 DataScan 세부정보 보기
    • 프로젝트에 대한 dataplex.datascans.list: DataScan 나열
    • 데이터 스캔 작업에 대한 dataplex.dataScanJobs.get: DataScan 작업 리소스 읽기
    • 데이터 스캔에 대한 dataplex.dataScanJobs.list: 프로젝트의 DataScan 작업 리소스 나열
  • 데이터 프로필 스캔 결과를 BigQuery 테이블로 내보내기:
    • 데이터 세트에 대한 bigquery.tables.create: 테이블 만들기
    • 테이블에 대한 bigquery.tables.updateData: 테이블에 데이터 쓰기
  • 데이터 프로필 스캔 결과를 Dataplex Universal Catalog에 게시:
    • 항목 그룹에 대한 dataplex.entryGroups.useDataProfileAspect: Dataplex Universal Catalog 데이터 프로필 스캔이 결과를 Dataplex Universal Catalog에 저장할 수 있도록 허용
    • 또한 다음 권한 중 하나가 필요합니다.
      • 테이블에 대한 bigquery.tables.update: 테이블 메타데이터 업데이트
      • 항목에 대한 dataplex.entries.update: 항목 업데이트
  • BigQuery 또는 Dataplex Universal Catalog의 테이블에 대해 게시된 데이터 프로필 결과 보기:
    • 테이블에 대한 bigquery.tables.get: 테이블 메타데이터 가져오기
    • 테이블에 대한 bigquery.tables.getData: 테이블 데이터 가져오기

테이블에서 BigQuery 행 수준 보안을 사용하는 경우 Dataplex Universal Catalog는 Dataplex Universal Catalog 서비스 계정에 표시되는 행만 스캔할 수 있습니다. Dataplex Universal Catalog가 모든 행을 스캔하도록 허용하려면 조건자가 TRUE인 행 필터에 서비스 계정을 추가하세요.

테이블에서 BigQuery 열 수준 보안을 사용하는 경우 Dataplex Universal Catalog에서 보호된 열을 스캔하려면 액세스 권한이 필요합니다. 액세스 권한을 부여하려면 테이블에 사용된 모든 정책 태그에 대해 Dataplex Universal Catalog 서비스 계정에 Data Catalog 세분화된 권한의 리더(roles/datacatalog.fineGrainedReader) 역할을 부여합니다. 데이터 스캔을 만들거나 업데이트하는 사용자는 보호된 열에 대한 권한도 필요합니다.

Dataplex Universal Catalog 서비스 계정에 역할 부여

데이터 프로필 스캔을 실행하기 위해 Dataplex Universal Catalog는 BigQuery 작업을 실행하고 BigQuery 테이블 데이터를 읽을 수 있는 권한이 필요한 서비스 계정을 사용합니다. 필요한 역할을 부여하려면 다음 단계를 따르세요.

  1. Dataplex Universal Catalog 서비스 계정 이메일 주소를 가져옵니다. 이 프로젝트에서 데이터 프로필 또는 데이터 품질 스캔을 이전에 만든 적이 없는 경우 다음 gcloud 명령어를 실행하여 서비스 ID를 생성합니다.

    gcloud beta services identity create --service=dataplex.googleapis.com

    이 명령어는 서비스 계정 이메일을 반환하며, 이메일의 형식은 service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com입니다.

    서비스 계정이 이미 있는 경우 Google Cloud 콘솔의