Configurazione del deployment
Questo documento illustra le opzioni di configurazione del deployment per Cortex Framework nelle seguenti aree:
- Configurazioni di deployment (
config/config.yaml): definisce le variabili globali, gli ambienti di build e la mappatura dei moduli (destinazioni di base dei dati e dei prodotti di dati). - Configurazioni delle tabelle (
table_settings.yaml): specifiche di schema e prestazioni specifiche del modulo, che descrivono in dettaglio come vengono compilate e conformate le tabelle di base in BigQuery.
Questa guida fornisce anche guide pratiche con istruzioni passo passo per scenari e casi d'uso di deployment comuni.
File di configurazione: config/config.yaml
Il file config/config.yaml, in genere inizializzato dal modello
config/config.yaml.example, funge da configurazione principale
per il deployment di Cortex Framework. Definisce i parametri critici, tra cui il progetto di esecuzione di destinazione, i set di dati BigQuery di origine e di destinazione e le specifiche Dataform, come i nomi del repository e dello spazio di lavoro. Google Cloud
Le sezioni seguenti forniscono una suddivisione dettagliata della struttura di config/config.yaml.
Ambiente di build
Il progetto dell'ambiente di build è il progetto a cui vengono addebitate le azioni di build,
come i job BigQuery (lettura di DD03L).
buildEnvironment:
buildProjectId: YOUR_BUILD_PROJECT_ID
La seguente tabella descrive i parametri dell'ambiente di build.
| Parametro | Significato | Valore predefinito | Descrizione |
|---|---|---|---|
buildEnvironment.buildProjectId |
ID progetto build | YOUR_BUILD_PROJECT_ID |
Google Cloud ID progetto in cui vengono eseguite le operazioni di build. |
Panoramica della sezione Dati
La sezione data: del file di configurazione definisce le origini dati,
i target e i moduli specifici per la base di dati e i prodotti di dati.
La sua struttura generale è la seguente:
data:
# Geographic location for BigQuery datasets (for example: US, EU, us-central1)
# For full list see: https://docs.cloud.google.com/cortex/docs/supported-locations
bigQueryLocation: US
# List of namespaces for data foundation and product modules.
namespaces:
- name: cortex
path: cortex
# List of source datasets.
sources:
- ...
# List of target datasets.
targets:
- ...
# Configuration for data foundation and product modules.
modules:
# List of foundation modules.
foundation:
- ...
# List of data product modules.
product:
- ...
Dati: posizione BigQuery
Definisce la posizione dei set di dati di origine e di destinazione BigQuery.
| Parametro | Significato | Valore predefinito | Descrizione |
|---|---|---|---|
data.bigQueryLocation |
Località BigQuery | US |
Posizione del set di dati BigQuery (ad esempio US, us-central1 o europe-west1).
|
Dati: spazio dei nomi Cortex
Definisce lo spazio dei nomi di Cortex Framework.
| Parametro | Significato | Valore predefinito | Descrizione |
|---|---|---|---|
data.namespaces.name |
Nome dello spazio dei nomi | - | Nome dello spazio dei nomi di Cortex Framework. Ad esempio, cortex. |
data.namespaces.path |
Percorso dello spazio dei nomi | - | Percorso dello spazio dei nomi di Cortex Framework per le sottodirectory utilizzate all'interno delle cartelle src e config. Ad esempio, cortex. |
Dati: origini BigQuery e set di dati di destinazione
L'elenco delle origini definisce i set di dati BigQuery in cui sono stati replicati o trasmessi i dati non elaborati dal sistema di origine.
Le destinazioni definiscono un elenco di set di dati BigQuery in cui verranno archiviati i set di dati elaborati da Dataform.
Ogni origine e ogni target viene referenziato dai moduli utilizzando il proprio ID univoco.
# Data source and target mapping
sources:
- id: sap_raw
projectId: YOUR_SOURCE_PROJECT_ID
datasetId: cortex_sap_raw
targets:
- id: