自動特徴前処理
BigQuery ML は、トレーニング中に CREATE MODEL ステートメントを使用して自動前処理を実行します。自動前処理は、欠損値の補完と特徴量の変換で構成されます。
BigQuery ML での特徴の前処理のサポートについては、特徴の前処理の概要をご覧ください。
欠損データの補完
統計学では、欠損データを代替値で置き換えるために補完を使用します。BigQuery ML でモデルをトレーニングする場合、NULL 値は欠損データとして処理されます。BigQuery ML で結果を予測する場合、BigQuery ML が NULL 値や未知の値に遭遇すると、欠損値が発生する可能性があります。BigQuery ML では、列内のデータの種類に応じて欠損データの処理方法が異なります。
| 列の型 | 補完方法 |
|---|---|
| 数値 | トレーニングと予測の両方で、数値列の NULL 値は、元の入力データの特徴列によって計算された、指定された列の平均値に置き換えられます。 |
| ワンホット / マルチホット エンコード | トレーニングと予測の両方で、エンコード列の NULL 値は、データに追加される追加カテゴリにマッピングされます。未知のデータには、予測時に重み 0 が割り当てられます。 |
TIMESTAMP |
TIMESTAMP 列では、標準化列とワンホット エンコード列の両補完方法が組み合わせて使用されます。生成された Unix 時間列の場合、BigQuery ML は値を元の列全体の平均 Unix 時間で置き換えます。その他の生成された値の場合、BigQuery ML は抽出された各特徴のそれぞれの NULL カテゴリに値を割り当てます。 |
STRUCT |
トレーニングと予測の両方で、STRUCT の各フィールドはタイプに応じて補完されます。 |
特徴変換
デフォルトでは、BigQuery ML は入力の特徴を次のように変換します。
| 入力データ型 | 変換方法 | 詳細 |
|---|---|---|
INT64NUMERIC |