目次 › 第3章 › 3-3

第3章 データロード・アンロードと接続 / 想定学習時間:30〜40分 / 最終確認:2026年8月

3-3. SnowpipeとSnowpipe Streaming(自動取り込み・課金・使い分け)

1. Snowpipe とは:サーバーレスの継続的ロード

3-2 の COPY INTO は「まとまったデータを、ウェアハウスを使って一括ロードする」方式でした。これに対して Snowpipe は、ステージに到着したファイルを、ほぼ到着順に自動でロードし続ける仕組みです。特徴は次の2点に集約されます。

• 継続的なマイクロバッチロード:ファイルが届くたびに小さな単位でロードします。到着から利用可能になるまでは通常「分のオーダー」のレイテンシです。
• サーバーレス:ユーザーが仮想ウェアハウスを用意・起動する必要はなく、Snowflake が管理するコンピュート資源でロードが実行されます。

Snowpipe の実体は PIPE(パイプ)というオブジェクトで、その定義の中身は COPY INTO 文です。

-- パイプの作成:定義の本体は COPY INTO 文そのもの
CREATE PIPE my_pipe
  AUTO_INGEST = TRUE
  AS
  COPY INTO sales
    FROM @my_ext_stage
    FILE_FORMAT = (FORMAT_NAME = 'my_csv_format');

-- パイプの状態確認
SELECT SYSTEM$PIPE_STATUS('my_pipe');

2. 起動方法:AUTO_INGEST と REST API

Snowpipe に「新しいファイルが来た」と知らせる方法は2つあります。

3. 課金モデルとファイルサイズの注意点

Snowpipe はユーザーのウェアハウスを使わないため、課金も COPY INTO とは異なります。

• サーバーレスコンピュートの使用量:ロード処理に使われた計算資源に応じてクレジットを消費します。
• ファイルあたりのオーバーヘッド:処理したファイル数に応じた固定的なオーバーヘッド課金が加わります。

この「ファイルあたりのオーバーヘッド」があるため、極端に小さいファイルを大量に流し込むと、データ量の割に割高で非効率になります。推奨されるファイルサイズは 3-1 と同じく圧縮済み 100〜250MB 程度です。とはいえ実際のストリーミング用途では、レイテンシ(すぐロードしたい)とコスト(まとめてから置きたい)のトレードオフになるため、「1分程度を目安にファイルをまとめて置く」といったバランス調整が推奨されています。

-- パイプごとのクレジット消費とロード量を確認する
SELECT pipe_name, credits_used, bytes_inserted, files_inserted
FROM TABLE(INFORMATION_SCHEMA.PIPE_USAGE_HISTORY(
  DATE_RANGE_START => DATEADD(day, -7, CURRENT_DATE())
));

-- パイプの実行状態(RUNNING など)や滞留ファイル数を確認する
SELECT SYSTEM$PIPE_STATUS('my_pipe');

4. ロード履歴:重複防止メタデータと履歴の確認先

Snowpipe も COPY INTO と同様に、同じファイルの重複ロードを防ぐためのメタデータを保持しますが、保持期間が異なります。この「14日と64日」は、あくまで重複ロード防止用メタデータの保持期間である点に注意してください。

この日数の違いは頻繁に比較で問われます。「バルクは64日、Snowpipe は14日」と対で暗記しておきましょう。

一方、監査やロード結果の履歴確認は重複防止メタデータとは別の話で、確認先が分かれます。

5. Snowpipe Streaming:ファイルを経由しない行単位の取り込み

Snowpipe が「ファイル」を単位とするのに対し、Snowpipe Streaming はファイルを経由せず、行(row)単位でデータを直接テーブルに書き込む仕組みです。

• SDK とチャネル:アプリケーションが Snowpipe Streaming の SDK を使い、チャネル(channel)と呼ばれる接続を通じて行を送信します。
• 低レイテンシ:ファイルの作成・ステージングを挟まないため、秒レベルの低レイテンシで取り込めます。
• Kafka との組み合わせ:Snowflake Connector for Kafka は Snowpipe Streaming と組み合わせて使うことができ、Kafka トピックのメッセージを低レイテンシでテーブルへ流し込めます。

6. 3方式の使い分け(比較表)

ここまでの3つのロード方式を1つの表に整理します。この比較は本章の要となる知識です。

練習問題