ちょっとしたSQL（Presto）チューニング豆知識

2022年6月22日

サンプルSQLの概要

WITH句にて動的に800万件のデータテーブルを作成。そして下記の2パターンにてデータ抽出を行います。

REGEXP_LIKE
ORを複数個

抽出するデータ件数はともに500行となります。

サンプルソース

抽出対象のデータを一時的に作成するWITH句です。

-- テスト用テーブル（8,000,000件）を動的に作成
WITH tmp AS(
  -- SQLでマッチするパターンのデータ（500件）を作成
  SELECT
    *
  FROM(
    SELECT
      time
      ,'test_data_a_' || cast(ROW_NUMBER() OVER(PARTITION BY time ORDER BY time) AS varchar) AS test_data
    FROM sample_datasets.nasdaq
    LIMIT 500
  )
  UNION ALL
  -- SQLでマッチしないパターンのデータ（7,999,500件）を作成
  SELECT
    *
  FROM(
    SELECT
      time
      ,'test_data_b_' || cast(ROW_NUMBER() OVER(PARTITION BY time ORDER BY time) AS varchar) AS test_data
    FROM sample_datasets.nasdaq
    LIMIT 7999500
  )
)

テーブル内は下記のようなイメージです。

そして、WITH句のテーブルからデータを抽出するSQLです。

1.REGEXP_LIKE

SELECT
  *
FROM tmp
WHERE 
-- 1 REGEXP_LIKEで検索させる * 1.2どちらもマッチする件数はおなじ
REGEXP_LIKE(test_data, 'test_data_a_')

2.ORを複数個

SELECT
  *
FROM tmp
WHERE 
-- 2　orを500個連結させて検索させる  * 1.2どちらもマッチする件数はおなじ
test_data = 'test_data_a_1'
or test_data = 'test_data_a_2'
or test_data = 'test_data_a_3'
or test_data = 'test_data_a_4'
or test_data = 'test_data_a_5'
or test_data = 'test_data_a_6'
or test_data = 'test_data_a_7'
or test_data = 'test_data_a_8'
or test_data = 'test_data_a_9'
or test_data = 'test_data_a_10'
           ・
           ・
           ・
or test_data = 'test_data_a_500'