SQLパフォーマンスチューニングのいろは

2021年5月27日

Outputログの見方について

Prestoの実行ログは大きく4つの要素で構成されています。パフォーマンスチューニングの前に、実行したSQLがどのように処理されているか、を把握できるようになることが必要です。

実行するクエリが最初に表示される

where句でtimeカラムを指定していない場合はwarningが表示される

Fragmentという項目でSQLの処理が分割される

Fragment単位で進捗が表示される

具体的なケース

例えば以下のクエリを実行した場合の実行ログについて説明いたします。サンプルとして使うクエリは、trs_td_sessionというテーブルに対して集計を行うサブクエリ2つ、そのサブクエリをjoinするクエリという構成になっています。

with pv_count_7days as (
-- ID単位で直近7日間のPV数を集計
  select
    td_uid
    , count(1) as pv_7days
  from
    trs_td_session
  where
    td_interval(time, '-7d', 'jst')
  group by
    td_uid
)
, latest_access as (
-- ID単位で最後のセッション日時を取得
  select
    td_uid
    , td_time_string(max(start_time), 's!', 'jst') as latest_session_time
  from
    trs_td_session
  group by
    td_uid
)
-- ID単位でセッションIDとサブクエリで作成したデータを結合したデータを作成
select
  t1.td_uid
  , t1.td_session_id
  , t2.pv_7days
  , t3.latest_session_time
from
  trs_td_session as t1
  inner join pv_count_7days as t2 on t1.td_uid = t2.td_uid
  inner join latest_access as t3 on t1.td_uid = t3.td_uid
where
  t1.row_num = 1

limit 300

このクエリを実行すると、実行ログのFragmentは以下のようになります。最小に表示されるQuery Planを見て把握する方法もあるのですが、以下図とSQLとを照らし合わせて把握する方が手軽なのでおすすめです。