Custom Scriptの開発準備

2021年3月30日

Custom Scriptとは

Treasure Workflowから呼びだすことのできるpythonスクリプトです。このpythonスクリプトはDockerコンテナ上で動作し、Workflowの他のタスクから独立して実行されます。このCustom Scriptは大変便利なもので以下のような用途で使うことを想定しています。

Treasure Data CDPでまだ用意できていない外部サービスとの連携
複雑なデータ処理を伴うタスクの実行

その他にもpythonプログラムを動作させることでさまざまなことが実現可能となっています。

Custom Script開発で面倒な点

さて、こんな便利そうなCustom Scriptですが単純に開発を行おうとすると非常に面倒です。一般にCustom Scriptを開発する際には以下のような流れで開発することになります。

ローカルPCのお気に入りのエディタでdigファイルを作成する
ローカルPCのお気に入りのエディタでpythonコードを作成する
Treasure Data CDPにtd-toolbeltを使用してアップロード
Treasure Data CDPで実行
1 or 2 に戻る

(TDコンソールでdigファイルおよびpythonプログラムを作成するというのはtoy exampleは別として現実的ではないので省いています。)
この1-4までの試行の待ち時間が非常に長いという点がCustom Scriptの開発を面倒にしています。折角、pythonというちょっと書いて試すというのに向いているスクリプト言語を使用しているのに、この状況ではストレスが溜ってしまうことになります。

Custom Script開発を楽にするには

このストレスフルな状況を脱する方法は2つあります。いずれもローカルPCにTreasure Data CDPと同一の実行環境を作って、pythonプログラム単体で実行確認を行うというものです。これによりアップロード&workflow実行というステップを飛ばすことが可能となります。pythonプログラムの単体実行は単純にworkflowから呼び出していた関数をpythonスクリプト内で呼び出すだけですので問題ないとして、Treasure Data CDPと同一の実行環境を作成するやり方は2通りあります。

Dockerを使用したローカル環境構築
pipを使用したローカル環境構築

それぞれ、長所/短所があるので内容を確認しながら説明していきたいと思います。

Dockerを使用したローカル環境構築

手順としては2ステップのみです。Dockerをインストールして、TD Custom Scriptで使用可能なDocker Imageを指定して起動するだけとなります。 Dockerのインストールに関しましてはDockerのページを参照して頂くとして、TD Custom Scriptで使用可能なImage一覧は以下のものになります。(2020年6月26日時点)

Digdag-python:3.7

Python 3.7.4
pytd version “0.5.0”
td-pyspark 19.07
URL: https://hub.docker.com/r/digdag/digdag-python

Digdag-anaconda3:2019.03

continuumio/anaconda3:2019.03
pytd version “0.5.0”
td-pyspark 19.07
URL: https://hub.docker.com/r/digdag/digdag-anaconda3

Dockerをインストールし、上記イメージを使用するだけでCustom Scriptの実行環境とほぼ同じものが使用可能となります。長所としては上記の通り、”簡単に構築ができる”、”Custom Scriptの実行環境とほぼ同じものができる”という点で、短所としてはDocker自体がそこそこ重いアプリケーションのため、”実行が重い”、ローカルPC環境<->Dockerでのファイルのやりとりに工夫がいるという点です。Docker上は別のOSが起動しているため、ホスト側のPCで作成したpythonスクリプトをDocker側に渡すやりかたは様々なものがありますので自分の開発スタイルにあったやり方を見つけるのがいいでしょう。

pipを使用したローカル環境構築

こちらは手順としては3stepとなるのですが、このまま実施してしまうと自分のpython環境がすべてTD Custom Scriptと同一の環境になってしまうのでvenv等と組み合わせるのが良いと思います。

pythonのインストール
pipのインストール
pip+requirements.txtによる環境構築

pythonのインストールやpipのインストールはWeb上にたくさんの情報がありますのでそちらに任せるとして、ポイントとなるのは3ステップ目です。Digdag-python:3.7のrequirements.txt(インストール済みのpythonパッケージ群)を使ってDigdag-python:3.7のDockerイメージと同様のpythonパッケージ環境を構築します。こちらですとDockerと違って普通にpython開発しているのと全くかわらない使用感になりますので、python開発になれている方は楽かもしれません。短所としてはCustom Scriptの実際の実行環境と同一なのはpythonのパッケージ群だけということです。OSなどが異なるという点は注意が必要です。

Digdag-python:3.7のrequirements.txtを以下に載せておきます。

attrs==19.1.0
boto3==1.9.185
botocore==1.12.185
certifi==2019.6.16
chardet==3.0.4
Click==7.0
convertdate==2.1.3
cycler==0.10.0
Cython==0.29.12
decorator==4.4.0
docutils==0.14
ephem==3.7.6.0
fbprophet==0.5
holidays==0.9.10
idna==2.8
ipython-genutils==0.2.0
jmespath==0.9.4
joblib==0.13.2
jsonschema==3.0.1
jupyter-core==4.5.0
kiwisolver==1.1.0
lightgbm==2.2.3
lunardate==0.2.0
matplotlib==3.1.1
msgpack==0.6.1
nbformat==4.4.0
numpy==1.16.4
pandas==0.24.2
plotly==3.10.0
presto-python-client==0.7.0
py4j==0.10.7
pyarrow==0.14.0
pyparsing==2.4.0
pyrsistent==0.15.3
pyspark==2.4.3
pystan==2.19.0.0
pytd==0.5.0
python-dateutil==2.8.0
pytz==2019.1
requests==2.22.0
retrying==1.3.3
s3transfer==0.2.1
scikit-learn==0.21.2
scipy==1.3.0
seaborn==0.9.0
setuptools-git==1.2
six==1.12.0
td-client==0.13.0
td-pyspark==20.2.0
traitlets==4.3.2
urllib3==1.24.3

まとめ

Custom Scriptの実行環境とローカルの実行環境をあわせておくことにより、Custom Scriptの動作確認およびデバッグが非常に楽にできるようになります。ローカルの実行環境でpython側の動作を確認した後、Treasure Data CDP側でworkflowを含めた動作確認すると非常に効率の良い開発ができると思います。ぜひお試しください。

Custom Scriptに関するドキュメントはこちら