カスタマーレプレゼンタティブチームの関川 誠です。
Utilization機能の第3回は、第1回のインポート件数、第2回の総件数に続き、今回はTreasure WorkflowとCustom Scriptsの利用状況を確認できるWorkflow Utilizationをご紹介します。
Treasure Workflowは、トレジャーデータの創業メンバーの古橋が開発、オープンソースとして公開しているワークフローエンジンdigdagをTreasure Data CDP上でホスティングし提供しているものです。JOBを柔軟に制御できるので多くのお客様に活用いただいていますが、トレジャーデータでもCDP機能の処理の制御に利用しています。
一方、Custom Scriptsは、Treasure WorkflowからPythonスクリプトを実行できる機能です。他システムのAPIをコールしてデータを取得・送信したり、Pythonベースの機械学習を実行したりと広く利用いただける機能です。
これらの利用状況を把握できるダッシュボードが今回紹介する「Workflow Utilization」です。他のUtilization画面と同様、管理者権限でTDコンソールにログイン、スパナマークのControl Panelからアクセスできます。
Workflow Utilizationで提供している情報
Document内で詳しくご説明していますので、詳細は割愛しますが、以下のような情報を確認できます。
- 過去2週間、日次でのWorkflow単位の処理時間推移（User Defined Workflow Attempts – Last 14 Days）
- 日単位、月単位でのCustom Script実行時間（This Month’s Custom Script Run Duration / Monthly Custom Script Hours – Last 12 Months）
- Project/Workflow名ごとの当月・前月の処理数・実行時間詳細（User Defined Workflow Summary – Last 2 Months）
こちらが画面イメージですが、マウスオーバーでWorkflow名が表示されるため、処理時間の見直しをされる際の参考として便利にお使いいただけるかと思います。
Custom Scriptの実行時間について
Workflow UtilizationではCustom Scriptに今月の残時間（Remaining custom script hours this month）や上限（Allocated Hours）の記載がありますが、これらは契約内容をベースとしており、標準では以下の仕様となっています。
- 月間利用時間 100時間
- 仮想1CPU、メモリ8GB、ディスク10GB
こちらで処理時間や処理能力が不足する場合には、追加する有償オプションを用意しているので、担当のカスタマーサクセスまでお声がけください。
Workflow活用での留意事項
一方、Workflowでは、同時実行数や最大の実行時間などに制限があります。複雑なWorkflowや処理時間の管理が必要なものについては、分散させる、処理の整理が必要となるケースがあります。制限の詳細は、こちらのドキュメントを参照ください。
