Workatoは大容量データ処理できないって本当？

みなさん、こんにちは。リックソフト プリセールス Workato担当の大薗です。

Workatoの問い合わせや、商談で説明する際によくこんなことを聞かれます。

• 「Workato」のようなiPaaSは大容量データ処理は不向きなのでは？
• バッチ処理のようなレシピは、ノーコード・ローコードでは無理でしょ？

Cloudだから大容量データ処理を行うと、重たくなったり、最悪固まってしまうという印象だったり、複雑な処理を想定した場合のレシピのイメージが沸かないといった理由で比較的多く聞かれる質問だったりします。

しかし、私はこう答えています。。

A.そんなことありません。簡単です。

■Workatoはスケールアウト型

スケールアウトとは、システムを構成するサーバーの台数を増やすことで、システムの処理能力を高めることをいいます。
（物理的にサーバーの台数を増やすわけではありません。）

初めから割り当てられていた性能では処理が追いつかなくなった場合、Workato側で自動的に処理できる範囲を増強し、大容量データ処理の並列化、分散化を実現させています。

大容量データ処理の場合、オンプレミスなどの物理サーバーの方がいいという考え方もありますが、サーバー保守での人員確保、人件費、物理サーバーのレガシー化など、色々と考慮すべき点が増えてしまいます。

その点、Workatoであればサーバー保守は基本費用の中に含まれているので安心というわけですね。

■大容量データ処理を目的としたバッチ処理のレシピの作り方

Workatoでは「Repeat in Batches」機能を利用することで、ユーザーは追加のレシピロジックを構築することなく、大容量データ移動を簡単に処理でき、構築と保守の時間を節約し、エラーのリスクを軽減することができます。

データをバッチで（つまり、一度に数千行）処理することは、次のような多くの一般的なユースケースで有効です。

• SalesforceやNetSuiteなどのアプリ間でデータを同期する
• CSVファイルからMarketoなどのアプリにリードデータを取り込む
• データウェアハウステーブルにロードするETLパイプラインの構築

ただし、アップストリームアプリの公開データのバッチサイズが、データを消費するダウンストリームアプリのバッチサイズよりも大きい場合があります。
（このあたりで、複雑なロジックを組むイメージが出てきませんか？）

ですが、Repeat in Batchsアクションを利用すれば、複雑な処理不要で対応が可能になります。

方法、「ForEach」ループ内で「Createrecordsin batchs」アクションを選択してバッチプロセスを設定し、適用する行数を選択するだけです。
（たとえば、アカウントのプロパティに応じて、バッチサイズを動的に選択するように設定することもできます。）

下図がサンプルのレシピになります。

恐らく想像していた以上に簡潔なレシピになっていませんか？

もう少し、深堀りしてみましょう。

■ Repeat in Batchs 機能を使用するには

1.レシピエディタの「What happens next」コから「Repeat Action step」ステップを選択します。

2.Repeat Action stepで入力リストデータピルを入力します。

3.リピートモードを「Batch of items」に設定し、バッチでリピート機能を呼び出します。
　（利用可能な2つのオプションは、"One item at a time" または "Batch of items"になります。）

詳細については、下の図を参照してみてください。

4.[Batch size]フィールドを設定します。
　バッチサイズが指定されていない場合、または指定された数が1未満の場合、デフォルトが100になります。
　また、データピルもバッチサイズとしてここに入力することができます。

5.バッチイベントタグが付いたForeachステートメントに反映されます。

参照元：

・Process large volumes of data in batches：https://product.workato.com/product-update-march-2020/

・Repeat in Batches：https://docs.workato.com/recipes/steps.html#repeat-in-batches

■まとめ

今回はWorkatoでも大容量データ処理は可能という説明をさせていただきましたが、いかがだったでしょうか？

「repeat in batches」を使えば、データ処理の仕組みまで簡単に実現することができます。
これらを「ノーコード・ローコード」で構築できるのもWorkatoの魅力ですね♪

そのほかにも、ご質問や、自動化させたいお悩みがありましたら、ぜひリックソフトまでお問い合わせください。