Workatoは大容量データ処理できないって本当?

リックソフトブログ

2021年04月26日

Workatoは大容量データ処理できないって本当?

Author

大薗 輝久 teruhisa ohzono

大薗 輝久</mt:Var>

みなさん、こんにちは。リックソフト プリセールス Workato担当の大薗です。

Workatoの問い合わせや、商談で説明する際によくこんなことを聞かれます。

  • 「Workato」のようなiPaaSは大容量データ処理は不向きなのでは?
  • バッチ処理のようなレシピは、ノーコード・ローコードでは無理でしょ?

Cloudだから大容量データ処理を行うと、重たくなったり、最悪固まってしまうという印象だったり、複雑な処理を想定した場合のレシピのイメージが沸かないといった理由で比較的多く聞かれる質問だったりします。

しかし、私はこう答えています。。

A.そんなことありません。簡単です。

■Workatoはスケールアウト型

スケールアウトとは、システムを構成するサーバーの台数を増やすことで、システムの処理能力を高めることをいいます。
(物理的にサーバーの台数を増やすわけではありません。)

初めから割り当てられていた性能では処理が追いつかなくなった場合、Workato側で自動的に処理できる範囲を増強し、大容量データ処理の並列化、分散化を実現させています。

大容量データ処理の場合、オンプレミスなどの物理サーバーの方がいいという考え方もありますが、サーバー保守での人員確保、人件費、物理サーバーのレガシー化など、色々と考慮すべき点が増えてしまいます。

その点、Workatoであればサーバー保守は基本費用の中に含まれているので安心というわけですね。

■大容量データ処理を目的としたバッチ処理のレシピの作り方

Workatoでは「Repeat in Batches」機能を利用することで、ユーザーは追加のレシピロジックを構築することなく、大容量データ移動を簡単に処理でき、構築と保守の時間を節約し、エラーのリスクを軽減することができます。

データをバッチで(つまり、一度に数千行)処理することは、次のような多くの一般的なユースケースで有効です。

  • SalesforceやNetSuiteなどのアプリ間でデータを同期する
  • CSVファイルからMarketoなどのアプリにリードデータを取り込む
  • データウェアハウステーブルにロードするETLパイプラインの構築

ただし、アップストリームアプリの公開データのバッチサイズが、データを消費するダウンストリームアプリのバッチサイズよりも大きい場合があります。
(このあたりで、複雑なロジックを組むイメージが出てきませんか?)

ですが、Repeat in Batchsアクションを利用すれば、複雑な処理不要で対応が可能になります。

方法、「ForEach」ループ内で「Createrecordsin batchs」アクションを選択してバッチプロセスを設定し、適用する行数を選択するだけです。
(たとえば、アカウントのプロパティに応じて、バッチサイズを動的に選択するように設定することもできます。)

下図がサンプルのレシピになります。

恐らく想像していた以上に簡潔なレシピになっていませんか?

もう少し、深堀りしてみましょう。

■ Repeat in Batchs 機能を使用するには

1.レシピエディタの「What happens next」コから「Repeat Action step」ステップを選択します。

2.Repeat Action stepで入力リストデータピルを入力します。

3.リピートモードを「Batch of items」に設定し、バッチでリピート機能を呼び出します。
 (利用可能な2つのオプションは、"One item at a time" または "Batch of items"になります。)

詳細については、下の図を参照してみてください。

4.[Batch size]フィールドを設定します。
 バッチサイズが指定されていない場合、または指定された数が1未満の場合、デフォルトが100になります。
 また、データピルもバッチサイズとしてここに入力することができます。

5.バッチイベントタグが付いたForeachステートメントに反映されます。

参照元:

・Process large volumes of data in batches:https://product.workato.com/product-update-march-2020/

・Repeat in Batches:https://docs.workato.com/recipes/steps.html#repeat-in-batches

■まとめ

今回はWorkatoでも大容量データ処理は可能という説明をさせていただきましたが、いかがだったでしょうか?


「repeat in batches」を使えば、データ処理の仕組みまで簡単に実現することができます。
これらを「ノーコード・ローコード」で構築できるのもWorkatoの魅力ですね♪

そのほかにも、ご質問や、自動化させたいお悩みがありましたら、ぜひリックソフトまでお問い合わせください。

                                         

製品について詳しくはこちらをご覧ください。

Workato

Workatoを試してみたい方はこちら。

Workato無料トライアルご依頼フォーム

Workatoに関する資料請求、製品デモ、お見積もりのご要望は下記リンクより承っております。

Workato お問い合わせ         
              
                                                                   

本情報はブログを公開した時点の情報となります。
ご不明な点はお問い合わせください。

        

お問い合わせ   

  
本ブログのカテゴリ: Workato

カテゴリ一覧

最近の記事

年別アーカイブ

アトラシアン製品の導入と活用を
成功させたいなら
リックソフトのサポートが
必要です。

サードパーティ製のアドオンもサポート

サードパーティ製のアドオンもサポート

RS標準サポート

アトラシアン社ではサポート範囲外となっているサードパーティ製のアドオンをリックソフトのRS標準サポートではサポートします。

  • アトラシアン製品とサードパーティ製のアドオンとの事象の切り分け
  • 海外のアドオンベンダーとのやり取りを代行(日→英/英→日)

リックソフトのRS標準サポートは開発元が提供するサポート以上の価値があります。

サポートについて

ツールの活用を促進するアイテム

ツールの活用を促進するアイテム

各種ガイドブック

ツールを導入しただけでは成功とはいえません。利用者が効果を感じていただくことが大切です。独自で制作した各種ガイドブックはツール活用を促進します。

リックソフトからライセンス購入を頂いたお客様にはガイドブックを無料進呈いたします。

ガイドブックについて

価値あるツールの使い方

価値あるツールの使い方

研修・トレーニング

ツール操作の研修だけでなく「ウォータフォール型開発」「アジャイル型開発」のシミュレーション研修も提供。

日本随一の生産性向上にも効果のある研修サービスです。

リックソフトからライセンス購入を頂いたお客様には無料招待や割引特典がございます。

研修について

PAGE TOP