AIに精度100%は求めなくていい。メール150件のうち人が読むのは10件にした「ロジック・AI・人」の役割分担

「AIに業務の判断を任せたい。でも、AIが誤った挙動をすることを考慮すると、本番環境に入れることはできない」

AI活用の取り組みでは、精度が100%にならず、検証で止まっているケースは少なくありません。私たち AI・DX室も、最初は AIの精度に目が向いていました。

今回は、営業アシスタントが毎日30分以上かけていた「返信漏れチェック業務」を AIで自動化した事例を紹介します。ポイントは、AIの精度を上げることではなく、ロジック・AI・人の役割を先に決めて運用することです。その結果、人が読むメールは1日約150件のうち約10件になりました。

▷生成AIとロジックの使い分けについて知りたい方向け　 生成AIの精度を上げても意味がなかった。業務フロー全体を自動化して初めて効果が出た話

1. 毎日30分以上かけていた「返信漏れの目視チェック」

営業担当者宛てのメールには、営業部のメーリングリストがCcに入っています。営業アシスタントが返信漏れをチェックしていました。

＜営業アシスタントの業務・特徴＞

• 作業時間は毎日30分以上（休み明けはさらに増える）
• 未返信メールを見つけたら、営業担当者に Slackでリマインド
• 目視なので、見落としは避けられない

返信漏れが起きてしまう原因は主に3つです。

• 忘れ：繁忙期に営業担当者の手が回らない
• 見落とし：大量のメールに埋もれてしまう
• 引き継ぎ：営業担当者が引き継ぎをしたあと、前任者宛てのメールに、後任担当者が気づけない

メールの返信が必要かどうかは、件名や差出人だけでは振り分けられず、メール本文を読んで判断する必要があります。そこで、この判断に AIを使いました。

2. Gmailを丸ごと AIに開放しない「専用MCP」

当社の生成AIガイドラインでは、AIに Gmailを直接接続することを禁止しています。意図しないメール送信、メールに紛れ込んだ指示を AIが実行する「プロンプトインジェクション」、フィッシングといったリスクがあるためです。

そこで Gmailの公式コネクタは開放せず、iPaaSの Workatoで専用の MCPサーバーを作り、AIが Gmailにアクセスする唯一の入口にしました。 MCP（Model Context Protocol）は、AIが外部のツールやデータを呼び出すための仕組みです。

Workatoは、Salesforceや Slackなどの業務システムをノーコードでつなぐ自動化プラットフォームです。作った処理（レシピ）をそのままMCPサーバーとして AIに公開できます。（参考：【AI新時代】すべての部門が AIの力を引き出せるプラットフォーム「Workato One」とは？）

専用MCPでは、AIができることを次のように絞っています。

これらはすべて Workatoのレシピ内のロジックです。プロンプトで「送信しないで」と頼むのではなく、送信できない作りにしています。

3. 「ロジック・AI・人」の役割を決める

今回は、ロジック・AI・人の役割を次のように決めました。

毎回同じ結果が必要なものは、AIに任せません。 AIの判断は毎回同じにはならないからです。同じメールを何度か判定させると、結果が少しずつ変わりました。

1日のメールの流れは次のとおりです。

届くメール約150件のうち、ロジックで約100件（約7割）を除外し、残りの50件未満（約3割）をAIが判定します。人の判断が必要なのは約10件（1割未満）です。

本事例では、ロジック: 6・AI: 3・人: 1くらいの割合で運用しています。(比率は参考値で、大事なのは役割が明確なことです)

人が判断する約10件は、自動化できなかった残りではありません。人によって答えが分かれるメールを、意図して人に戻しています。

4. 判定に特化したモデル「Jev」に、判断を小さく切って渡す

判定には、TypeSafe社の Jevを使っています。Jevは判断に特化したモデルで、今回活用した質問の形は以下の2つです。

• 「はい／いいえ」で答えられる質問（noul）：「はい」である確率を0〜1のスコアで返す
• 選択肢から1つ選ぶ質問（choice）：選択肢ごとの確率を返し、一番高いものを答えにする（例：お客様の連絡 0.93）

① 質問は3つ

メール1通ごとに、3つの質問をまとめて1回で投げています。Jevに渡すのは件名と本文だけです。

1. このメールの送り手は、当社に何を求めているか？（お客様の連絡／注文書／お客様のシステム通知／当社への営業／スパム／フィッシングから1つ選ぶ）
2. このメールに対して、当社から回答・対応の連絡をしないと相手の業務が進まないか？
3. 本文に当社への質問が書かれているか？

1つ目で「お客様の連絡」「注文書」以外と判定したメールは、2つ目・3つ目のスコアに関わらず返信不要にします。

3つ目は、「当社への質問があれば返信が必要」という営業部の基準をそのまま質問にしたものです。

スコアは、質問ありで0.96〜0.98、なしで0.05〜0.06とはっきり分かれました。

② 質問の言い回しで判定が変わる

2つ目の質問は、言い切る形や公式推奨の形と比べました。検証用のメール20件での結果です。

1つ目の質問も同じです。最初は「誰が何のために送ったメールか」と聞と聞いたところ、AIがお客様からの打合せの催促を「営業メール」と判定しました。件名の「お打合せのお願い」が売り込みに見えたためです。AIに「送り手は当社に何を求めているか」との観点で判断してもらい、紛らわしい選択肢には含むもの・含まないもの・例を書きました。このメールの「お客様から取引に関わる連絡」の確率は0.30→0.93になりました。

③ スコアで、3つに振り分ける

1つ目で「お客様から取引に関わる連絡」「注文書」と判定したメールを、2つ目・3つ目のスコアで、「返信不要」「人が判断」「返信が必要」の3つに振り分けます。

本番利用の前に、送信した本文がモデルの学習に使われないことを連携システムとの契約書で再度確認したうえで、社内のAI利用ツールとしました。

5. Claudeにはメール本文を渡さない

利用者は Claudeのチャットで「昨日分の未返信をチェックして」と依頼します。判定は Workatoのレシピ内で終わらせ、Claudeには件名・差出人・分類・スコアだけを返します。

本文をそのまま渡すと、文字数の上限と費用の両方で破綻するためです。最初の検証では、1日分でも MCPの応答上限（15万字）にすぐ届きました。

Jevに渡す本文も削っています。

• 引用部分（「>」で始まる行や過去のやり取り）を落とす
• 残りを1,000字で切る

1,000字に縮めても、判定の正確さは落ちませんでした。

判定に特化したモデルなら、1通ずつ判定してもこの費用に抑えられます。文章の生成は Claude、判定はJev（判定モデル）と、AIの中でも役割を分けています。

6. 運用しながら直したこと

修正の半分はロジックです。AIに足したのは、除外リストでは落とせない「送り手は何を求めているか」の分類だけです。

フィッシングは、ログインや支払いを急かすメールとしました。「急いでいる」だけで判定すると、お客様の至急の依頼まで外れるためです。

7. 本番運用の実測値

未返信チェックは、本番利用を始めた2026年10月から11月11日までに413回実行され、営業アシスタントの業務に欠かせない存在となっています。毎日30分以上かけていた目視チェックは、人が判断する約10件を除いて、ほぼ自動化できました。
営業担当者が自分宛ての未返信を毎朝チェックする使い方も始まっています（Claudeのスケジュール実行で、結果を本人の Slackに届ける）。

8. これから改良できること

改良の余地があるのは、AIによる判定です。

• 質問文：営業部の判断基準を、さらに質問に落とし込む
• 線引き：0.7／0.25の線を、判定結果を見ながら調整する
• スコアのぶれ：同じメールでもスコアが±0.05程度動くため、線の近くで判定が入れ替わるメールへの対応

人の判断をゼロにするためではなく、AIの判定を営業部メンバーの感覚に近づけるための改良です。

9. おわりに

AIに業務の判断を任せるとき、先に決めるべきなのは AIの精度ではなく、ロジック・AI・人の役割です。

• 毎回同じ結果が必要なものは、ロジックで先に落とす
• AIには、文脈で決める判断だけを小さく切って渡す
• 判断が難しい、ルールに落とせない部分は人で回す

人の判断が残るのは失敗ではありません。私たちは今回9割まで自動化できましたが、7〜8割を自動化できるようになったころから、業務が変わったという手ごたえを感じ始めました。

AIの精度で検証が止まっている方は、まず自社の判断業務を「ロジック・AI・人」に分けて書き出してみてください！