vol. 20『AIがお客様に自動で回答してくれる。その便利さの裏にある怖さ』

最近、「業務システムにAIを組み合わせたい」というご相談が増えています。

たとえば、

・問い合わせ対応をAIに任せたい
・顧客の希望を文章で受け取り、社内データから最適な商品や担当者を探したい
・社内の情報をもとに、自然な文章で回答させたい

といったものです。

こうした話をすると、多くのお客様がまず心配されるのが、

「社内の情報がAI経由で外に漏れないか」

という点です。

これは当然の心配です。

その対策として重要なのは、AIにプロンプト（指示のための文章）で「この情報は見るな」と指示することではありません。

そもそも、見てはいけない情報にはアクセスできないようにしておくことです。

たとえば、ある学習塾で、生徒から

「数学を習いたい。特に空間図形を教えてもらいたい」

という希望を受けて、AIを使って最適な講師を探すシステムを考えたとします。

講師のデータベースには、

・氏名
・住所
・電話番号
・契約条件
・報酬
・得意な指導分野

など、さまざまな情報が入っているかもしれません。

このときAIに必要なのは、せいぜい

「数学」「中学生対応」「得意分野」

といった情報です。

それ以外の情報には、そもそもAIからアクセスできないようにする。

企業のシステムでAIを使うなら、こうした「物理的にできない仕組み」が大切です。

ただ、実はこれだけでは十分ではありません。

AIは勝手に「一般常識」で補完する

たとえば、ある会社の配送料が、

「全国一律1,000円。島嶼部も追加料金なし」

だったとします。

そこにお客様から、

「島に住んでいるのですが、配送料は追加でかかりますか？」

という問い合わせが来たとします。

会社のルールを見れば、答えは明確です。

「追加料金はかかりません」

です。

ところがAIは、一般的な知識として

「離島や島嶼部では追加料金がかかることがある」

という情報を持っています。

そのため、設計によっては、

「島嶼部では追加料金がかかる場合があります」

などと答えてしまう可能性があります。

一般論としては間違っていないかもしれません。

しかし、その会社の回答としては完全に間違いです。

お客様の質問そのものに惑わされることもある

さらに厄介なのが、質問の中に前提が入っている場合です。

たとえば、

「島嶼部に住んでいて、よく追加費用がかかると言われるのですが、御社も追加料金がかかりますか？」

と聞かれたとします。

この文章には、

「島嶼部＝追加料金がかかる」

という前提がすでに含まれています。

AIは自然な会話を続けようとするため、こうした前提に引っ張られることがあります。

つまり、企業のAIでは、

・AI自身が持っている一般知識
・お客様が質問の中で持ち込んだ情報

を、そのまま「会社の事実」として扱わせてはいけません。

「何を見せるか」だけでなく「何を根拠に答えるか」

企業システムにAIを組み込むときは、

「AIがどの情報にアクセスできるか」

を制限するだけでは足りません。

もう一つ、

「AIが何を根拠に回答してよいか」

も決める必要があります。

たとえば、

・お客様の発言は、会社の事実ではない
・AIの一般知識も、会社の事実ではない
・会社が登録した正式な情報を最優先する
・正式な情報に答えがなければ、勝手に補完しない

といったルールです。

場合によっては、AIに料金や契約条件を判断させる必要すらありません。

システム側で、

「配送料1,000円、追加料金なし」

という確定した情報を取得し、AIには

「この内容を丁寧なお客様向けの文章にしてください」

とだけ依頼すればよいのです。

AIに「答えを考えさせる」のではなく、

「決まっている答えを自然な文章にさせる」

という役割分担です。

外部公開するAIは、社内AI以上に注意が必要

社内だけで使うAIであれば、多少おかしな回答をしても、社員が

「これは違うな」

と気づける場合があります。

しかし、お客様向けのシステムでは事情が違います。

間違った送料を案内する。

存在しないサービスを案内する。

契約条件を勝手に補完する。

そうした回答をされたお客様は、

「AIが間違えた」

とは考えません。

「この会社がそう答えた」

と受け取ります。

そのため、外部に公開するAIは、社内向け以上に慎重な設計が必要です。

AIは非常に便利ですが、企業システムでは、ただ賢ければよいわけではありません。

むしろ重要なのは、

「何を勝手に考えさせないか」

を決めることだと思います。

プラムザでは、単に既存システムにAIをつなぐのではなく、どこまでAIに任せ、どこから従来のシステムで制御するべきかを、お客様の業務に合わせて一緒に整理しています。

「AIを使ってみたいけれど、どこまで任せてよいのか分からない」という段階でも、まずは小さな範囲から考えることができます。