ローカル環境でセキュアに利用可能なコンタクトセンター向け大規模言語モデル（LLM）「AOI LLM for AmiVoice Communication Suite」を、お客様との通話内容の要約業務のため、ソフトバンク株式会社のコールセンターへ導入しました。

　「AOI LLM for AmiVoice Communication Suite」は、機密情報を含む通話データを一切外部に出さず、お客様のローカル環境で、通話内容の生成要約やQ&Aの抜粋、VoC（お客様の声）抽出などができる生成AIサービスです。

　この度、アドバンスト・メディアが、長年の音声認識エンジンのチューニングにより培った、パラメータ調整や学習データの整備といった、顧客データをAIに学習させるための優れた知見を、LLMの学習に活かし、それをコールセンター業務を熟知したソフトバンクが持つノウハウに基づき、高いレベルで評価・分析を行いながらチューニングの方針を両社で検討し決定したことで、非常に高いファインチューニングの効果を得ることに成功しました。

　その結果、「AOI LLM for AmiVoice Communication Suite」による要約の品質が、ソフトバンクが定めた「具体性」「可読性」「正確性」といった独自の要約精度評価基準において、最先端のLLMよりも優れた要約精度を達成したため、お客様との通話内容の要約業務に生成AI（人工知能）の導入を2024年10月から開始しました。結果、業務経験が浅い新人オペレーターの要約業務の作業時間を約30％削減できる目途が立ちました。

　また、可用性・保守性の高いAPIとハードウェアリソースに応じてLLMの処理性能を最大化させる機能を併せて提供することにより、導入中のコールセンターシステムと「AOI LLM for AmiVoice Communication Suite」のスムーズなシステム連携を実現しています。

　ソフトバンクは、「AmiVoice Communication Suite」を、2019年より同社のコールセンターに導入しています。個人情報を含む顧客情報を扱うコールセンターでは、高いレベルのセキュリティの確保が必須です。このため、LLMの導入においても厳格なデータ保護とプライバシー管理が求められていました。そこで、セキュリティの確保されたローカル環境で稼働するLLMの検証を、アドバンスト・メディアと共同で行ってきました。

　ベースモデルについては、さまざまな検証の結果、Meta社が提供するLlamaに東京科学大学(旧・東京工業大学)が日本語能力を強化した大規模言語モデルであるSwallow-70bが今回の用途において、高い性能を発揮したため採用を決定しました。

「AOI LLM for AmiVoice Communication Suite」は、ソフトバンクのコールセンターにおいてお客様との通話内容の要約業務に活用がされます。

アドバンスト・メディアでは、高い要約精度を実現した「AOI LLM for AmiVoice Communication Suite」の活用を、さまざまな企業や団体に拡大していくことで、コンタクトセンタービジネスの変革を推進し、より効率的で高品質な顧客サービスの提供を実現してまいります。

「AOI LLM for AmiVoice Communication Suiteとは 」

機密情報を含む通話データを一切外部に出さずお客様のローカル環境で、通話内容の要約生成やQ&Aの抜粋、VoC（お客様の声）抽出などができる生成AIサービスです。幅広い業界のコンタクトセンターにおける導入実績に基づく知見や専門技術を用いたカスタマイズおよびシステムインテグレーションにより、コンタクトセンター業務に最適化しています。クラウド提供型生成AIサービスのような利用回数などの制限なくご利用いただけます。

【画面イメージ】音声認識結果の画面に要約文が表示される