シリーズ： Genesys Agent Copilotを作成する

自然言語理解（NLU）を構築するためのヒント

NLU システムの最適なパフォーマンスと信頼性を実現するには、意図分類を設計およびテストするときに次のベスト プラクティスに従ってください。

インテント間でバランスの取れたトレーニングデータを維持する

インテントあたりのトレーニング例の数が不均衡だと、モデルにバイアスが生じる可能性があります。あるインテントが他のインテントよりもかなり多くのトレーニング例を持っている場合、モデルは不確実なときにそのインテントを優先する可能性があります。

すべてのインテントにわたってトレーニング フレーズが比較的均等に分散されていることを確認します。意図的に意図を優先したい場合は、意識的にそれを行い、その理由を文書化します。

単語ベクトルの類似性を理解する

NLU システムはベクトル表現 (埋め込み) を使用して、コンテキストに基づいて単語の意味を理解します。キャッシュバックや返金など、意味や文脈が似ている単語は、モデルのベクトル空間内で密接にマッピングされる場合があります。コンテキストによってそれらが属する意図を明確に区別しないと、誤分類につながる可能性があります。

各インテントに対して多様で代表的なトレーニング例を使用し、インテントを他のインテントと区別する固有のコンテキストの手がかりを強調します。

NLUは分類問題である

NLU モデルは、各意図に確率を割り当てることによって入力テキストを分類します。N 個のインテントの場合、モデルは N 個のインテントすべてにわたる確率分布を返します。信頼度のしきい値を満たす場合、最も高い確率を持つ意図が選択されます。

誤分類のトラブルシューティングを行うときは、最高スコアの意図だけでなく、完全な確率分布を確認します。

信頼度の閾値と意図のフォールバックを理解する

システムでは通常、入力を特定の意図に分類するために最低限の信頼スコアが必要です。NLU モデルでは、意図を割り当てるために少なくとも 40% (0.4) の信頼度が必要です。上位の意図がこのしきい値を下回ると、システムはフォールバックまたはNone意図。

調整する特別な理由がない限り、しきい値はデフォルト値のままにしておきます。高くしすぎるとフォールバック応答が過剰になる可能性があり、低くすると誤ったインテント一致が増加する可能性があります。

AIで意図と発話を生成するためのヒント

明確で重複のない意図を定義する

曖昧さを避けるために、各インテントが異なる目的を果たすようにしてください。意図の定義が重複すると、トレーニング中に混乱が生じ、分類の精度が低下します。

意図間の明確な境界を確立します。2 つのインテントが類似しすぎている場合は、それらを結合するか、定義を調整することを検討してください。

コアとなるインテントセットから始める

拡張する前に、小さくて優先度の高いインテントのセットから始めます。集中したセットは、反復を高速化し、強固な基盤を構築するのに役立ちます。

基本的な意図を備えた概念実証モデルを開発します。コアエクスペリエンスが確実に機能した後にのみ拡張します。

一貫した命名パターンを使用する

プロジェクト全体でインテントの命名方法を標準化します。一貫性により保守性が向上し、チームが意図をすぐに理解できるようになります。

NLUをテストするためのヒント

テスト中は単語入力を避ける

1 語の入力は通常、曖昧すぎるため、正確な意図分類に必要なコンテキストが欠けています。NLU モデルはパターンとコンテキストに依存します。周囲の単語がない場合、モデルは限られた情報に基づいて推測する必要があり、最も一般的な意図または密接に関連した意図をデフォルトとする可能性があります。

実際のユーザーの行動を反映した、自然な全文クエリを使用します。

高品質なトレーニングデータを準備する

次のヒントを活用してください:

• 実行可能なトレーニング セットを開発します。開始する意図ごとに 10 ～ 20 個の多様な例。
• 言い回しを変える:同義語、さまざまな構文構造、一般的なタイプミスを含めます。
• 重複を避ける:混乱を減らすために、発話で意図を明確に区別するようにしてください。
• テスト範囲:すべてのインテントから発話を手動でサンプリングして、NLU 予測を確認します。

インテントマイナーの使用に関するヒント

Intent Miner を使用して、顧客の言い回しに合わせた意図と発話を構築し、意図検出でより良い結果を得ます。

インテント マイナーは、指定された日付範囲のエージェントと顧客間の会話チャットと音声トランスクリプトの履歴セットを検索します。次に、インテントの上位セットとそれらのインテントを取り巻く分析を抽出します。最後に、システムがそのインテントと関連付けたインテント発話のリストを返します。

Architect でマイニングされたインテントを Genesys Dialog Engine Bot Flow または Genesys Digital Bot Flow にインポートして、インテントを構成できます。詳細については、抽出したインテントをGenesys Dialog Engine Bot FlowまたはGenesys Digital Bot Flowにインポートする。