初めての成功から安定稼働まで
通常、プロトタイプはコア機能を検証しますが、実稼働システムは同時実行性、タイムアウト、モデルの利用不可、インターフェイスの例外、およびデータの変更にも対処する必要があります。
すべての通話に ID と権限を導入する
モデル、ナレッジの検索、およびツールの呼び出しはすべて、現在のユーザー ID を認識し、既存のビジネス システムの権限の境界に従う必要があります。
再現可能な品質尺度を作成する
測定セットは、実際のビジネス上の問題を使用して構築し、精度、参照、フォーマット、ルールの遵守、およびタスクの完了を継続的にチェックする必要があります。
実行中のプロセスを監視可能にする
リクエスト時間、モデルのバージョン、ナレッジ ソース、ツール呼び出し、ユーザー フィードバックを記録して、問題を特定し、改善を測定します。
手動介入とフォールバック パスを保持する
不確実な状況、高リスクの状況、または異常な状況の場合は、担当者がそのタスクを引き継ぎ、元のビジネス プロセスに戻れるようにする必要があります。