監視
監視の入口は以下のとおりです：
統計
エージェント監視
データセンターでは、エージェントの利用状況およびユーザーとの対話内容について、包括的な統計と分析を提供し、ユーザーが AI の利用効果と稼働状況をよりよく把握し、管理と意思決定を最適化できるよう支援します。
データセンターは、エージェント次元、システムAPI次元、時間次元 のデータ統計をサポートしています。
エージェント分析
このセクションでは、各エージェントの利用状況を定量的に分析し、以下を含みます：
- 対話人数：エージェントとやり取りを行ったユニークユーザー数。
- 対話回数：ユーザーとエージェントの総インタラクション回数で、利用の活発度を測定します。
- Token 消費量：エージェント稼働中におけるモデル呼び出しのリソース消費を測定します。
- エージェント利用ランキング：利用頻度に基づいてすべてのエージェントを並べ替え、高頻度で利用されるエージェントを特定します。
- Token 消費ランキング：各エージェントの Token 利用状況を集計し、リソース最適化とコスト管理を支援します。
対話分析
このセクションでは、ユーザーとエージェント間の対話内容を深く掘り下げ、ユーザーニーズやインタラクションパターンを把握します。内容は以下のとおりです：
- 高頻度語彙分析：ユーザー対話内のキーワードを抽出し、注目トピックやニーズの傾向を識別します。
- 対話ログ：過去の対話詳細を確認し、品質の追跡、問題調査、内容監査に活用します。
💡 ヒント：対話回数の統計およびエージェント利用ランキングは1日1回更新されます。対話ログなどその他の情報はリアルタイムで更新されます。
通知管理
通知管理は、システム内のすべてのユーザーが受信した各種通知メッセージを集計・確認するために使用されます。この機能により、管理者は通知の配信状況を追跡し、ユーザーが既読かどうか、通知内容が有効に伝達されたかどうかなどを把握できます。
例えば、ユーザーがエージェントとの対話中にエージェントの回答へフィードバックを行った場合、システムはそのユーザーにフィードバック通知を送信します。この種の通知は通知管理に記録・表示されます。
機能説明
通知管理ページでは、以下の情報を確認できます：
- 受信者：通知を受け取ったユーザーアカウントまたはユーザー名。
- 通知状態：現在の通知が既読かどうか（既読 / 未読）。
- 送信時間：システムが当該通知を送信した具体的な時刻。
- 通知内容：通知の詳細情報で、元のプロンプトやフィードバック結果などを確認できます。
- 通知カテゴリ：通知が属する分類。たとえば、フィードバック通知、システム通知、タスクリマインダーなど。
💡 ヒント：時間軸で通知を絞り込むことができます。
システムログ
本システムは、操作・イベント・ログインの3種類の主要ログを含む包括的なログ記録および分析機能を提供し、システム動作の追跡、セキュリティ監査、異常調査を支援します。
💡 ヒント：ログの検索範囲は 1年 まで拡張されており、より長期間にわたる監査と分析が可能です。
操作ログ
- 操作ログは、システム内のすべてのユーザーによる重要な操作行動を記録するために使用され、管理者がリソース変更履歴を追跡し、システム利用状況を監査し、潜在的な問題を調査するのに役立ちます。
- システムは、リソースの作成、更新、公開、削除などの各操作を自動的に記録し、操作の追跡可能性と安全性を確保します。
- ナレッジベース管理の監査可能性をさらに高めるため、操作ログでは現在、ナレッジベース関連リソースの記録が強化されており、Workspace（ワークスペース）、File（ファイル）、QnA（問答ペア） などの操作が含まれます。
フィールド説明
| フィールド名 | 説明 |
|---|---|
| ユーザー名 | 当該操作を実行したユーザーアカウント名 |
| 操作時間 | 操作が発生した具体的なタイムスタンプ。監査および時系列ソートに使用 |
| リソースタイプ | 操作対象のリソース分類。例：ナレッジベース、データ、AIStudio |
| サブリソースタイプ | 操作対象のサブリソース。例：QnA、個人/企業スペース、個人/組織エージェント |
| 操作タイプ | 操作のソース種別を示します。例：Update、Publish、UPLOAD、CONFIG_INDEX、RESEGMENT |
| 操作結果 | 今回の操作結果を示します。 Success または Failed |
| 操作IPアドレス | ユーザーが操作を実行した際の IP アドレス |
| 操作デバイス情報 | ユーザーが使用したデバイスタイプ、ブラウザ。 |
| 操作内容 | 詳細な操作内容。JSON形式で、リクエストおよびレスポンス情報を含みます |
イベントログ
イベントログは、定期タスクの実行、状態変更、エラーアラートなど、システム内部の稼働過程で発生する各種重要イベントを記録するために使用され、システム健全性の監視や内部問題の調査における重要なツールです。
フィールド説明
| フィールド名 | フィールドの役割 |
|---|---|
| ID | システムが自動生成する一意の識別子で、各イベント記録を区別するために使用されます |
| イベント名 | イベント内容を簡潔に説明し、イベントの性質を素早く理解できるようにします |
| 時間 | イベント発生時の具体的なタイムスタンプを記録し、時系列ソートと分析に使用されます |
| イベントタイプ | イベントカテゴリ（セキュリティ、システム、アプリケーション）を識別し、分類フィルタリングをサポートします |
| トリガータイプ | イベントのトリガータイプが system か api かを記録します |
| イベント説明 | 詳細な操作内容で、JSON形式です |
ログインログ
ログインログは、すべてのユーザーの認証行動を包括的に記録し、セキュリティ監査および異常ログインの識別の基礎となります。
フィールド説明
| フィールド名 | フィールドの役割 |
|---|---|
| ログインユーザー名 | ログイン試行時のユーザーアカウント名を記録し、ユーザー行動分析をサポートします |
| ログイン時間 | ログインが発生した具体的な時刻を記録し、時系列分析に使用します |
| ログインIPアドレス | ログイン元のネットワークアドレスを記録し、地理的位置分析と異常検知をサポートします |
| ログイン方式 | ログイン認証方式（パスワード、シングルサインオンなど）を識別し、セキュリティポリシー分析をサポートします |
請求詳細
SERVICEME システムでは、Token 使用に関する課金詳細を確認できます。画面上部の折れ線グラフには、異なる時点における Token 関連数値の変化が表示され、利用傾向を直感的に把握できます。下部の表では、特定期間内における各種モデルの Token 消費状況および対応する費用が詳細に記録されており、関連する利用タイプなどの情報も一覧表示されるため、各 Token 使用の課金状況を明確に把握できます。
請求詳細ページで提供される情報
請求詳細画面では、以下の情報を確認できます：
- モデルグループ ：モデルが属するグループカテゴリを表示します。
- モデルセット ：当該モデルが属する集合名を示します。
- モデル ：実際に使用されたモデル名を表示します。
- チャネル ：モデル実行時に経由した手段を識別します。
- API Key 名称 ：モデルへのアクセスに使用された API キー名を表示します。
- 入力 Token ：モデルに入力された Token 数を記録します。
- 入力 token (キャッシュヒット) ：キャッシュヒット時の入力 Token 数を表示します。
- 出力 token ：モデル出力結果で消費された Token 数を表示します。
- 時間 ：モデル操作が発生した具体的な時刻を記録します。
- 操作 ：ログ詳細の確認など、実行可能な操作オプションを提供します。
請求詳細の役割
- コストの可視化：各モデル呼び出しで発生した費用を正確に追跡し、コストの可視化・管理・制御を実現します。
- 利用傾向分析：トレンドグラフを通じてリソース消費パターンを識別し、リソース調達や予算計画のためのデータを提供します。
- 問題調査と最適化：詳細ログと組み合わせて高コストリクエストの原因を分析し、プロンプトや業務フローを最適化してコストを抑制します。
- 多次元配賦：モデル、チャネル、API Key などの次元を通じて、異なるプロジェクトや部門へのコスト配賦をサポートします。