3Chat测试集使用手册-提升对话效果

[Zhiyu]

功能概述

3Chat 的 测试集 功能可以帮助您批量创建、导入并评估测试用例，从而快速检查智能体在不同场景下的表现。您可以通过添加问题、上传文件来创建测试集，并运行测试生成报告，进一步对问题回答进行评分和分析。该功能提高了智能体质量管理和优化的效率。

快速操作指南

1.进入功能页面

登录到 3Chat Agent 管理后台。

在左侧导航栏中，3Chat Agent → 测试 → 测试集，进入测试集页面。

2.添加测试问题

2.1新增测试集

首次使用测试集功能，您将进入初始化的页面，可以开始添加测试集和测试问题。您可以通过两种方式添加测试集：

1. 点击 “直接添加” 手动输入问题

2. 或者通过导入文件的方式添加，支持 csv 和 xlsx 格式

2.2.1使用 直接添加：手动输入问题

1. 点击**“直接添加”**卡片，展示添加弹窗。默认命名为“测试集1”，您也可以自行修改名称。

2. 输入您想要进行测试集的问题，点击 “添加问题” 以输入多条问题。您可以随时修改或删除您的问题。

3. 您也可以从word或excel中对已进行了换行的问题批量复制粘贴，一次最多添加50个问题。如果超过50个问题，系统会自动限制并保留前50个问题。

4. 完成问题输入后，点击 “保存” 即创建测试集。

2.2.2 使用 上传文件：批量导入问题

1. 点击 “上传文件” 卡片，展示添加弹窗。默认命名为“测试集1”，您也可以自行修改名称。

2. 点击或拖拽文件上传。请您上传支持的文件格式：.xls, .xlsx, .xlsm, .csv。并注意将问题需要放在首列。我们会从文件的首列中，查询前 50 行有内容的文本信息，添加到测试问题中。

2.2在测试集内新增问题

如您希望在当前测试集中添加新的问题，点击 “添加问题” 按钮，依然可以通过直接输入或上传文件两种方式来为当前测试集添加新问题。

3.运行测试

测试集创建后，会自动运行已添加的问题，批量请求 3Chat Agent 进行单轮的回复

3.1查看回答详情

1. 查看回答

进入测试集页面后，您能够看到正在运行中的测试集列表包括问题、回答状态、评分、评分原因。其中，回答状态包括 “已回答” 与 “未回答”，该字段由系统给出，回答评分、评分原因及评分原因需要您操作完成。

• 已回答：Agent 针对问题进行了有效回复。

• 未回答：Agent 针对问题未能进行有效回复。

2. 原因分析

点击测试问题，您可以看到单个测试项的详细信息。详细信息包括：

1. 您的测试问题

2. Agent 对问题的具体回答

3. 回答该问题时，智能体调用的资源：

   1. 使用的语言

   2. 指导内容

   3. 知识段落及其与问题的匹配度（如果调用）

   4. AI任务（如果调用）

   5. 工具及其耗时（如果调用）

下面2张图为您标出查看详细信息的入口：

3. 注意事项

当您的测试问题触发 转人工 或 AI 任务 操作时，您将在回答下方看到相关动作的小字，这提示您该问题在生产环境中能够成功触发转人工/执行任务，但在测试集环境下并不会真正操作。

3.2更新回答

1. 批量操作：您可以单选或多选希望批量编辑的测试项，进行批量更新回答或删除问题。已运行完毕的测试项支持您进行编辑，未完成的则只允许查看。

2. 如您对Agent的回答不满意，也可以点击详情面板上方的 刷新 按钮，来尝试对回答进行更新。

3.3为问题回答评分

1. 评分与备注

为问题回答进行回答评分选择：在回答详情面板中，选择 “Good” 或 “Acceptable” 或 “Poor” 来评估您认为的 Agent 回答质量。并支持添加评分备注（可选，非必填）。

2. 回答效果好：

如您选择 “Good” 或 “Acceptable” ，则不会要求您进一步选择评分原因。

3. 回答效果差：

如您选择 “Poor”，点击**“选择评分原因”** 来为消极回答作评分原因选择并进一步改进回答。选择您认为合适的评分原因，可作为后续改进评分的依据。

3.4改进回答

1. 改进指导

不同的评分原因对应不同的改进建议，您也可以点击 “创建或更新指导” 来跳转 指导 功能页面，进一步调整配置，以完善 Agent 回答。

2. 改进AI任务

不同的评分原因对应不同的改进建议，您也可以点击 “创建或更新 智能体 任务” 来跳转 AI 任务 功能页面，进一步调整配置，以完善 Agent 回答。

3. 改进知识库

如果您对知识库检索的结果感到不满意，可点击3Chat知识库功能使用手册-优化指南查看优化知识检索效果的教程。

4.测试问题管理

4.1筛选特定问题和答案

筛选：通过不同的筛选条件来自定义测试集列表展示，您可以通过设置回答状态、回答评分、评分原因来单条件或多条件筛选测试集列表展示。

4.2测试集编辑

1. 点击 “+” 按钮，您也可以对已有测试集进行管理，包括重命名测试集、删除测试集及导出测试集报告。

2. 同时，在左侧测试集列表面板中，“…” → “导出报告” 或 测试集列表顶部 “导出” 按钮均可导出当前测试集报告。点击后报告自动加入下载列表，并以CSV格式导出。

常见问题解答

1. 如何批量添加问题？

   您可以选择 “直接添加” 方式复制粘贴输入问题或 “上传文件” 方式批量导入问题。

2. 上传文件时支持哪些格式？

   支持的文件格式包括 .xls, .xlsx, .xlsm 和 .csv。

3. 可以同时编辑多个测试项吗？

   是的，您可以批量更新测试项的回答，或批量删除选中的测试项。