人工智能导论 第 6 章 · 实验一

← 返回实验目录

第 6 章 智能体系统 · 实验一

让它自己去查

课程学习助理常被问到作业什么时候交、在哪个教室上课,这些它自己不知道,得调用工具去查。本实验看它怎样从七个工具里挑工具、填参数,再动手改工具的描述,看选对的条数怎样变。

建议用时30 分钟
对应课件第三节 第 28 页,第四节 第 32 页
一共几步四步,外加实验报告
交什么最后生成的实验报告

这 个 实 验 要 说 明 四 件 事

  1. 第 01 步调用一次工具分四步:智能体挑工具、填参数,程序去查,结果交回给它,它再写成回答。没有工具,它只能凭记忆编一个答案。
  2. 第 02 步页面里的智能体只按描述挑工具,不看名字。学生说的话和描述对不上,这个工具就选不中。
  3. 第 03 步描述写清楚了,选对的条数明显上升。两个工具的描述写得太像,会互相抢请求。
  4. 第 04 步工具选对了,参数还可能填错。参数填错时,它可能拿别的课的真实记录,给出一个像模像样的错答案。

说明:智能体用简单规则模拟,描述和学生原话有几个字相同就得几分,最高分不少于 2 分才调用,课程数据是编好的。真实的大模型名字和描述都会看,描述写得越清楚越容易选对。

01

看一次完整的工具调用

对应 第三节 · 第 28 页

这一步看什么学生问一句话,智能体先挑一个工具、填好参数,程序照着去查,查到的结果交回给它,再由它写成回答。

四个圆圈就是一次调用的四步,灰色表示这一步没有发生。第 2、3 步是程序做的,智能体自己并不去查数据。

挑一条请求

它调了哪个工具—
填进去的参数—
应该调的工具—
这一条对不对—

动 手 做

  1. 点第一条请求,从上往下看四步。
  2. 再点“你好呀”,看它调不调工具。
  3. 回到第一条,勾上收起工具箱,把它凭记忆给的回答和真实答案对比一下。

应 该 看 到

第一条调用了查作业截止时间,参数是“人工智能”,查到作业周五 23:59 截止。“你好呀”不需要查任何东西,第 2、3 步没有发生,它看完得分就直接回答。

收起工具箱以后,它回答作业“一般是每周日 24:00 截止”,听起来合情合理,却和课程平台上的周五 23:59 对不上,这是它照常见的说法编的。

02

看工具是怎样被选中的

对应 第三节 · 第 28 页

这一步看什么七个工具各有一句描述。描述和学生这句话有几个字相同,这个工具就得几分,只算连着两个字以上的片段,不管是不是一个词。

七个工具的得分
每根柱子是一个工具的得分,红色那根是被选中的工具,并列时选排在最上面的那根。虚线在 2 分处,最高分不到这条线,就一个工具都不调。
每个工具的描述和学生这句话相同的片段
工具得分相同的片段

挑一条请求

被选中的工具—
最高得分—

动 手 做

  1. 点“人工智能在哪个教室上课”,看哪个工具得分最高,再看左下表格里相同的片段。
  2. 点“帮我看看周五的课表”,看七个工具各得几分。
  3. 点“周二这天要上课吗,上什么”,看最高分有几个工具并列。

应 该 看 到

查上课教室的描述里有“在哪个教室上课”这一整段,和学生的话一字不差,得 7 分,别的工具都是 0 分,它被选中。

“帮我看看周五的课表”七个工具都是 0 分,一个都不调,因为查课表的描述“查询某个星期几要上哪几门课”里没有“课表”两个字。周二那一条三个工具并列 2 分,挑中排在最上面的查课程通知,选错了。工具叫什么名字不影响打分,能不能被选中全看描述。

03

把工具描述改清楚

对应 第三节 · 第 28 页

这一步看什么七段描述都可以直接改。每改一个字,三十七条请求就重新挑一遍工具,右边随时显示选对了几条。

改过的描述会变成浅黄底。每段下面一行写着这个工具该接几条请求、接住了几条。

选对了几条

现在选对—
原来的描述选对—
还没选对的请求
学生说的该给实际给了

动 手 做

  1. 在“查课表”的描述末尾加上“,也就是课表”,看选对的条数。
  2. 把“查课程通知”描述末尾的“,包括什么时候截止”删掉,再看条数。
  3. 看右边还没选对的请求,自己再改一处,比如给“查图书借阅”的描述加上“借得到吗”。

应 该 看 到

原来的描述选对 28 条。加上“课表”以后,“帮我看看周五的课表”被接住,变成 29 条。删掉“包括什么时候截止”以后,查作业的几条请求不再被抢走,升到 32 条,可“数据结构最近发了什么公告”因为并列,被查作业截止时间接走了。再给查图书借阅加上“借得到吗”,就是 33 条。

词加得不合适,也会抢走别人的请求,比如给查课表加上“有什么课”,“人工智能这门课有什么通知吗”就会被它接走。描述既要写进学生会说的话,也要写清楚这个工具管什么。

04

工具选对了,参数还要填对

对应 第四节 · 第 32 页

这一步看什么这一步把工具固定为正确的那一个,只看参数。四条请求各有一个坑:一句话里有两门课、只说了简称、没说是哪门课、书名只说了一半。

第 2 步填进去的参数,决定了程序去查哪一条记录。参数填错了,工具照样会返回结果。

挑一条请求

该填的参数—
实际填的参数—
四条里参数填对—
给出错答案的—

动 手 做

  1. 依次点四条请求,看第 2 步填进去的参数对不对。
  2. 看第 4 步的回复,哪条先反问,哪几条说“没有查到”,哪条给出了具体的截止时间。
  3. 回到第一条,对比回复里的课程名和学生想问的课程名。

应 该 看 到

“这门课的作业什么时候截止”没说是哪门课,它不去查,先问学生是哪门课,这样做是对的。“英语那门课”和“简史那本书”的参数填成了“英语”“简史”,工具查不到,学生一看就知道,还可以再问。

第一条最危险,它在句子里找到人工智能就填了进去,查到的是人工智能的真实作业,回复通顺具体,还带着来源。学生要是没留意课程名,就会按这个时间去交机器学习的作业。

05

实验报告

整理数据,写下结论

前面四步的操作结果会自动写进报告。下面的题目按你实际看到的情况回答。

一第 01 步中,第一条请求调用了哪个工具、参数是什么、查到了什么?收起工具箱以后,它的回答和真实答案差在哪里?
二第 02 步中,“帮我看看周五的课表”为什么七个工具都是 0 分?工具的名字在打分里起作用吗?
三第 03 步中,你改了哪几处描述?选对的条数从多少变成了多少?有没有哪一处改动反而让别的请求选错了?
四第 04 步中,四条请求里参数填对了几条,哪一条最危险?把它最后那句回复抄下来,说说学生为什么不容易发现它错了。
总结学习总结
用自己的话说一说:智能体是靠什么挑中工具的,工具描述应该怎样写?工具选对以后,还可能在哪里出错?还有哪里没弄明白?建议不少于一百字。
0 字
会打开打印窗口,选“另存为 PDF”即可
人 工 智 能 导 论 上 机 实 验 报 告

让它自己去查:智能体的工具调用

第 6 章 智能体系统 · 实验一
姓名—
学号—
班级—
完成日期—

一实验数据记录

一次调用
—
工具怎样被选中
—
改描述
—
填参数
—

二改过的工具描述

工具你写的描述
没有改过描述

三四条参数陷阱

学生说的该填的参数实际填的工具返回
未记录

四思考题

一、一次调用的四步
二、工具靠描述被选中
三、把描述改清楚
四、参数填错的后果

五学习总结

指导教师签字  
成绩  
保山学院 · 人工智能教研室 · 曹鼎鼎