这个迷宫里没有人告诉智能体该怎么走，只有一套计分规则：走进终点加 10 分，掉进陷阱扣 10 分，每走一步扣 0.1 分。本实验先由你亲自走一走，再让机器一格一格算出每个位置的价值，最后改一改奖励，看它的走法怎样跟着变。
这一步看什么你现在就是智能体。你站的格子是状态，你按的方向是动作，每一步加减的分是奖励。
步数越少，得分越高。最短要走 10 步，得分是 9.0。走进陷阱一局就结束，得分是负数。
你刚才在每一格做的决定，就是强化学习要让机器自己学会的事。
这一步看什么机器一开始把每一格的价值都当成 0。每扫一遍，它就用“眼前的奖励 ＋ 0.95 × 邻格的价值”把每一格重算一次。
第一遍扫完，只有紧挨终点的两格有了 9.9。之后每扫一遍，价值就往外多铺一圈，箭头也跟着长出来，像水从终点渗出去一样。
扫到第 10 遍，起点第一次连到终点，因为最短的路正好 10 步。这就是课件第 55 页的动态规划。
这一步看什么从起点到终点有两条一样长的路。左边那条贴着陷阱走，右边那条离陷阱远。改一改规则，看机器挑哪一条。
| 打滑 | 每步的分 | 走的是哪条路 |
|---|
不打滑时，两条路一样安全，它走了左边那条。会打滑以后，贴着陷阱走有滑进去的危险，它改走右边那条。
每走一步反而加分时，它不再去终点，走到边上就停下来原地打转。因为这一局一直不结束，它就能一直拿分。它并没有算错，是奖励规则写错了。
前面三步的操作结果会自动写进报告。下面的题目按你实际看到的情况回答。
| 打滑 | 每步的分 | 走的是哪条路 |
|---|---|---|
| 未记录 | ||