1-前言

为了应对大学院考试，我们来学习相关人工智能相关知识，并做各种练习。

通过学习，也算是做笔记，让自己更理解些。

3-问题题目训练

第1問（人工知能・探索アルゴリズム【相似】）

初期ノードから目的ノードまでの最短経路問題を解くために
最適探索（ダイクストラ法）・最良優先探索・A*探索について考える。

初期ノードからノード (s) までの実コストを (g(s))、
ノード (s) から目的ノードまでの推定コストを (h(s)) とし、
(f(s)=g(s)+h(s)) と定義する。

このとき、探索対象ノードを OPEN リストから取り出す際の評価基準として正しいものを、
以下の空欄ア・イ・ウに当てはまるものからそれぞれ選べ。

• 最適探索では【 ア 】
• 最良優先探索では【 イ 】
• A*探索では【 ウ 】

【選択肢】

a. (g(s))
b. (h(s))
c. (f(s)=g(s)+h(s))
d. (\hat{g}(s))
e. (\hat{h}(s))
f. (\hat{f}(s)=\hat{g}(s)+\hat{h}(s))
g. (h(s)-g(s))
h. (g(s)-h(s))

第2問（人工知能・確率的推定【相似】）

自己位置推定に用いられる粒子フィルタについて考える。

粒子フィルタは、確率分布を有限個のサンプルによって近似する【 キ 】の一種であり、
観測に基づいて各粒子に重み付けを行う【 ク 】と、
重みの偏りを解消するために粒子を再抽出する【 ケ 】の手続きを繰り返す。

このとき、空欄キ・ク・ケに当てはまる最も適切な語を選べ。

【選択肢】

a. ベイズフィルタ
b. モンテカルロ近似
c. カルマンフィルタ
d. EMアルゴリズム
e. 尤度評価
f. 重み正規化
g. リサンプリング
h. 状態遷移

第3問（人工知能・強化学習【予測・模擬】）

Q学習は、行動価値関数を直接推定する【 サ 】学習の一種である。
Q学習の更新式は次式で与えられる。

[
Q(s,a) \leftarrow Q(s,a) + \alpha \left[ r + \gamma \max_{a’} Q(s’,a’) - Q(s,a) \right]
]

この式において、

• (r + \gamma \max_{a’} Q(s’,a’) - Q(s,a)) は【 シ 】と呼ばれ、
• (\alpha) は【 ス 】を表す。

空欄サ・シ・スに当てはまる最も適切なものを選べ。

【選択肢】

a. 教師あり学習
b. 教師なし学習
c. 強化学習
d. TD誤差
e. ベルマン方程式
f. 学習率
g. 割引率
h. 状態価値関数

第1問の罠（超典型）

• ❌ A* = (h(s)) と勘違い
• ❌ 推定値 (\hat{g},\hat{h}) を混ぜる
• ✔最適探索＝g、最良優先＝h、A*＝g+hを機械的に分離できるか

第2問の罠（高频失分）

• ❌ 粒子フィルタ＝カルマンフィルタ
• ❌ リサンプリングと重み正規化の順序混同
• ✔モンテカルロ近似 → 重み付け → リサンプリングの流れが言語化できるか

第3問の罠（预测性极强）

• ❌ TD誤差とベルマン方程式を混同
• ❌ 学習率と割引率を逆に書く
• ✔ 更新式を意味で分解できるかが採点ポイント

4-练习（日语版本）解析

問題１：
ア：a
イ：b
ウ：c

問題２：
キ：ｂ
ク：f
ケ：g

問題３：
サ：c
シ：e
ス：g

【問題1】探索アルゴリズム

你的回答

• ア：a（(g(s))）
• イ：b（(h(s))）
• ウ：c（(f(s)=g(s)+h(s))）

判定

✅完全正解（満点）

採点者コメント（想象）

各探索アルゴリズムの評価関数を正確に区別できている。
推定値や差分を選んでいない点も良い。

常见陷阱（你避开了）

• ❌ A*＝(h(s))
• ❌ 最良优先＝(f(s))
• ❌ 推定值 (\hat{g}, \hat{h}) 混入

👉这一问是送分题，你稳稳拿下

【問題2】粒子フィルタ

你的回答

• キ：b（モンテカルロ近似）
• ク：f（重み正規化）
• ケ：g（リサンプリング）

判定

✅完全正解（満点）

为什么这是标准答案

句子逐条对齐：

粒子フィルタは、確率分布を有限個のサンプルによって近似する
→モンテカルロ近似（b）

観測に基づいて各粒子に重み付けを行う
→重み正規化（f）

重みの偏りを解消するために粒子を再抽出
→リサンプリング（g）

常见陷阱（你完全避开）

• ❌ 粒子滤波 = 卡尔曼滤波
• ❌ EMアルゴリズム
• ❌ 把“尤度評価”当成过程名

👉这一问在本番里属于“中难但可满分”，你答得非常稳

【問題3】Q学習（⚠️ 关键）

你的回答

• サ：c（強化学習）✅
• シ：e（ベルマン方程式）❌
• ス：g（割引率）❌

正确对应关系（必须背死）

题干关键句是：

( r + \gamma \max Q(s’,a’) - Q(s,a) ) は【 シ 】と呼ばれ
( \alpha ) は【 ス 】を表す

正解应该是：

• シ →d（TD誤差）
• ス →f（学習率）

❌ 为什么你的答案会被扣分

❌ シ：ベルマン方程式（e）

• ベルマン方程式是“价值函数满足的递归关系”
• TD誤差才是“当前估计与目标值的差”

❌ ス：割引率（g）

• (\gamma) 才是割引率
• (\alpha) 是学习率

本问採点预估（按真实情况）

• 全3空 × 各2点 = 6点
• 你对了 1 空

➡️2 / 6 点（部分点）

⚠️如果这是整张人工知能大题中的一小问，会直接影响是否 A 判定

🔒 你必须“闭眼能写”的三对对应

TD誤差 = r + γ max Q(s',a') − Q(s,a) 学習率 = α 割引率 = γ

５-単語练习（日语版本）

サンプル 【英】sample；样品，货样，样书。
ベイズフィルタ 贝叶斯过滤器
モンテカルロ 蒙特卡洛
カルマンフィルタ 卡尔门滤波
EMアルゴリズム 最大期望算法
尤度評価 优度评价
重み正規化
リサンプリング 重抽样
a. 教師あり学習
b. 教師なし学習
c. 強化学習
d. TD誤差
e. ベルマン方程式
f. 学習率
g. 割引率
h. 状態価値関数

サンプル（Sample）

【日】サンプル
【英】sample
【中】样本；样品；货样；样书

【日】
確率分布や母集団を代表するために取得された有限個の観測データ。
【中】
用于代表概率分布或总体的有限观测数据。

ベイズフィルタ

【日】ベイズフィルタ
【英】Bayesian filter
【中】贝叶斯滤波器

【日】
ベイズの定理に基づき、観測と状態遷移を用いて状態の事後確率を逐次更新する推定手法。
【中】
基于贝叶斯定理，结合观测与状态转移，对状态后验概率进行递推更新的估计方法。

モンテカルロ

【日】モンテカルロ（法）
【英】Monte Carlo (method)
【中】蒙特卡洛方法

【日】
確率分布を乱数サンプルの集合によって近似する数値計算手法。
【中】
利用随机样本集合对概率分布进行近似的数值计算方法。

カルマンフィルタ

【日】カルマンフィルタ
【英】Kalman filter
【中】卡尔曼滤波

【日】
線形ガウスモデルを仮定し、平均と分散により状態を推定する最適推定手法。
【中】
在假设线性高斯模型的条件下，通过均值与方差进行状态估计的最优滤波方法。

EMアルゴリズム

【日】EMアルゴリズム
【英】Expectation-Maximization algorithm
【中】最大期望算法

【日】
潜在変数を含む確率モデルに対し、期待値計算と尤度最大化を交互に行う反復最適化手法。
【中】
针对含有隐变量的概率模型，通过交替执行期望计算与似然最大化的迭代优化方法。

尤度評価

【日】尤度評価
【英】likelihood evaluation
【中】似然评价（常写作“尤度评价”）

【日】
観測データが与えられたとき、そのデータが生成される確からしさを評価すること。
【中】
在给定观测数据的条件下，评估该数据由模型生成的可能性。

重み正規化

【日】重み正規化
【英】weight normalization
【中】权重归一化

【日】
粒子の重みの総和が 1 となるようにスケーリングする処理。
【中】
将粒子权重进行缩放，使其总和等于 1 的处理过程。

リサンプリング

【日】リサンプリング
【英】resampling
【中】重采样；重抽样

【日】
重みの大きさに基づいて粒子を再抽出し、重みの偏りを解消する操作。
【中】
依据权重大小重新抽取粒子，以缓解权重退化问题的操作。

強化学習関連（選択肢 a〜h）

a. 教師あり学習

【日】教師あり学習
【英】supervised learning
【中】有监督学习

【日】
入力データと正解ラベルの組を用いて学習を行う手法。
【中】
利用输入数据与对应的正确标签进行学习的方法。

b. 教師なし学習

【日】教師なし学習
【英】unsupervised learning
【中】无监督学习

【日】
正解ラベルを用いず、データの構造や分布を学習する手法。
【中】
在没有标签的情况下，学习数据内部结构或分布的方法。

c. 強化学習

【日】強化学習
【英】reinforcement learning
【中】强化学习

【日】
環境との相互作用を通じて報酬を最大化する行動方策を学習する枠組み。
【中】
通过与环境交互，学习使累计奖励最大化的行为策略的学习框架。

d. TD誤差

【日】TD誤差（Temporal Difference error）
【英】TD error
【中】时序差分误差

【日】
現在の価値推定と、報酬と次状態の価値に基づく目標値との差。
【中】
当前价值估计与基于奖励和下一状态价值计算得到的目标值之间的差。

e. ベルマン方程式

【日】ベルマン方程式
【英】Bellman equation
【中】贝尔曼方程

【日】
状態価値または行動価値が将来報酬の期待値として再帰的に定義される関係式。
【中】
将状态价值或行为价值递归地表示为未来奖励期望的关系式。

f. 学習率

【日】学習率
【英】learning rate
【中】学习率

【日】
更新時に新しい情報をどの程度反映させるかを決める係数。
【中】
在参数更新时，控制新信息影响程度的系数。

g. 割引率

【日】割引率
【英】discount factor
【中】折扣率

【日】
将来の報酬を現在の価値としてどの程度重視するかを表す係数。
【中】
表示未来奖励在当前价值中所占权重的系数。

h. 状態価値関数

【日】状態価値関数
【英】state value function
【中】状态价值函数

【日】
ある状態から方策に従って行動したときに得られる累積報酬の期待値。
【中】
在某一状态下按照策略行动时，所能获得的累计奖励期望。

5-总结

知识一点点记录吧，最后应对考试，打下基础