回归与分类建模

重　点公式里那个 ε 别忽略

y = f(x; θ) + ε 的最后一项是噪声。它承认一件事：即使模型完全正确，预测也不可能和真实值分毫不差。房子除了面积和卧室数，还受装修、朝向、当天心情影响，这些都被打包进了 ε。

建模的目标不是让 ε 消失，而是把 f 学好，让剩下的 ε 尽量小且没有规律。

重　点四步公式逐个读

①X 是特征矩阵，一行一个样本，一列一个特征。②θ 是待求的参数向量。③ŷ = Xθ 是模型输出，就是把每个特征乘上对应系数再加起来。

④L(θ) = (1/N)‖y − Xθ‖² 是关键。中间 y − Xθ 是“真实值减预测值”，也就是每个样本差了多少。加上平方是为了让正负误差都算作误差且不互相抵消。除以 N 是求平均。整句话就是平均每个样本差多少的平方，称为均方误差。

重　点这个记号读作什么

p_θ(y_i | x_i) 读作：在给定输入 x 的条件下，它属于类别 y 的概率是多少。竖线读作“在什么条件下”。

注意分类模型的输出不是一个类别，而是一组概率。是猫的概率 0.7，是狗的概率 0.2，是鹿的概率 0.1。最后报哪一个，是拿到概率之后再做的选择。

重　点看表格的第二行就够了

模型先算出一个原始分数 g，这个数可正可负、可大可小，不能直接当概率用。

二分类用 Sigmoid：σ(g) = 1 / (1 + e^−g)。g 很大时结果接近 1，很小时接近 0，g 为零时正好 0.5。多分类用 Softmax：先把每个分数取指数变成正数，再除以所有指数之和。除法保证了这一组数加起来正好是 1。

重　点为什么要取对数

似然函数是一长串连乘：把每个样本的正确类别概率乘在一起。问题在于概率都小于 1，几万个小于 1 的数相乘，结果会小到计算机存不下，这叫数值下溢。

取对数之后，连乘变成连加，数值就稳住了。而且对数是单调递增的，最大化原式和最大化对数式的答案完全一样。这就是页面上红字那句话的意思。

重　点最后那个红圈很关键

把最大化对数似然写成最小化它的负数，得到的式子在数学形式上完全等价于交叉熵。也就是说，“让正确答案的概率最大”和“让交叉熵损失最小”是同一件事的两种说法。

重　点

回归任务预测连续数值，核心目标函数是均方误差，线性回归可以通过正规方程获得解析解。分类任务预测离散类别，本质是对条件概率分布的建模，目标函数用极大似然估计来求解。