y_hat混淆点

Java基础

浏览数:102

2020-7-2

2.

课程中的损失函数定义为:

def squared_loss(y_hat, y):
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

将返回结果替换为下面的哪一个会导致会导致模型无法训练:(阅读材料:

(y_hat.view(-1) - y) ** 2 / 2

(y_hat - y.view(-1)) ** 2 / 2

(y_hat - y.view(y_hat.shape)) ** 2 / 2

(y_hat - y.view(-1, 1)) ** 2 / 2

答案解释

y_hat的形状是[n, 1],而y的形状是[n],两者相减得到的结果的形状是[n, n],相当于用y_hat的每一个元素分别减去y的所有元素,所以无法得到正确的损失值。对于第一个选项,y_hat.view(-1)的形状是[n],与y一致,可以相减;对于第二个选项,y.view(-1)的形状仍是[n],所以没有解决问题;对于第三个选项和第四个选项,y.view(y_hat.shape)y.view(-1, 1)的形状都是[n, 1],与y_hat一致,可以相减。以下是一段示例代码:

x = torch.arange(3)
y = torch.arange(3).view(3, 1)
print(x)
print(y)
print(x + y)

假如你正在实现一个全连接层,全连接层的输入形状是7×8,输出形状是 7×1,其中7是批量大小,则权重参数ww和偏置参数bb的形状分别是____和____

1×8, 1×1

1×8, 7×1

8×1, 1×1

8×1, 7×1

答案解释:

设输入批量为X in mathbb{R}^{7 times 8}X∈R7×8,对应的输出为Y in \mathbb{R}^{7 times 1}Y∈R7×1,令权重参数为w in mathbb{R}^{8 times 1}w∈R8×1,则Xw in mathbb{R}^{7 times 1}Xw∈R7×1,然后我们给XwXw中的每个元素加上的偏置是一样的,所以偏置参数b in mathbb{R} ^{1 times 1}b∈R1×1,基于加法的广播机制,可以完成得到输出Y = Xw + bY=Xw+b。参数的形状与批量大小没有关系,也正是因为如此,对同一个模型,我们可以选择不同的批量大小。

作者:cocowy