$*$:element-wise乘法,对应元素相乘

支持broadcast操作

a = torch.tensor(torch.ones(10,1))
b = torch.tensor(torch.rand(5)) # tensor([0.4161, 0.4143, 0.7171, 0.4200, 0.6486])
a * b

# 输出:
tensor([[0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486],
        [0.4161, 0.4143, 0.7171, 0.4200, 0.6486]])

$@$:矩阵乘法,不支持broadcast操作

a = torch.tensor(torch.ones(10,1))
b = torch.tensor(torch.rand(5))
a@b
# 输出: RuntimeError: size mismatch, [10 x 1], [5]

a = torch.tensor(torch.ones(10,5))
b = torch.tensor(torch.rand(5))
a@b # shape [10]

a = torch.tensor(torch.ones(10,5))
b = torch.tensor(torch.rand(5,1))
a@b # shape [10,1]

二维矩阵乘法 mm()

不支持broadcast

torch.mm(mat1, mat2, out=None),用于矩阵乘法,同@,

三维带batch的矩阵乘法 bmm()

不支持broadcast

torch.bmm(),在神经网络第一维度通常是batch,batch不参加运算,所以只是第二三维度进行矩阵乘法,

b×n×m`b×m×n--> b×n×n`

element-wise mul()

和$*$一样,支持broadcast操作。

多维矩阵乘法 matmul()

支持broadcast

matmul()乘法对参数的后两个维度计算(矩阵乘法),其他维度看作batch,可以进行广播

(1000, 200, 20,10) (200, 10, 20) 最后计算的维度(1000, 200, 20,20)

broadcast

可广播的一对张量满足一下规则:

  • 每个张量至少有一个维度
  • 迭代维度尺寸,从尾部维度开始,存在三种情况,两个张量维度相等;其中一个张量的维度尺寸为1;其中一个张量不存在这个维度

进行广播之后,结果是两个张量对应维度尺寸的较大者

End

本文标题:PyTorch矩阵乘法

本文链接:https://www.tzer.top/archives/75.html

除非另有说明,本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议

声明:转载请注明文章来源。

最后修改:2021 年 08 月 19 日
如果觉得我的文章对你有用,请随意赞赏