Pytorch常用模块以及nn.Module

  2018-10-18 

pytroch常用包

PyTorch框架中有一个很常用的包：torchvision
torchvision主要由3个子包构成：torchvision.datasets、torchvision.models、torchvision.transforms
torchvision和torchtext基于torch.utils.data.Dataset和torch.utils.data.DataLoder类构建
nn来源于torch.nn
optim来源于torch.optim 超参数算法都在里面
lr_scheduler来源于torch.optim.lr_scheduler 自适应学习率算法在里面
ImageFolder在torchvision.datasets中
torchvision.models中提供一些现有的流行算法

torch.nn.functional 各中层函数的实现，与层类型对应，如：卷积函数、池化函数、归一化函数等等

torch.nn与nn.Module

torch.nn是专门为神经网络设计的模块化接口。nn构建于autograd之上，可以用来定义和运行神经网络。

torch.nn的核心数据结构是Module，它是一个抽象概念，既可以表示神经网络中的某个层（layer），也可以表示一个包含很多层的神经网络。无需纠结variable和tensor了，0.4版本已经将两个类彻底合并了。

在实际使用中，最常见的做法是继承nn.Module，撰写自己的网络/层。

  • 自定义层Linear必须继承nn.Module，并且在其构造函数中需调用nn.Module的构造函数，即super(Linear, self).__init__() 或nn.Module.__init__(self)，推荐使用第一种用法。

  • 在构造函数__init__中必须自己定义可学习的参数，并封装成Parameter，比如 _FasterRcnn类init中定义了 self.RCNN_loss_cls = 0 和 self.RCNN_loss_bbox = 0 还有在本例中我们把w和b封装成parameter。parameter是一种特殊的Variable，但其默认需要求导（requires_grad = True）。

  • forward函数实现前向传播过程，其输入可以是一个或多个variable，对x的任何操作也必须是variable支持的操作。

  • 无需写反向传播函数，因其前向传播都是对variable进行操作，nn.Module能够利用autograd自动实现反向传播，这点比Function简单许多。 faster rcnn等中反向传播直接写pass的原因。

  • 使用时，直观上可将layer看成数学概念中的函数，调用layer(input)即可得到input对应的结果。它等价于layers.__call__(input)，在__call__函数中，主要调用的是 layer.forward(x)，另外还对钩子做了一些处理。所以在实际使用中应尽量使用layer(x)而不是使用layer.forward(x)。

  • Module中的可学习参数可以通过named_parameters()或者parameters()返回迭代器，前者会给每个parameter都附上名字，使其更具有辨识度。

    Module能够自动检测到自己的Parameter，并将其作为学习参数。

nn.ReLU和F.ReLU有什么区别?

将ReLU层添加到网络有两种不同的实现，即nn.ReLU和F.ReLU两种实现方法。
其中nn.ReLU作为一个层结构，必须添加到nn.Module容器中才能使用，而F.ReLU则作为一个函数调用，看上去作为一个函数调用更方便更简洁。具体使用哪种方式，取决于编程风格。在PyTorch中,nn.X都有对应的函数版本F.X，但是并不是所有的F.X均可以用于forward或其它代码段中，因为当网络模型训练完毕时，在存储model时，在forward中的F.X函数中的参数是无法保存的。也就是说，在forward中，使用的F.X函数一般均没有状态参数，比如F.ReLU，F.avg_pool2d等，均没有参数，它们可以用在任何代码片段中。

nn.Softmax() = nn.Linear() + forward最后输出的时候调用F.softmax()
赏

且听风吟