0
| 本文作者： 汪思穎 | 2017-12-07 08:58 |
雷鋒網(wǎng) AI 科技評論按，2017 年初，F(xiàn)acebook 在機器學習和科學計算工具 Torch 的基礎(chǔ)上，針對 Python 語言發(fā)布了一個全新的機器學習工具包 PyTorch。一經(jīng)發(fā)布，這款開源工具包就受到廣泛關(guān)注和討論，經(jīng)過幾個月的發(fā)展，目前 PyTorch 已經(jīng)成為從業(yè)者最重要的研發(fā)工具之一。經(jīng)過將近一年的發(fā)展，日前，迎來了 PyTorch 0.3.0 版本。
根據(jù)官方文檔的介紹，此次增加了多個函數(shù)和功能，多方面的性能均實現(xiàn)提升。
重大變更
0.3 版本中刪掉了 Variable.reinforce() 等隨機函數(shù)，因為它們的功能有限，并且會影響到性能。設(shè)置隨機函數(shù)的初衷是為了避免采樣值的 book-keeping，在實際中，由于各種各樣的原因，用戶的代碼中仍然會包括 book-keeping。他們引入了 torch.distributions 包來代替隨機函數(shù)。
之前的代碼如下：
probs = policy_network(state)
action = probs.multinomial()
next_state, reward = env.step(action)
action.reinforce(reward)
action.backward()
現(xiàn)在的代碼如下：
probs = policy_network(state)
# NOTE: categorical is equivalent to what used to be called multinomial
m = torch.distributions.Categorical(probs)
action = m.sample()
next_state, reward = env.step(action)
loss = -m.log_prob(action) * reward
loss.backward()
新的功能
1、目前，有些損失函數(shù)能直接計算 mini-batch 中每個 sample 的損失值。
2、構(gòu)建了一個 in-built Profiler，能對模型進行瓶頸分析，這個 Profiler 同時支持 CPU 和 CUDA 模型。
更多信息可以參見 http://pytorch.org/docs/0.3.0/autograd.html#profiler
3、增加 Higher order gradients 模塊，支持如下層：
ConvTranspose, AvgPool1d, AvgPool2d, LPPool2d, AvgPool3d, MaxPool1d, MaxPool2d, AdaptiveMaxPool, AdaptiveAvgPool, FractionalMaxPool2d, MaxUnpool1d, MaxUnpool2d, nn.Upsample, ReplicationPad2d, ReplicationPad3d, ReflectionPad2d
PReLU, HardTanh, L1Loss, SoftSign, ELU, RReLU, Hardshrink, Softplus, SoftShrink, LogSigmoid, Softmin, GLU
MSELoss, SmoothL1Loss, KLDivLoss, HingeEmbeddingLoss, SoftMarginLoss, MarginRankingLoss, CrossEntropyLoss
DataParallel
4、優(yōu)化器
optim.SparseAdam：能實現(xiàn)適用于稀疏張量的簡單亞當算法
優(yōu)化器中增加了 add_param_group 函數(shù)，能在構(gòu)建好的優(yōu)化器中增加新的參數(shù)組。
除此之外，還增加了新的張量函數(shù)和功能，在新版本中，能通過 ONNX 將模型遷移到其他框架上。另外，在加速方面，重寫 gpu kernel 之后，softmax 和 log_softmax 的速度能實現(xiàn) 4-256 倍的提升；在分布式 AllReduce 中，能實現(xiàn) 2.5-3 倍的性能提升；torch.norm 函數(shù)的 backward 能實現(xiàn) 1.5 倍的加速；pack_padded_sequence 的性能也有提升。
雷鋒網(wǎng) AI 科技評論編譯整理，具體的介紹可以參加說明文檔，里面有詳細說明。地址如下：https://github.com/pytorch/pytorch/releases/tag/v0.3.0
雷鋒網(wǎng) AI 科技評論后續(xù)也將持續(xù)關(guān)注PyTorch的更新。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
