量子位 编辑 | "大众年夜众号 QbitAI
百度推出飞桨（PaddlePaddle）后，不少开拓者开始转向海内的深度学习框架。但是从代码的转移谈何随意马虎，之前的事情重写一遍不太现实，成千上万行代码的手工转换即是是在做一次二次开拓。
现在，有个好：无论Caffe、TensorFlow、ONNX都可以轻松迁移到飞桨平台上。虽然目前还不直接迁移PyTorch模型，但PyTorch本身支持导出为ONNX模型，即是间接对该平台供应了支持。
然而，有人还对存在迷惑：不同框架之间的API有没有差异？全体迁移过程如何操作，步骤繁芜吗？迁移后如何担保精度的丢失在可接管的范围内？
大家会考虑很多问题，而问题再多，归纳一下，无外乎以下几点：
API差异：模型的实现办法如何迁移，不同框架之间的API有没有差异？如何避免这些差异带来的模型效果的差异？模型文件差异：演习好的模型文件如何迁移？转换框架后如何担保精度的丢失在可接管的范围内？预测办法差异：转换后的模型如何预测？预测的效果与转换前的模型差异如何？飞桨开拓了一个新的功能模块，叫X2Paddle（Github见参考1），可以支持主流深度学习框架模型转换至飞桨，包括Caffe、Tensorflow、onnx等模型直接转换为Paddle Fluid可加载的预测模型，并且还供应了这三大主流框架间的API差异比较，方便我们在自己直接复现模型时比拟API之间的差异，深入理解API的实现办法从而降落模型迁移带来的丢失。
下面以TensorFlow转换成Paddle Fluid模型为例，详细讲讲如何实现模型的迁移。
TensorFlow-Fluid 的API差异
在深度学习入门过程中，大家常见的便是手写数字识别这个demo，下面是一份最大略的实现手写数字识别的代码：
from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets(\"大众MNIST_data/\"大众, one_hot=True)x = tf.placeholder(tf.float32, [None, 784]) W = tf.Variable(tf.zeros([784, 10]))b = tf.Variable(tf.zeros([10]))y = tf.nn.softmax(tf.matmul(x, W) + b)y_ = tf.placeholder(\"大众float\"大众, [None, 10])cross_entropy = tf.reduce_sum(tf.nn.softmax_cross_entropy_with_logits(logits = y,labels = y_))train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)init = tf.global_variables_initializer()sess = tf.Session()sess.run(init)for i in range(1, 1000): batch_xs, batch_ys = mnist.train.next_batch(100) sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, 'float'))print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
大家看这段代码里，第一步是导入mnist数据集，然后设置了一个占位符x来表示输入的图片数据，再设置两个变量w和b，分别表示权重和偏置来打算，末了通过softmax打算得到输出的y值，而我们真实的label则是变量y_ 。
前向传播完成后，就可以打算预测值y与label y_之间的交叉熵。
再选择得当的优化函数，此处为梯度低落，末了启动一个Session，把数据按batch灌进去，打算acc即可得到准确率。
这是一段非常大略的代码，如果我们想把这段代码变成飞桨的代码，有人可能会认为非常麻烦，每一个实现的API还要逐一去找对应的实现办法，但是这里，我可以见告大家，不！
用！
这！
么！
麻！
烦！
由于在X2Paddle里有一份常用的Tensorflow对应Fluid的API表，（https://github.com/PaddlePaddle/X2Paddle/tree/master/tensorflow2fluid/doc），如下所示：
对付常用的TensorFlow的API，都有相应的飞桨接口，如果两者的功能没有差异，则会标注功能同等，如果实现办法或者支持的功能、参数等有差异，即会标注“差异比拟”，并详细注明。
譬如，在上文这份非常大略的代码里，涌现了这些TensorFlow的API：
在涌现的这些api里，大部分的功能都是同等的，只有两个功能不同，分别是tf.placeholder和tf.nn.softmax_cross_entropy_with_logits ，分别对应 fluid.layers.data 和 fluid.layers.softmax_with_cross_entropy . 我们来看看详细差异：
tf.placeholder V.S fluid.layers.data
常用TensorFlow的同学对placeholder该当不陌生，中文翻译为占位符，什么意思呢？在TensorFlow 2.0以前，还是静态图的设计思想，全体设计理念是打算流图，在编写程序时，首先构筑全体系统的graph，代码并不会直接生效，这一点和python的其他数值打算库（如Numpy等）不同，graph为静态的，在实际的运行时，启动一个session，程序才会真正的运行。这样做的好处便是：避免反复地切换底层程序实际运行的高下文，tensorflow帮你优化全体系统的代码。我们知道，很多python程序的底层为C措辞或者其他措辞，实行一行脚本，就要切换一次，是有本钱的，tensorflow通过打算流图的办法，可以帮你优化全体session须要实行的代码。
在代码层面，每一个tensor值在graph上都是一个op，当我们将train数据分成一个个minibatch然后传入网络进行演习时，每一个minibatch都将是一个op，这样的话，一副graph上的op难免不免太多，也会产生巨大的开销；于是就有了tf.placeholder，我们每次可以将 一个minibatch传入到x = tf.placeholder(tf.float32,[None,32])上，下一次传入的x都更换掉上一次传入的x，这样就对付所有传入的minibatch x就只会产生一个op，不会产生其他多余的op，进而减少了graph的开销。
参数比拟
tf.placeholder
tf.placeholder( dtype, shape=None, name=None )
paddle.fluid.layers.data
paddle.fluid.layers.data( name, shape, append_batch_size=True, dtype='float32', lod_level=0, type=VarType.LOD_TENSOR, stop_gradient=True)
从图中可以看到，飞桨的api参数更多，详细差异如下：
Batch维度处理TensorFlow: 对付shape中的batch维度，须要用户利用None指定；
飞桨: 将第1维设置为-1表示batch维度；如若第1维为正数，则会默认在最前面插入batch维度，如若要避免batch维，可将参数append_batch_size设为False。
梯度是否回传tensorflow和pytorch都支持对输入求梯度，在飞桨中直接设置stop_gradient = False即可。如果在某一层利用stop_gradient=True,那么这一层之前的层都会自动的stop_gradient=True,梯度不会参与回传，可以对某些不须要参与loss打算的信息设置为stop_gradient=True。对付含有BatchNormalization层的CNN网络，也可以对输入求梯度，如
layers.data( name=\"大众data\"大众, shape=[32, 3, 224, 224], dtype=\"大众int64\"大众, append_batch_size=False, stop_gradient=False)
tf.nn.softmax_cross_entropy_with_logits V.S fluid.layers.softmax_with_cross_entropy
参数比拟
tf.nn.softmax_cross_entropy_with_logits( _sentinel=None, labels=None, logits=None, dim=-1, name=None)
paddle.fluid.layers.softmax_with_cross_entropy
paddle.fluid.layers.softmax_with_cross_entropy( logits, label, soft_label=False, ignore_index=-100, numeric_stable_mode=False, return_softmax=False)
功能差异
标签类型
TensorFlow：labels只能利用软标签，其shape为[batch, num_classes]，表示样本在各个种别上的概率分布;
飞桨：通过设置soft_label，可以选择软标签或者硬标签。当利用硬标签时，label的shape为[batch, 1]，dtype为int64；当利用软标签时，其shape为[batch, num_classes]，dtype为int64。
返回值
TensorFlow：返回batch中各个样本的log loss；
飞桨：当return_softmax为False时，返回batch中各个样本的log loss；当return_softmax为True时，再额外返回logtis的归一化值。
疑问点？
硬标签，即 one-hot label, 每个样本仅可分到一个种别
软标签，每个样本可能被分配至多个种别中
numeric_stable_mode：这个参数是什么呢？标志位，指明是否利用一个具有更佳数学稳定性的算法。仅在 soft_label 为 False的GPU模式下生效. 若 soft_label 为 True 或者实行场所为CPU, 算法一贯具有数学稳定性。把稳利用稳定算法时速率可能会变慢。默认为 True。
return_softmax: 指明是否额外返回一个softmax值， 同时返回交叉熵打算结果。默认为False。
如果 return_softmax 为 False， 则返回交叉熵丢失
如果 return_softmax 为 True，则返回元组 (loss, softmax) ，个中交叉熵丢失为形为[N x 1]的二维张量，softmax为[N x K]的二维张量
代码示例
data = fluid.layers.data(name='data', shape=[128], dtype='float32')label = fluid.layers.data(name='label', shape=[1], dtype='int64')fc = fluid.layers.fc(input=data, size=100)out = fluid.layers.softmax_with_cross_entropy( logits=fc, label=label)
以是通过API对应表，我们可以直接转换把TensorFlow代码转换成Paddle Fluid代码。但是如果现在项目已经上线了，代码几千行乃至上万行，或者已经演习出可预测的模型了，如果想要直接转换API是一件非常耗时耗精力的事情，有没有一种方法可以直接把演习好的可预测模型直接转换成另一种框架写的，只要转换后的丢失精度在可接管的范围内，就可以直接更换。下面就讲讲演习好的模型如何迁移。
模型迁移
VGG_16是CV领域的一个经典模型，我以tensorflow/models下的VGG_16为例，给大家展示如何将TensorFlow演习好的模型转换为飞桨模型。
下载预演习模型
import urllibimport sysdef schedule(a, b, c): per = 100.0 a b / c per = int(per) sys.stderr.write(\公众\rDownload percentage %.2f%%\"大众 % per) sys.stderr.flush()url = \"大众http://download.tensorflow.org/models/vgg_16_2016_08_28.tar.gz\"大众fetch = urllib.urlretrieve(url, \公众./vgg_16.tar.gz\"大众, schedule)
解压下载的压缩文件
import tarfilewith tarfile.open(\"大众./vgg_16.tar.gz\"大众, \"大众r:gz\"大众) as f: file_names = f.getnames() for file_name in file_names: f.extract(file_name, \"大众./\公众)
保存模型为checkpoint格式
import tensorflow.contrib.slim as slimfrom tensorflow.contrib.slim.nets import vggimport tensorflow as tfimport numpywith tf.Session() as sess: inputs = tf.placeholder(dtype=tf.float32, shape=[None, 224, 224, 3], name=\公众inputs\"大众) logits, endpoint = vgg.vgg_16(inputs, num_classes=1000, is_training=False) load_model = slim.assign_from_checkpoint_fn(\公众vgg_16.ckpt\公众, slim.get_model_variables(\"大众vgg_16\"大众)) load_model(sess) numpy.random.seed(13) data = numpy.random.rand(5, 224, 224, 3) input_tensor = sess.graph.get_tensor_by_name(\"大众inputs:0\公众) output_tensor = sess.graph.get_tensor_by_name(\公众vgg_16/fc8/squeezed:0\"大众) result = sess.run([output_tensor], {input_tensor:data}) numpy.save(\"大众tensorflow.npy\公众, numpy.array(result)) saver = tf.train.Saver() saver.save(sess, \公众./checkpoint/model\"大众)
TensorFlow2fluid目前支持checkpoint格式的模型或者是将网络构造和参数序列化的pb格式模型，上面下载的vgg_16.ckpt仅仅存储了模型参数，因此我们须要重新加载参数，并将网络构造和参数一起保存为checkpoint模型
将模型转换为飞桨模型
import tf2fluid.convert as convertimport argparseparser = convert._get_parser()parser.meta_file = \"大众checkpoint/model.meta\公众parser.ckpt_dir = \"大众checkpoint\"大众parser.in_nodes = [\公众inputs\"大众]parser.input_shape = [\"大众None,224,224,3\"大众]parser.output_nodes = [\"大众vgg_16/fc8/squeezed\"大众]parser.use_cuda = \公众True\"大众parser.input_format = \"大众NHWC\"大众parser.save_dir = \"大众paddle_model\"大众convert.run(parser)
把稳：部分OP在转换时，须要将参数写入文件；或者是运行tensorflow模型进行infer，获取tensor值。两种情形下均会花费一定的韶光用于IO或打算，对付后一种情形，
打印输出log信息（截取部分）
INFO:root:Loading tensorflow model...INFO:tensorflow:Restoring parameters from checkpoint/modelINFO:tensorflow:Restoring parameters from checkpoint/modelINFO:root:Tensorflow model loaded!INFO:root:TotalNum:86,TraslatedNum:1,CurrentNode:inputsINFO:root:TotalNum:86,TraslatedNum:2,CurrentNode:vgg_16/conv1/conv1_1/weightsINFO:root:TotalNum:86,TraslatedNum:3,CurrentNode:vgg_16/conv1/conv1_1/biasesINFO:root:TotalNum:86,TraslatedNum:4,CurrentNode:vgg_16/conv1/conv1_2/weightsINFO:root:TotalNum:86,TraslatedNum:5,CurrentNode:vgg_16/conv1/conv1_2/biases...INFO:root:TotalNum:86,TraslatedNum:10,CurrentNode:vgg_16/conv3/conv3_1/weightsINFO:root:TotalNum:86,TraslatedNum:11,CurrentNode:vgg_16/conv3/conv3_1/biasesINFO:root:TotalNum:86,TraslatedNum:12,CurrentNode:vgg_16/conv3/conv3_2/weightsINFO:root:TotalNum:86,TraslatedNum:13,CurrentNode:vgg_16/conv3/conv3_2/biasesINFO:root:TotalNum:86,TraslatedNum:85,CurrentNode:vgg_16/fc8/BiasAddINFO:root:TotalNum:86,TraslatedNum:86,CurrentNode:vgg_16/fc8/squeezedINFO:root:Model translated!
到这一步，我们已经把tensorflow/models下的vgg16模型转换成了Paddle Fluid 模型，转换后的模型与原模型的精度有丢失吗？如何预测呢？来看下面。
预测结果差异
加载转换后的飞桨模型，并进行预测
上一步转换后的模型目录命名为“paddle_model”,在这里我们通过ml.ModelLoader把模型加载进来，把稳转换后的飞桨模型的输出格式由NHWC转换为NCHW，以是我们须要对输入数据做一个转置。处理好数据后，即可通过model.inference来进行预测了。详细代码如下：
import numpyimport tf2fluid.model_loader as mlmodel = ml.ModelLoader(\"大众paddle_model\"大众, use_cuda=False)numpy.random.seed(13)data = numpy.random.rand(5, 224, 224, 3).astype(\公众float32\"大众)# NHWC -> NCHWdata = numpy.transpose(data, (0, 3, 1, 2))results = model.inference(feed_dict={model.inputs[0]:data})numpy.save(\"大众paddle.npy\公众, numpy.array(results))
比拟模型丢失
转换模型有一个问题始终避免不了，便是丢失，从Tesorflow的模型转换为Paddle Fluid模型，如果模型的精度丢失过大，那么转换模型实际上是没故意义的，只有丢失的精度在我们可接管的范围内，模型转换才能被实际运用。在这里可以通过把两个模型文件加载进来后，通过numpy.fabs来求两个模型结果的差异。
import numpypaddle_result = numpy.load(\公众paddle.npy\公众)tensorflow_result = numpy.load(\"大众tensorflow.npy\"大众)diff = numpy.fabs(paddle_result - tensorflow_result)print(numpy.max(diff))
打印输出
6.67572e-06
从结果中可以看到，两个模型文件的差异很小，为6.67572e-06 ，险些可以忽略不计，以是这次转换的模型是可以直接应用的。
须要把稳的点
转换后的模型须要把稳输入格式，飞桨中输入格式需为NCHW格式。此例中不涉及到输入中间层，如卷积层的输出，须要理解的是飞桨中的卷积层输出，卷积核的shape与TensorFlow有差异。模型转换完后，检讨转换前后模型的diff，须要测试得到的最大diff是否知足转换需求。总结
X2Paddle供应了一个非常方便的转换办法，让大家可以直接将演习好的模型转换成Paddle Fluid版本。
转换模型原来须要直接通过API对照表来重新实当代码。但是在实际生产过程中这么操作是很麻烦的，乃至还要进行二次开拓。
如果有新的框架能轻松转换模型，迅速运行调试，迭代出结果，何乐而不为呢？
虽然飞桨比较其他AI平台上线较晚，但是凭借X2Paddle小工具，能快速将AI开拓者吸引到自己的平台上来，后续的上风将愈加明显。
除了本文提到的tensoflow2fluid，Paddle Fluid还支持caffe2fluid、onnx2fluid，大家可以根据自身的需求体验一下，有问题可以留言互换~
参考资料：
X2Paddle Github：https://github.com/PaddlePaddle/X2Paddletensorflow2fluid: https://github.com/PaddlePaddle/X2Paddle/tree/master/tensorflow2fluid— 完 —
诚挚招聘
量子位正在招募编辑/，事情地点在北京中关村落。期待有才华、有激情亲切的同学加入我们！
干系细节，请在量子位公众号(QbitAI)对话界面，回答“招聘”两个字。
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技能和产品新动态