I 前向传播网络搭建
成都创新互联公司企业建站,10年网站建设经验，专注于网站建设技术，精于网页设计，有多年建站和网站代运营经验，设计师为客户打造网络企业风格，提供周到的建站售前咨询和贴心的售后服务。对于成都网站制作、网站设计中不同领域进行深入了解和探索，创新互联在网站建设中充分了解客户行业的需求，以灵动的思维在网页中充分展现，通过对客户行业精准市场调研，为客户提供的解决方案。
在mnist_forward.py中搭建两层全连接网络，这里面就是定义层数，节点数，激活函数这些。
输入节点数目就是mnist数据集的图片28*28大小，用784行的向量作为输入。
第一层y1=relu(x*w1+b1 )其中y1为500行的向量。那么w1里面就有784*500个变量啦～～b1是500个变量。然后经过一个relu激活函数。
第二层就是从500节点变换到10个节点的输出，输出为标签，表示0-9手写数字出现的概率。y=y1*w2+b2。w2就是500*10的矩阵。b2是10行的向量。没有激活函数。
这里面w1 b1 w2 b2就是要训练的参数
采用了正则化
正则化就是在损失函数中给每个参数w加上权重，引入模型复杂度指标，从而抑制模型噪声，减少过拟合。这里使用的是L2正则化，即w的L2范数也是loss的一部分，也就是说在求解最优w的过程中，要使得w的值尽量在0附近。
import tensorflow as tf
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1_NODE = 500
def get_weight(shape,regularizer):
w = tf.Variable(tf.truncated_normal(shape,stddev=0.1))
# 截断正态分布
if regularizer != None: tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))
# 使用正则化 L2范数 将每个参数的正则化损失加到总损失中
return w
def get_bias(shape):
b = tf.Variable(tf.zeros(shape))
return b
def forward(x,regularizer):
w1 = get_weight([INPUT_NODE,LAYER1_NODE],regularizer)
b1 = get_bias([LAYER1_NODE])
y1 = tf.nn.relu(tf.matmul(x,w1) + b1)
w2 = get_weight([LAYER1_NODE,OUTPUT_NODE],regularizer)
b2 = get_bias([OUTPUT_NODE])
y = tf.matmul(y1,w2) + b2
return y
II误差反向传播
在mnist_backward.py中读入mnist数据集，计算误差，进行误差反向传播，实现模型的训练，得到网络参数并保存在模型中
2.1 loss
loss的计算先用softmax把输出的10行向量变成概率分布，再与真实的输出标签进行对比，求交叉熵。cross entropy 可以看作是两个概率分布函数之间的距离。距离越小，说明预测越准确，loss越小。
2.2 学习率
学习率是每次沿着梯度下降方向进行参数更新的步长，步长过大会导致在最优点震荡，步长过小会导致学习速度太慢。这里采用了指数衰减的步长。在训练初始阶段，步长较大，较快收敛，在最优点附近，步长较小，能够得到较精确的最优解。
2.3 滑动平均
记录一段时间内模型中所有参数w和b的各自的平均值。用于增强模型的泛化能力。
import tensorflow as tf
import mnist_forward
import os无锡妇科医院 http://www.bhnnk120.com/
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
from tensorflow.examples.tutorials.mnist import input_data
BATCH_SIZE = 200 #每次输入的图片数
LEARNING_RATE_BASE = 0.1 #初始学习率
LEARNING_RATE_DECAY = 0.99 #学习率衰减率
REGULARIZER = 0.0001 #正则化系数
STEPS = 10000 #训练轮数
MOVING_AVERAGE_DECAY = 0.99
MODEL_SAVE_PATH="./model/"
MODEL_NAME = "mnist_model"
def backward(mnist):
x = tf.placeholder(tf.float32,[None,mnist_forward.INPUT_NODE])
y_ = tf.placeholder(tf.float32,[None,mnist_forward.OUTPUT_NODE])
y = mnist_forward.forward(x,REGULARIZER)
global_step = tf.Variable(0,trainable = False)
# step计数 不可训练的参数
ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits = y, labels = tf.argmax(y_,1))
cem = tf.reduce_mean(ce)
loss = cem + tf.add_n(tf.get_collection('losses'))
learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE,global_step,mnist.train.num_examples/BATCH_SIZE,LEARNING_RATE_DECAY,staircase=True)
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step = global_step)
ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step)
ema_op = ema.apply(tf.trainable_variables())
# ema.apply()对括号内参数求滑动平均
# tf.trainable_variables() 将所有可以被训练的参数汇总为list 也就是[w1 b1 w2 b2]
with tf.control_dependencies([train_step, ema_op]):
train_op = tf.no_op(name='train')
# 该函数实现将滑动平均和训练过程同步运行。
saver = tf.train.Saver()
with tf.Session() as sess:
init_op = tf.global_variables_initializer()
sess.run(init_op)
for i in range(STEPS):
xs,ys = mnist.train.next_batch(BATCH_SIZE)
_, loss_value, step = sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})
if i%1000 == 0:
print("After %d training steps, loss on training batch is %g." %(step,loss_value))
saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step)
if __name__ == '__main__':
mnist = input_data.read_data_sets('./data/',one_hot=True)
backward(mnist)
III 运行代码
在Terminal里面激活tensorflow，运行python mnist_backward.py
就可以输出训练过程的loss，每1000步打印一次loss。从下图可以看出，loss逐渐减小。
重庆分公司
重庆分公司
