Tensorflow系列3:多层神经网络--解决非线性问题
发布网友
发布时间：2022-11-22 23:08
共1个回答
热心网友
时间：2023-12-31 04:35
这里拿医院的数据做一个简单的线性分类任务，任务特征是病人的年龄和肿瘤大小，任务目标是病人的肿瘤是良性的还是恶性的。
补充知识：
补充知识：
MSE的公式为：
cross entropy一般用于分类问题，表达的意思是样本属于某一类的概率,公式为：
这里用于计算的a也是经过分布统一化处理的（或者是经过Sigmoid函数激活的结果），取值范围在0~1之间。
在tensorflow中常见的交叉熵函数有：Sgimoid交叉熵，softmax交叉熵，Sparse交叉熵，加权Sgimoid交叉熵
MSE的预测值和真实值要控制在同样的数据分布内，假设预测值经过Sigmoid激活函数得到取值范围时候01之间，那么真实值也要归一化成01之间。
在tensorflow中没有单独的MSE函数，可以自己组合：
MSE=tf.rece_mean(tf.square(logits-outputs))
softmax_cross_entropy_with_logits 函数，必须要自己定义，比如：
loss = tf.rece_mean(-tf.rece_sum(labels*tf.log(logits_scaled),1))
损失函数的选取取决于输入标签数据的类型：如果输入是实数、无界的值，多使用MSE；如果输入标签是位矢量（分类标志），使用cross entropy比较合适
补充知识点：
reshape（） 函数接受-1时，该行（列）数可以为任意值。[-1,1]代表行数随意，列数变成1。
模型生成的z用公式可以表示成z=x1w1+x2w2+b，如果将x1和x2映射到直角坐标系中的x和y坐标，那么z就可以被分为小于0和大于0两部分。当z=0时，就代表直线本身。
这次再在刚刚的二分类基础上再增加一类，变成三类，可以使用多条直线将数据分成多类。
生成的X,Y的数据样本如下内容：
常用的激活函数比如sigmoid，relu，tanh输出值只有两种，面对以上多分类问题，就需要使用softmax算法。该算法的主要应用就是多分类，而且是互斥的，即只能属于某一类。（对于不是互斥的分类问题，一般使用多个二分类来组成）
补充知识：
也可以画出更直观的图示：
例如：
对于线性不可分的数据样本，可以使用多层神经网络来解决，也就是在输入层和输出层中间多加一些神经元，每一层可以加多个，也可以加多层。
在模型训练过程中会出现欠拟合和过拟合的问题，欠拟合的原因并不是模型不行，而是我们的学习方法无法更精准地学习到适合的模型参数。模型越薄弱，对训练的要求就越高，但是可以采用增加节点或者增加隐藏层的方式，让模型具有更高的拟合性，从而降低模型的训练难度。过拟合的表现在模型在训练集上的表现非常好，loss很小；但是在测试集上的表现却非常差。
避免过拟合的方法很多：常用的有early stopping、数据集扩增、正则化、dropout
本质就是加入噪声，在计算loss时，在损失后面再加上意向，这样预测结果与标签间的误差就会受到干扰，导致学习参数W和b无法按照目标方向来调整，从而实现模型与训练数据无法完全拟合的效果，从而防止过拟合。
这个添加的干扰项必须具有如下特性：
这里有两个范数L1和L2：
tf.rece_sum(tf.abs(w))
tf.nn.l2_loss(t,name=None)
拿上面的异或数据做举例，dropout方法就是在刚刚的layer_1层后面再添加一个dropout层。
实际训练时，将keep_prob设置成0.6，意味着每次训练将仅允许0.6的节点参与学习运算。由于学习速度这样就变慢了，可以将learning_rate调大，加快训练速度。注意：在测试时，需要将keep_prob设置为1。
全连接神经网络是一个通用的拟合数据的框架，只要有足够多的神经元，及时只有一层hidden layer，利用常见的Sigmoid，relu等激活函数，就可以无限*近任何连续函数。在实际使用中，如果想利用浅层神经网络拟合复杂非线性函数，就需要你靠增加的神经元个数来实现，神经元过多会造成参数过多，从而增加网络的学习难度，并影响网络的泛化能力。因此，在实际构建网络结构时，一般倾向于使用更深的模型，开减少所需要的神经元数量。
