深度学习 原理性实践

前言

以前一直是调用,从来都是知其然而不知其所以然,不太好,正好最近一直在使用yolov5,又很想搓一个自然语言聊天机器人,就决定学一学:

Part1 理论基础

1.1 正向传播

输入为矩阵,对矩阵进行仿射变换后加上激活函数,反复几层之后输入,经过Softmax输出结果。用交叉熵损失判断其模型好坏,并进行下一步操作

1.2 反向传播

首先明确反向传播即损失值对网络中仿射变换参数的改变

对于softmax层,反向传播softmax层输出预测与实际的差值

对于仿射变换层,引入正则化惩罚项:reg学习率:epsilon来约束反向传播

这个时候对于一般仿射变换:

H = W*X +B

与其反向传播的输入值dW,dB

dW = dW + reg * W

更新W与B有:

W = W – epsilon * dW

B = B – espsilon * dB

这样就能实现反向传播在仿射变换中的流动了


评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注