传统神经网络

文章目录

  • 神经网络的起源：线性回归
    • 一个线性回归问题
      • 线性回归优化方法：梯度下降
    • 梯度计算
    • 梯度计算总结
    • 线性回归：输出
    • 线性回归：局限
  • 从线性到非线性
    • 非线性激励
    • 常用的非线性激励函数
    • tanh
    • RELU
    • Lecky RELU
    • 神经元—神经网络
  • 神经网络构建
    • 神经元的并联和串联
    • 神经网络优化
    • Tensorflow实现
  • 神经网络“配件”
    • 损失函数-Loss
    • Softmax
    • Cross entropy
    • 自定义损失函数
    • 学习率
    • 动量
    • 过拟合
    • 应对方法：正则化
    • 应对方法：Drop out
    • Fine turning

神经网络的起源：线性回归

概念：线性关系描述输入到输出的映射关系
应用：网络分析，银行风险分析，基金股价预测，天气预报

一个线性回归问题

在这里插入图片描述

线性回归优化方法：梯度下降

在这里插入图片描述

梯度计算

在这里插入图片描述

梯度计算总结

  1. 随机初始化参数
  2. 开始循环：t=0，1，2，……
    在这里插入图片描述

线性回归：输出

在这里插入图片描述

线性回归：局限

在这里插入图片描述

从线性到非线性

非线性激励

在这里插入图片描述

常用的非线性激励函数

在这里插入图片描述
一般神经网络最后一层用sigmoid

tanh

在这里插入图片描述

RELU

在这里插入图片描述
特征足够多情况下运用

Lecky RELU

在这里插入图片描述
线性了

神经元—神经网络

在这里插入图片描述
是否存在线性回归网络
在这里插入图片描述

神经网络构建

神经元的并联和串联

从第一层神经网络到最终输出，每一个神经元的数值由前一层神经元数值，神经元参数w，b以及激励函数共同决定第n+1层第k个神经元方程，由公式表示为：
在这里插入图片描述
在这里，m表示第n层神经网络的宽度，n为当前神经网络的深度
在这里插入图片描述

神经网络优化

在这里插入图片描述

Tensorflow实现

在这里插入图片描述

神经网络“配件”

损失函数-Loss

影响深度学习性能重要因素之一。是外部世界对神经网络模型训练的直接指导
合适的损失函数能够确保深度学习模型收敛
设计合适的损失函数是研究工作主要内容之一

Softmax

在这里插入图片描述

Cross entropy

在这里插入图片描述

自定义损失函数

在这里插入图片描述

学习率

在这里插入图片描述
在这里插入图片描述

动量

在这里插入图片描述
直接调大学习率有什么区别？
矢量标量区别
在这里插入图片描述

过拟合

在这里插入图片描述
训练100% 测试数据差过拟合

应对方法：正则化

在这里插入图片描述

应对方法：Drop out

在这里插入图片描述
随机选择50%神经元,进行预测 需乘2

pooling：四个分别两个选最大出来

Fine turning

在这里插入图片描述
旋转改变平移1张图变10张然后运用model

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/467726.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

[BZOJ1669][Usaco2006 Oct]Hungry Cows饥饿的奶牛

[BZOJ1669][Usaco2006 Oct]Hungry Cows饥饿的奶牛

1669: [Usaco2006 Oct]Hungry Cows饥饿的奶牛 Time Limit: 5 Sec Memory Limit: 64 MB Submit: 1000 Solved: 655 [Submit][Status][Discuss]Description Farmer John养了N(1 < N < 5,000)头奶牛&#xff0c;每头牛都有一个不超过32位二进制数的正整数编号。FJ希望奶牛…
阅读更多...
vue抽屉_VUE组件 之 Drawer 抽屉

vue抽屉_VUE组件 之 Drawer 抽屉

{{ title }}Xprops: {//是否打开display: {type: Boolean},//标题title: {type: String,default: 标题},//是否显示关闭按钮closable: {type: Boolean,default: true},//是否显示遮罩mask: {type: Boolean,default: true},//是否点击遮罩关闭maskClosable: {type: Boolean,defa…
阅读更多...
深度学习之卷积神经网络

深度学习之卷积神经网络

文章目录深度学习之卷积神经网络链式反向梯度链式法则的计算神经网络中链式法则实例二、卷积神经网络-卷积层&#xff08;一&#xff09;什么是卷积层&#xff08;二&#xff09;有什么组成受什么影响&#xff0c;有何特点卷积网络正向传播反向传播卷积和神经网络功能层深度学习…
阅读更多...
datatype未定义是什么意思_vue.js一直提示未定义

datatype未定义是什么意思_vue.js一直提示未定义

.sum_price);}temp_status 1;}else{for(var i0;ivm.list.status 0;}vm.total_price 0;temp_status 0;}//更新数据库api.ajax({url: update_allcart_status_url,method: post,timeout: 30,dataType: json,returnAll: false,data: {values: {token: $api.getStorage(token),d…
阅读更多...
卷积神经网络高级篇

卷积神经网络高级篇

【 文章目录Alextnet参数计算VGG alexnet增强版VGG参数计算VGG作用GoogleNet 多分辨率融合全卷积神经网络RESNET结构特性有效性结构化图片特殊处理识别效果全局部卷积网络缺陷U-net图片生成网络VGG u-netAlextnet 参数计算 VGG alexnet增强版 VGG参数计算 VGG作用 GoogleNet 多…
阅读更多...
sx1268 中文_STM32开发笔记85: SX1268驱动程序设计（芯片唤醒）

sx1268 中文_STM32开发笔记85: SX1268驱动程序设计（芯片唤醒）

单片机型号&#xff1a;STM32L053R8T6本系列开发日志&#xff0c;将详述SX1268驱动程序的整个设计过程&#xff0c;本篇介绍芯片唤醒驱动程序。一、RxDutyCycle模式在讲述本篇内容之前&#xff0c;我们先来看一下SX1268的一种模式RxDutyCycle&#xff0c;译为中文为接收占空比模…
阅读更多...
LinuxGPIO操作和MTK平台GPIO

LinuxGPIO操作和MTK平台GPIO

GPIO口配置是一个历史性的问题&#xff0c;不管我们使用什么MCU&#xff0c;单片机也好&#xff0c;ARM也好&#xff0c;都离不开驱动GPIO口。Linux下有一个宏&#xff0c;GPIO_GPIO_SYSFS&#xff0c;打开这个宏后&#xff0c;编译烧录到设备端&#xff0c;去看看sys/class/gp…
阅读更多...
Linux cpu亲和力

Linux cpu亲和力

最近在对项目进行性能优化&#xff0c;由于在多核平台上&#xff0c;所以了解了些进程、线程绑定cpu核的问题&#xff0c;在这里将所学记录一下。不管是线程还是进程&#xff0c;都是通过设置亲和性(affinity)来达到目的。对于[进程]的情况&#xff0c;一般是使用sched_setaffi…
阅读更多...
卷积神经网络（目标分类）

卷积神经网络（目标分类）

文章目录目标分类基本框架数据准备数据扩充数据规范模型设计任务分类局部更改训练细节目标分类基本框架 数据准备 现有数据集的子集&#xff0c;网络采集&#xff0c;现有数据人工标注 数据扩充 原始数据切割&#xff0c;噪声颜色等像素变化&#xff0c;旋转平移 数据规范…
阅读更多...
unity获取电磁笔压感_【WPF】获取电磁笔的压感

unity获取电磁笔压感_【WPF】获取电磁笔的压感

WPF 不仅支持触控&#xff0c;也支持笔的输入&#xff0c;比如现在比较高大上的电磁笔。便宜的板子一般不配备电磁笔&#xff0c;而是配电容笔&#xff0c;虽然也号称XXX级压感&#xff0c;但是效果自然不可与电磁笔相比。UIElement 类规范了UI元素的基本轮廓&#xff0c;在该类…
阅读更多...
安卓9.0添加服务修改SELinux

安卓9.0添加服务修改SELinux

#文章目录#前言#SELinux来源#SELinux基本框架#SELinux 在不同版本的表现#使用audit2allow工具生成SELinux 权限#完整代码#前言先推荐下之前的SELinux文章&#xff0c;但是那个是7.1的&#xff0c;在9.0上已经在差别很大的了。Android7.1 在init.rc 添加shell服务题外话~在企业里…
阅读更多...
卷积神经网络－目标探测

卷积神经网络－目标探测

文章目录目标探测介绍任务思路DPMRCNN1&#xff09;候选区域选择2&#xff09;CNN特征提取3&#xff09;分类与边界回归R-CNN总结优点缺陷FAST-RCNNFASTER-RCNNYOLO目标探测介绍 任务 分类获取坐标 目标探测 图片分割 思路 回归问题&#xff1a;利用神经网络进行目标识别&am…
阅读更多...
相机视场角和焦距_镜头小讲堂（一）镜头的焦距

相机视场角和焦距_镜头小讲堂（一）镜头的焦距

在刚购买完相机的时候&#xff0c;我们久会考虑需要什么样的镜头来配合机身来使用。而市场上的镜头种类是在太多了&#xff0c;所以我们就要学习了解下镜头都有哪些种类&#xff0c;选择哪种镜头比较有优势。这也是学习摄影必备的基础知识。01 镜头的焦距焦距是镜头的重要指标&…
阅读更多...
小程序开发过程注意事项

小程序开发过程注意事项

尽量避免使用 this.setData({});会让小程序页面会重新渲染&#xff0c;耗性能资源。 比如 &#xff0c;clickShow: function(e) {this.setData({comment: ""});var comment e.currentTarget.dataset.comment && this.data.comment "" ? e.curre…
阅读更多...
C语言指定初始化器解析及其应用

C语言指定初始化器解析及其应用

由于笔者能力有限&#xff0c;文中如果出现错误的地方&#xff0c;欢迎大家给我指出来&#xff0c;我将不胜感激&#xff0c;谢谢&#xff5e;#指定初始化器的概念C90 标准要求初始化程序中的元素以固定的顺序出现&#xff0c;与要初始化的数组或结构体中的元素顺序相同。但是在…
阅读更多...
python self 序列_python中序列化对象

python self 序列_python中序列化对象

# 序列化对象p1import pickle # 内置库class People:def __init__(self, name, age):self.name nameself.age agedef sayhi(self):print("Hi, my name is {}, and Im {}".format(self.name, self.age))p1 People(name"Jack&qu…
阅读更多...
递归神经网络

递归神经网络

文章目录LSTM![在这里插入图片描述](https://img-blog.csdnimg.cn/20200609171449198.pngLSTM 4INPUTS 1outputs
阅读更多...
程序媛计划——mysql连接表

程序媛计划——mysql连接表

#inner join等值连接&#xff0f;内连接 mysql> select * from info; ----------------------------- | name | phone | address | ----------------------------- | zhao | 13199999999 | Beijing | | qian | 1328888888 | Harbin | | sun | 13366666666 | Sha…
阅读更多...
CNN+RNN

CNN+RNN

文章目录相同点不同点组合意义组合方式图片标注基本思路模型设计&#xff0d;数据准备视频行为识别视频行为识别图片问答相同点 传统神经网络的扩展 前向计算产生结果&#xff0c;反向计算模型更新 每层神经网络横向可以多个神经元共存&#xff0c;纵向可以多层神经网络链接 …
阅读更多...
jsr 正则验证_Java数据校验(Bean Validation / JSR303)

jsr 正则验证_Java数据校验(Bean Validation / JSR303)

#简介JSR303是JAVA EE6中的子规范。用于对Java Bean的字段值进行校验&#xff0c;确保输入进来的数据在语义上是正确的&#xff0c;使验证逻辑从业务代码中脱离出来。JSR303是运行时数据验证框架&#xff0c;验证之后验证的错误信息会马上返回。有两个版本JSR303(BeanValidatio…
阅读更多...
最新文章

Copyright @ 2022~2023