串联起深度学习的整体,以及其他领域

news/2024/7/7 5:32:44

1、从模型拟合(收敛)数据关系出发:y=f(x)\Rightarrow y=net(x)

2、f从简单的一层和两层连接开始,发展;f被表示成net

3、如何判断收敛:\sum_{i=1}^{N} (y-\widehat{y})^{2}\rightarrow 0,即目标函数

4、如何界定任务:x\rightarrow yx表示什么?y表示什么?,例如y表示房价、经济增长率、工资收入、地心引力大小、引力波的幅度等等

5、如何定义模型f,也就是如何定义网络net,比如CNN、RNN、Transformer等等

6、如何收集数据:\left \{ \left ( x_{1},y_{1}\right ),(x_{2},y_{2}) ,...\right \},样本数据,例如:人的需求指向

7、如何训练:

      a、计算预测\widehat{y}=net(x)

      b、计算损失loss=\sum_{i=1}^{N} (y-\widehat{y})^{2}

      c、计算梯度\partial_{ (\mathbf{w},b)}\frac{1}{N}\sum_{i=1}^{N}loss(x^{(i)},y^{(i)},w,b)

      d、更新参数(\mathbf{w},b)\rightarrow (\mathbf{w},b)-\eta\cdot \mathbf{g}

8、梯度是什么?不同层的梯度?怎么计算梯度?

      计算梯度:1)链式法则;2)自动微分

9、优化算法是什么?即\eta的设定方式,固定的,还是变化的,怎么变化。有哪些?

10、小批量数据训练,批量指N大小: 

loss=\sum_{i=1}^{N} (y-\widehat{y})^{2}\rightarrow \sum_{i=1}^{N} (y-net(x))^{2} \rightarrow \mathbf{g} \rightarrow \mathbf{w}

11、前向传播:计算net(x)

12、后向传播,计算梯度,更新参数

13、net包括什么?1)、网络架构 2)、参数

14、参数初始化?方法

15、如何添加层?扩大net的规模?ResNet

16、更新参数w的方式:\mathbf{g} \rightarrow \mathbf{w},梯度

17、模型有哪些?怎么发展的?如何设计

18、生成式人工智能?

19、概率

20、过拟合指什么?loss_{train}>loss_{validation}

21、什么是泛化?y=net(x),实际中(或者条件发生变化的时候) y的结果好使不?

22、怎么判断泛化能力?取决于验证的数据集,看loss_{validation}的大小

23、参数与模型之间的关系?模型 = 网络架构 + 参数

24、什么叫大模型?参数规模超过10,0000,0000,10亿或更大

25、大模型的挑战?收敛并有效,好用

26、现实中训练模型所面临的挑战?梯度消失、梯度爆炸、过拟合、欠拟合、数据分布\left \{ \left ( x,y \right ) \right \}发生变化、计算量大(计算性能不够)

27、数据预处理raw data:x{}'\rightarrow x

28、结果:想要的,y

29、串联其他领域的知识,例如:信息论领域的,对目标函数或代价函数的设定,数据生成的概率,特定的模式等等,

串联的方式有:y=net(x);挑选net的方式,依据loss=\sum_{i=1}^{N} (y-\widehat{y})^{2},设定预期方向(符合大多数人的预期方式)

30、串联数学,y=f(x)


http://lihuaxi.xjx100.cn/news/1601019.html

相关文章

大屏设计器项目部署详细步骤

一.项目效果图 二.部署步骤 1.nginx配置前端配置 #gzip on;server {listen 48009;server_name analyse;location / {root /home/designer/dist;index index.html;try_files $uri

百度将在世界大会上发布AI大模型文心4.0;OpenAI考虑自主开发AI芯片

🦉 AI新闻 🚀 百度将在世界大会上发布AI大模型文心4.0 摘要:百度将于10月17日在北京首钢园举办的百度世界大会上发布AI大模型文心4.0。据消息人士透露,文心4.0将是基础模型的大升级,核心能力将在逻辑推理、代码和数学…

爱国者的润学日记-十月

首先需要科学的准备面试和润。如何进行科学的准备工作呢? 高效的按照面试考察内容进行针对性训练,按 Machine-learning-interview准备保证处于专注的心态,如今互联网娱乐发达,之前即使比赛时我也是一边比赛一边看视频。之后准备面…

Android原生实现控件Ripple方案(API28及以上)

Android控件的水波纹效果的实现方式有很多种,比如使用ripple文件,这里介绍一下另一种Android原生的水波纹实现方案(API28及以上)。 我们利用RippleDrawable来实现一个带Ripple的Button。RippleDrawable可以通过xml 中定义 ripple…

leetcode 每日一题复盘(10.9~10.15)

leetcode 101 对称二叉树 这道题一开始想是用层序遍历,看每一层是否都对称,遇到一个问题就是空指针(子树为空)无法记录下来,同时会导致操作空指针的问题,因此需要修改入队条件,并用一个标志去表示空指针 vector<int>numv;for(int i0;i<size;i){TreeNode*frontque.fro…

OpenCV4-图像像素操作处理

OpenCV4-图像像素操作处理 1.图像像素统计最大值与最小值均值与标准差 2.两个图像间的像素操作两幅图像的比较运算两幅图像的逻辑运算 3.图像二值化4.LUT 1.图像像素统计 求取图像像素最大值、最小值、平均值、均方差等众多用于统计的函数。 最大值与最小值 void minMaxLoc(…

光伏发电站并网新能源消纳数据采集监控监测方案

全市分布式光伏大数据平台&#xff0c;上报省级能源大数据中心。光伏电站实时运行数据&#xff1a;包括逆变器运行数据和状态、样板逆变器实时出力曲线&#xff0c;光伏电站并网点实际功率&#xff0c;气象监测数据&#xff0c;数据实时采集&#xff0c;采集频率根据光伏电站实…

vue3 setup中defineEmits与defineProps的使用案例

目录 一、defineEmits的使用 二、 defineProps的使用 总结 一、defineEmits的使用 使用说明 1、在子组件中调用defineEmits并定义要发射给父组件的方法 const emits defineEmits([foldChange]) 2、使用defineEmits会返回一个方法&#xff0c;使用一个变量emits(变量名随意…