AI大模型与数学 第26~40课
核心主线:导数、梯度、极值循环巩固,配套每日10道题,贴合深度学习损失优化底层逻辑。
26课到40课是计算题训练,如果不需要刷题加深理解的朋友可以直接跳过看41课。后附26课至40课详细内容。
课程前言
导数是AI大模型训练最底层的数学工具:大模型反向传播更新参数,本质就是链式求导;损失函数下降快慢,由一阶导数(变化率)决定;判断损失是否收敛到极小值,依靠一阶导数为0、二阶导数正负判定。
本节课先夯实一元函数基础求导公式,所有题型搭配AI场景类比,每道题附带原理讲解,做到“会算、懂含义、能对应大模型训练逻辑”。
一、核心基础求导公式(AI场景通俗解读)
- 常数求导:©’=0
类比:模型固定超参数(固定学习率、固定权重偏置),数值不会随训练轮次变化,变化率为0。 - 幂函数求导:(xn)'=nx{n-1}
类比:损失函数常用二次函数 L(w)=w^2,权重w的变化率为2w,是梯度下降核心计算式。 - 指数函数求导:(ex)'=ex
类比:激活函数sigmoid、指数损失均依托自然指数,导数自身不变是曲线平滑变化的根源。 - 三角函数求导:(\sin x)‘=\cos x,(\cos x)’=-\sin x
类比:RoPE旋转位置编码基于欧拉公式,三角函数求导决定向量旋转速度。 - 四则运算法则:和差、乘积、商求导,对应多层网络多参数叠加损失求导。
二、10道基础计算(含解题步骤+AI场景解读)
题1
求导:y=5
解:常数求导 y’=0
AI解读:模型固定常量阈值,无论训练迭代多少次,数值无变化,梯度为0,不需要更新。
题2
求导:y=x^4
解:幂函数公式 y’=4x^3
AI解读:损失函数 L=w4,权重w的梯度是4w3,权重越大梯度爆炸,对应大模型梯度爆炸问题。
题3
求导:y=3x^2+2x
解:分项求导再相加 y’=6x+2
AI解读:标准二次损失函数,梯度线性变化,也是基础梯度下降最常用损失形式。
题4
求导:y=e^x
解:指数求导 y’=e^x
AI解读:指数激活函数,导数等于自身,曲线平滑无突变,广泛用于深度模型非线性变换。
题5
求导:y=2\sin x
解:y’=2\cos x
AI解读:RoPE位置编码使用三角函数,导数控制特征向量旋转角度变化速率。
题6
求导:y=x^3 - \cos x
解:分项求导 y’=3x^2+\sin x
AI解读:多项式+周期函数复合损失,兼顾数值增长与周期性波动,常用于时序大模型损失构造。
题7
求导:y=x\cdot e^x(乘积法则)
解:(uv)‘=u’v+uv’
y’=1\cdot e^x + x\cdot ex=ex(x+1)
AI解读:网络权重与指数激活相乘,乘积求导是浅层网络前向传播基础运算。
题8
求导:y=\frac{x^2}{x+1}(商求导法则)
解:(\frac{u}{v})‘=\frac{u’v-uv’}{v^2}
u=x^2,u’=2x;v=x+1,v’=1
y’=\frac{2x(x+1)-x2\cdot1}{(x+1)2}=\frac{x2+2x}{(x+1)2}
AI解读:归一化损失分母约束,商求导对应标准化特征的梯度计算。
题9
求导:y=4x^5 - \frac{1}{x}
解:改写\frac{1}{x}=x^{-1},幂函数求导
y’=20x^4 + x{-2}=20x4+\frac{1}{x^2}
AI解读:高次损失+反比例正则项,抑制权重过大,对应L2正则化底层计算逻辑。
题10
求导:y=e^x - 3\sin x + 7x
解:分项分别求导合并
y’=e^x - 3\cos x +7
AI解读:大模型综合损失函数,融合指数非线性、周期位置约束、线性权重项,反向传播时一次性完成多类型梯度求和。
三、课程总结(对接后续梯度、极值学习)
7. 一元函数求导本质:计算自变量微小变化带来函数变化快慢,对应AI中参数微小调整带来损失变化的幅度;
8. 导数数值正负:导数>0,增大自变量函数上升(损失上升,参数需要反向更新);导数<0,增大自变量函数下降(损失下降);
9. 导数=0的点为驻点,是后续课程「极值、梯度零点、损失最低点」的核心前置知识点。
下一课第27课:复合函数链式法则专项,对应大模型多层神经网络反向传播核心计算。
基础一元求导是梯度下降的根基,你在自学大模型数学时,哪一类求导公式最容易混淆?欢迎评论区留言交流!有问必答,我不会我们一起讨论。
第26课
导数综合巩固1:一元函数基础求导全套习题(10道基础计算题)
第27课
导数综合巩固2:复合函数链式法则专项刷题(10道梯度前置计算题)
第28课
导数综合巩固3:隐函数、参数方程求导专项训练(10道综合计算题)
第29课
高阶导数专题:一阶/二阶/三阶导数计算(10道高阶求导计算题)
第30课
微分与微分近似:微分运算、数值近似计算(10道工程应用型计算题)
第31课
函数单调性与极值判定(一元函数):求驻点、判断极值(10道极值计算题)
第32课
函数凹凸性与二阶导数:拐点求解、凹凸区间计算(10道二阶导数计算题)
第33课
多元函数基础:二元函数一阶偏导数计算(10道偏导基础计算题)
第34课
多元复合偏导数:多变量链式求导(10道AI梯度核心计算题)
第35课
二元函数二阶偏导数、混合偏导计算(10道高阶多元求导计算题)
第36课
梯度完整专题:梯度向量求解、梯度方向计算(10道梯度实操计算题)
第37课
二元函数驻点、极值判别:海塞矩阵基础判定(10道多元极值计算题)
第38课
条件极值入门:拉格朗日乘数法基础计算(10道约束优化计算题)
第39课
导数&梯度综合大复盘:混合题型刷题(10道跨知识点综合计算题)
第40课
全套导数极值梯度总复盘:错题整合训练(10道易错压轴计算题)
从这节课到40课都是刷题巩固,不需要刷题。
需要新知识体系的朋友可直接跳到41课开始。