详情
林青霞机器学习--什么是梯度?为什么梯度方向就

  本打算把梯度放渔网在神经网络来讲,学法眼习机器学习实战时发光能现用到梯度下降最优下场算法,所以就把这个茸毛知识点深入讲一下,庭除等后面实战到神经网演艺络时,直接复制这里蓇葖果的,这次讲解会深入落花生讲解,简明易懂是目校友的,虽然网上都有各魔方种画图说明,但是还翠微是不容易理解,本讲音波解一定会让大家理解闰日的,讲解主要从问题卤虾出发,从简单的内容糙粮开始,这需要你对导细高挑儿数、向量、多远微分笆篱子有点了解,进入正题赘婿:

  如果有基气象础的可以从下面的泰生态勒级数阅读:

 枫香 想知道来龙去脉的美貌建议仔细阅读。

血路  什么是梯度?为标石什么梯度方向就是函服色数上升最快的方向?贺岁片儿又为什么有梯度下降五敛子的说法?他们有什么选单联系?

  什么木材是梯度?

  讲两性梯度的定义之前,先白鳝说明一下梯度他不是水线一个实数,他是一个掩蔽向量即有方向有大小牧畜。这个向量有什么特倒数点呢?这里以二元函电子战数为主讲解,先给出唐菖蒲公式:

  设一门口个多元函数为,在某基础点(,)的梯度为这乙醚点的偏导即:

 刚毛 其中是函数在这一月轮点的梯度符号,是一附小个整体,而、是函数碑额在 在( ) 的偏阇梨导数。

  看到水舀子这里大家肯定是晕晕老公公的,别急我们慢慢往成绩下看,现在问题来了驿道,为什么在多元函数墙裙中某点的梯度就是该脚板函数在这一点的偏导公费数呢?为什么不是二货主阶偏导数不是其他而白票是一阶偏导数呢?为窝铺什么会这样呢?基础母权制不好的同学可能还会车貌问什么是偏导数呢?泪花什么是向量呢?上面朔风这个定义,大家看了暖色下面理解以后再过来豺狗看就懂了。

  驻地大家还记得什么是向雄杰量吗?怎么定义的?貌相

  在平面直角尽七坐标系中,分别取与回头人x轴、y轴方向相同椰蓉的两个单位向量i,条纹j作为一组基底。 周岁 为平面直角坐标系劳模内的任意向量,以坐令郎标原点O为起点作向洋灰量 。由平面向量禄位基本定理可知,有且灰光只有一对实数(x,西番莲y),使得 父母官 ,因此把实数对(x,y) 车匪 叫做向量手表 的坐标,记作 全民 。这就是向量 肺痨 的坐标表示。三维的扈从也是这样表示的。

老鸦

  那么这样大家外藩就能理解向量是可以狂澜使用坐标表示的,同花面狸时解释了他是一个向玉搔头量的表示,虽然没有洪熙箭头,但是他也是向渔翁量呀,而且就是梯度转盘,现在大家应该可以沙门理解为什么说他是一规约个向量,到这里我们军民还需要一点矩阵方面大戒的知识,例如矩阵方藏品面的向量什么?这里胱氨酸的向量和矩阵的向量清道夫有所不同,大家需要车照区别开,因为应用不胸脯同,所有定义有点不巾帼同但是具有相同的性狭义质即有大小有方向。纲目后面会发现就是通过朝纲向量把他们的关系建常性立起来的。

  响指矩阵:矩阵大家都知红豆杉道,矩阵的向量默认亚健康为列向量即一列为一下手组向量(这点特别重风帆要,大家务必留心,寿衣这关系后面的梯度证冷泉明的理解),矩阵中名帖的向量有什么性质呢孽海?在这里只提到用到初岁的性质,降低难度,股东会即向量的范数(在空夫妻店间向量中称为模),人蛇以及两个向量的內积往日。

  向量的內世人积:

  设二维转机空间内有两个向量 环形 和 ,定义盐场它们的数量积(又叫塘堰内积、点积)为以下秽闻实数:

  更一总鳍鱼般地,n维向量的内乱坟岗积定义如下: [1彩超]

  几何定义巢穴

  设二维空间编导内有两个向量 和晚霜 , 白田 和 表针 表示向量a和b的大小,它们的私商夹角为 ,则内航程积定义为以下实数:超固态 直流电、

  內积的牙膏物理意义就是b向量片刻在a向量的投影的乘素菜 积或者说a向量在b向量投影的乘积,他暗房们是一样的。

 工场 该定义只对二维和杂面三维空间有效。

汁水  此时大家看到了摊主內积的定义,知道內恐水病积计算结果是一个数穿衣镜,不是向量,他的物书本理意义就是既然是一特色个数那就存在最大值伟业和最小值,再看看这礼遇个公式:,因为的范近况围为[-1,1],孝衣所以內积的范围为[靠手-, ],因此存在鸡新城疫最大值和最小值,当二花脸取180°时最下,警力当取0时最大,由此义务我们可知只要这两个傻瓜向量共线就会取极值评弹,如果共线同向则取城区极大值,反之取极小脑膜值,所谓共线就是两晚节线平行的意思。 丛谈 这个概念很重要,大筛管家务必理解了,这将老家儿直接关系能否理解梯黄猄度。下面介绍矩阵这纺车方面内容。

  票房矩阵向量:

  袖箭从这里大家可以看到附注,矩阵中向量的內积叶腋定义和平面向量的定板壁义很像,只是他们的蘘荷表达不一样吧了,如冬至点远地点果把平面中a向量和盐碱地b向量写成列的形式童年就一样了。只能说平面粉面向量是矩阵向量的石膏一种特殊情况,大家绿篱可以这么理解,

银鹰  因为矩阵向量是去处列向量,而矩阵的运书口算法则是行乘以列,蒲墩因此矩阵向量求內积大片儿需要转置一下才能求候选人出是一个数,

 券种 到这里大家知道了砾石矩阵的向量计算內积貉子公式了,总结一下:诗史

  设矩阵向量风灯为、,则他们的內积圭角为,既然是內积,那丑类它也有最大值和最小区徽值,和平面理解一样汰石子,两向量同向,值最闽语大,反向值最小(这托福个概念很重要的,理雹子解透什么是內积,切冬装记矩阵向量內积的形虬龙式),这样大家可以末了理解內积了,至于梯咨文度,大家别急,基础聘约理解了,梯度自然而王莲然的就理解了。下面商业街是导数方面的内容。摇钱树

  什么是导数未来?什么是偏导数?他蟒蛇们有什么物理意义?视界梯度和导数、向量有胡说什么关系?

  押款大家都知道导数是代洋油表函数(曲线)的斜花圃率,是描述函数(曲白眼珠线)变化快慢的量,指挥棒同时曲线的极大值点菜点也可以使用导数来判口语断,即极大值点的导韭菜数为0,此时斜率为刀口零(现在不深入讨论实战,后面会通过泰勒级云板数进行讨论,一阶导小辈数为零的点不一定是当央极值点可能是驻点,正离子这时需要根据二阶导太阳时数判断),那么导数暴雷就为我们求解函数的瓶子极值提供了可能,当胃酸然我们现在说的导数文思是一元导数即,只具党棍有一个变量,因此很陋巷容易求导,那么什么全票是偏导数呢?我们知良宵道导数是指一元函数添加剂的,他的物理意义就哈哈镜是衡量函数变化快慢长短的量,例如一天中,鸵鸟温度随时间变化的函泥人数就是一元函数,而马鞭多元函数是指形如、笔法、等的函数,此时函孤老数的自变量有多个,梃子在这里以二元函数为苍松例说明,我们知道,银屑病一旦变量增多,意味金刚砂着影响因素增加,例问号如一天的气温不仅和宠物时间有关还是天气有量词关,还和地理位置有律宗关等,但是我们就想知命知道,在这多种因素歉年的影响下,我就想知复圆道哪个因素对他影响芙蓉石最大,怎么办呢?所混交林谓的影响最大就是这徽菜个因素对气温的影响案犯最大,即求气温的最痼疾值,这时候大家可能简讯会说求导啊,对呀求花墙导最好了,但是这里府城有很多变量啊,例如比来,我想求x对f的影便门响,怎么办呢?初中羟胺我们都学过一个实验闲工夫方法就是控制变量法城铁,即当我需要改变一骆驼个量时,让其他量不狐臭变的情况下去改变这柴鸡个量然后观察对函数货机的影响,那么我们 内中 多元求导可不可以也绲边使用这样的方法呢?陶艺当我求x对f的影响刀把儿时,我把y当做常量金鱼藻来处理,然后对x求落日导即可,当然可以啊夸张,只是这时候的求导边城不在是导数了,因为背带多元函数是对一个因建制素也就是x进行求导生手,因此称为偏导,这旱井下大家理解为什么有股灾称为偏导了吧。

三段论  总结一下:偏导酆都城数是指在多元函数的毒贩情况下,对其每个变归宿量进行求导,求导时中尉,把其他变量看做常政务量进行处理,物理意口误义就是查看这一个变私邸量在其他情况不变的公良情况下对函数的影响局点程度。

  那什鹤嘴镐么是梯度呢?和上面仓位又有什么关系呢?

根据

  再说梯度之前建议还是要先说一下泰勒死水级数,为什么要说这电笔个泰勒级数,因为证辞书明梯度方向总是指向重利函数最大增加方向的垫话一个关键支撑。

院线  泰勒级数:

灰化土  数学中,泰勒公手电筒式是一个用函数在某泥泞点的信息描述其附近欧阳取值的公式。如果函空闲数足够平滑的话,在死鬼已知函数在某一点的素常各阶导数值的情况之宁日下,泰勒公式可以用锆石这些导数值做系数构太空人建一个多项式来近似劳动者函数在这一点的邻域机芯中的值,即泰勒级数恩情在某一邻域内去无限话筒接近该函数的一个公封条式。详解泰勒级数可翻砂参考这篇文章

 油工 这里引入泰勒级数柜橱的目的是为了证明极宣腿值点的导数问题,高信瓤儿阶函数一般要使用到写字间矩阵论的海森矩阵相平车关知识,这里不引入隔壁那么深的概念,但是榆钱基本的矩阵知识还是机师需要的。

  我大钱们只保留前三项:

官价

  上面提到了一水害阶导数是极值点的 井筒 。现在解释为什么会黏涎子是这样,上面的是指记忆力很小的步长,当时说留言明x向右走,当时说姓氏明x向左走,学过高仲夏等数学极限的应该有凤冠这个概念,现在我们把戏通过泰勒级数只考虑工交上面公式的前两项来簿册解释为什么,极值点苦旅处的一阶导数为0

邻近色

  假如这一点的电子表函数值为极值点,可美工以是极小值或者极大民间值,这里以极大值点夜班为讲解内容 :

学友  因为此时的为极雹灾大值,无论还是,那沿岸么的,那么上面的公拾物式想要成立,只能让正体字

  才能成立,车轱辘极小值也是这样证明鱼胶的,无需画图,从泰孩子勒级数就可以说明极家庭值点的一阶导数一定辰时为0,那么一阶导数铁锨为零的点不一定是极原初值点怎么证明呢?使伴星用三项即可证明,下客位面证明;

  一白金汉宫阶导数为零不一定是思想性极值点:

  如错版果,那么公式可写成肤色这样:

  从上吧台式可以看到如果在时钢轨假如为极大值,理应朝野说无论还是,,但是外胎此时如果 鳞介,白薯则,所以,即证的不生产线是极大值点,那如何有理数才能判断是极值点呢军乐?

  此时需要弱点借助二阶导数,上面餐饮如果则为极大值点,儿科所以才有一阶导数等胜景于零,二阶导数小于亏空零为极大值点,如果伪作二阶导数大于零则为莎草极小值点。如果二阶大环境导数等于0怎么办?落汤鸡那就继续判断三阶导过年数就可以了。

 乖乖 这是在标量的情况被套下的极值问题,如果主妇x是向量怎么处理呢墓志?

  还是引入平辈泰勒公式就可以了。磨扇只是不一样的是都是阴丹士林向量了:

  我驴皮影们知道机器学习中的价位变量都很多,一般都末梢使用向量进行表示(血型此时为列向量)且为钩针多元函数,求导和标病灶量一样的,只是现在明文是求偏导了。

 遗存 上面的公式、、、厨司都是向量,例如一阶厂区偏导应该是这样的:酿母菌

  因为是向量死局,所以有大小有方向树桩了,大家注意到了没火炉有此时的为行向量了司库,因为转置了,因此轻风和相乘是內积,此时兵戈我们也只看前两项即春荒:

  现在重点十一 来了啊,为了每次x前进的方向是使函数树凉儿增长最快,应该怎样中间人选取前进方向的步伐园丁(向量),才能保证西风呢?好,大家能看到前程直接影响着,而决定童贞的值是由、决定,然恩德而是确定的,所以使比年其最大即可,而该式国音就是向量的內积,根瞎火据上面讲了半天的向陈世美量內积可知,只要使富贵病取的向量和共线就可仰壳以了,如果共线同向羽纱则取最大方向,反向干股取最小小方向。因此本源直接使=即可,即保嫡母证方向共线就可以了细布,至于值得大小可以坐力乘一个标量,现在我婚介们找到了这个向量,拍纸簿而这个向量就是多元雏妓函数的一阶偏导数,妻子这时候就定义,多元鸟瞰函数的一阶偏导数为意念梯度,符号为,数学纹银上的梯度就是这么来名额的,此时就可以写成高矮这样了:

  好信筒,到这里我们知道了岁末什么是梯度,梯度怎花和尚么来的,总结来说梯小姨子度是为了寻找极值而先后生的,而且是极大值拉链,因此梯度总是指向竹马函数增长最快的方向书刊,这就是本质原因了浴罩,但是我们常听的是牙轮梯度下降,改变梯度菊坛方向就是下降最快的毛坯房,共线反向取极小值牛鼻子就是这个道理了。

款额

  该式更能反映知识事实。大家细细品味山顶,梯度的知识点难在贲门理解上,梯度不是标学区量,他是向量,有方牯牛向有大小,一般我们令名不是很关心大小,因扑跌为可以通过标量放大盘尼西林或者缩小,重要的是地窨子方向问题,因为只要领花确定增长最快的方向柱石,才能找到极值点,罗勒这也是很多算法使用磨盘梯度优化算法的原因柴草,当然是梯度的反方跳鞋向,

  到现在干肥基本上就结束了,但音系是我还是有些知识需劳动布要交代,矩阵方面的大家庭没给大家深入讲,可特长能上面的证明还是不金秋够严谨,但是证明思芥末路已经出来了,理解车次梯度已经够用了,如曙色果感兴趣,建议大家至好有时间看看张贤达的国故矩阵论,里面有更严谜儿谨的数学推到 ,在脑出血这里希望给大家一种博览会抛砖引玉的感觉,矩木头阵论对这方面讲解的红薯很透彻,主要牵扯到肠子二次型,正定、半正六腑定等知识。有时候感上体觉数学没什么用,其难处实用处很大的,需要宝玩我们学习者内化或者硬通货理解其物理意义,搞脚底板明白来龙去脉,方能?虫正确使用数学这把利匪徒剑,梯度到此结束,陈设有问题欢迎交流。

正德

  ——————杆秤—————————睡眼—

  版权声明圩垸:本文为CSDN博洞子主「zsffuture」的原创文章,脑库 遵循 开口饭CC 4.0彩页 BY-SA 版权正经协议,转载请附上原评剧文出处链接及本声明下限。

  原文链接份额: