藏书吧 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

从前,在一个叫“深度王国”的地方,有一个爱哭的小公主,名字叫Loss(洛斯)。她只要一不开心,整个王国就会下雨、打雷,所有人都会很难过。

国王最怕女儿哭了,他下了一道圣旨:

“谁能让公主永远笑呵呵,谁就能得到整个王国的宝藏!”

于是,全国最聪明的信使们组团出发了。他们排成一列长长的队伍,从公主的卧室一直排到王国的最边境。这支信使队伍有好几层:

第一层信使站在公主床边,叫“输出层小红”。

第二层叫“隐藏层小紫”,第三层叫“隐藏层小蓝”,一直排到最远方的“输入层小绿”。

有一天,公主又哭了!(因为预测的蛋糕味道和真的不一样)

小红第一个听到哭声,吓得脸都白了,赶紧把“公主哭得好大声啊!”这个消息往后传。

可是,他不能自己跑,他只能把消息告诉站在他后面的小紫,同时附上一张纸条:

纸条上写着:

“公主哭得有10级伤心,我这边的门(激活函数)把伤心放大了2倍,所以你要收到的是 10 x 2 = 20级伤心!”

小紫收到20级伤心后,自己这边的门(也是激活函数)又把伤心缩小了一半,只剩下10级。

然后他转身对小蓝喊:

“公主有10级伤心!但要经过我这扇门的时候,我要乘上我的魔法权值3,所以你收到的是 10 x 3 = 30级伤心!”

小蓝、小绿……每一个人都这样接力:

1. 先收到前面传来的“伤心数值”(这就是δ,误差信号)

2. 乘上自己和前面人之间的“魔法绳子粗细”(这就是权重w)

3. 再乘上自己这扇门的“开关灵敏度”(激活函数导数)

4. 把新的伤心数值传给后面的人

就像多米诺骨牌一样,哭声一层层往回传,一直传到最远方的输入层小绿。

小绿收到消息以后,马上跑去告诉厨房:“公主因为蛋糕太甜哭了,下次糖要少放0.02个金币的量!”

旁边负责加糖的厨师(就是权重w)听了,立刻把自己的糖勺调小了一点点。

所有信使路过的厨师、烤蛋糕师、加奶油师……都根据收到的“伤心数值”把自己的勺子、火候、材料调一调。

调完以后,重新烤一个蛋糕给公主吃。

公主咬了一口……眼睛亮了!

“哇!这次好吃!”

她笑了,王国立刻出太阳、开花、彩虹满天!

可是公主第二天可能又会因为别的原因哭(比如太淡了)。

于是信使们又开始跑,又是一轮“伤心接力”,又是一轮调勺子……

一次又一次,一次比一次准,公主哭得越来越少,笑得越来越多。

这就是“链式法则”的童话版:

公主的眼泪(Loss)通过一串信使(链式法则)告诉每一个人:“你该为我的眼泪负多少责?”

每个人根据自己负责的“魔法绳子”(权重)和“门”(激活函数)算出自己该改多少,然后把锅背好,把活干好。

最后,小公主再也不哭了,王国从此过上了幸福的生活。

而那串不停奔跑、传递眼泪的信使们,有一个很长的名字,叫:

反向传播的链式法则。

故事结束,公主和她的信使们从此幸福地训练在一起。

你想听信使们在transformer王国(注意力机制)的冒险故事吗?那里有更多会分身的信使哦~

好的!现在我们离开“深度王国”,坐上彩虹滑滑梯,滑到了一个更神奇的地方……

transformer王国:会分身的信使们

这里住着一位更任性的小公主,名字叫“下一个词公主”。

她每天只说一句话:“接下来我要说什么?”

谁猜对了,她就给一颗钻石糖;猜错了,她立刻哇哇大哭,洪水淹到脖子!

这个王国太大了,普通信使跑一圈要一百年,根本来不及。

于是国王请来了新品种的魔法信使,他们有三项绝技:

1. 会分身(multi-head)

2. 会同时问很多人意见(Attention)

3. 会把意见加起来再传(这就是那个着名的 q、K、V)

新故事开始啦!

有一天,公主说:“从前有一个很可爱的……”

模型猜:“老巫婆!”

公主当场爆炸大哭!(因为明明应该是“小猫咪”)

输出层小红又一次第一个听到哭声:“啊啊啊错了20级伤心!”

但这次,他没有只找一个人传消息。

小红突然“啪!”地一声分裂成了8个小分身(8个头),

每个分身都拿着一张不同的纸条,上面写着不同的问题:

第1个分身问:“公主是不是在想毛茸茸的东西?”

第2个分身问:“公主是不是在想会喵喵叫的东西?”

……

第8个分身问:“公主是不是在想会吃鱼的东西?”

他们同时冲向下一层的所有信使,大喊:

“快!告诉我你们谁最懂公主现在在想什么!”

下一层的信使们(就是上一句话的所有词)立刻举手:

“我是‘从前’!”

“我是‘有’!”

“我是‘一个’!”

“我是‘很’!”

“我是‘可爱’!”

每个信使心里有两把钥匙:

? 一把钥匙叫 Key(K):写着“我是关于什么的钥匙?”(比如“可爱”这把钥匙上写着“毛茸茸+粉色+会卖萌”)

? 一把锁叫 query(q):是小红分身们的问题

? 还有一把礼物叫 Value(V):真正的答案内容(“小猫咪”这个词本身)

8个小红分身把自己的问题(query)拿去和每一把钥匙(Key)对一下,

越匹配就叫得越大声(Attention分数越高!)

“可爱”这把钥匙和“毛茸茸的东西?”匹配度97%!

“可爱”和“会喵喵叫的东西?”匹配度94%!

“从前”这把钥匙只匹配2%……几乎没人理他。

于是,8个分身分别收集到了“最该听谁说话”的分数表。

接着,他们冲到“礼物堆”里,只抱走分数最高的那些礼物(Value),

也就是“可爱”这个词里真正藏着的“小猫咪”信息!

8个分身抱着一堆礼物跑回来,合并成一个大礼物箱,

再交给后面真正的传声官(FeedForward层)。

传声官看完礼物箱,大喊:

“原来公主想要‘小猫咪’!我们刚才猜老巫婆错得离谱!”

现在,要把这20级伤心往回传,告诉每个词“你要为这次大哭负多少责”!

伤心开始逆着刚才的路往回跑:

先经过FeedForward门 → 乘上门的开关灵敏度

再回到8个分身的合并处 → 分成8股伤心

每股伤心又沿着Attention的路反着跑回去:

? “可爱”这个词收到超级大的伤心信号(因为Attention分数最高)它立刻把自己的权重(V、K、q)调小一点,下次别再把“老巫婆”塞给公主

? “从前”只收到一点点伤心(Attention分数几乎为0),它懒洋洋地说:“不关我事~”

就这样,伤心像水流一样,精准地流向那些“最该负责”的词和连接上。

下一次,当公主再说“从前有一个很可爱的……”

“可爱”这个词已经学乖了,它拼命把“小猫咪”举得高高的,

Attention分数直接99.99%!

模型自信满满地说:“小猫咪!”

公主咯咯笑出声,钻石糖雨哗哗下!

从此,transformer王国的信使们靠着会分身、会投票、会只给真正该负责的人背锅,

让“下一个词公主”几乎再也不哭了。

而这一整套“伤心精准传递大法”,有个很酷的名字:

自注意力机制 + 反向传播的链式法则(进阶版)

故事到这里,公主和她的分身信使们继续过着一天猜一亿句话的幸福生活。

藏书吧推荐阅读:地府归来,无情无义她杀疯了异世东京,携美丽式神驱邪除灵柠檬精老公的马甲掉了我就是能力多点你们慌啥我和美女室友的那些事我有一个世界,狗头金随便捡六零媳妇凶猛开局领导被抓,女友分手华语金曲肆虐,pdd反向抽烟书海第一混乱隐婚娇妻boss爱上瘾王大伦的演艺生涯游戏制作:论玩家为何又爱又恨重生之水墨一遇男神暖终身重生狂妻:夫人惊艳了全球娱乐:你是警察啊,咋成了狗仔王反派:离未婚妻来退婚还剩7天弃少归来,无法无天!左手黑剑,右手白剑,爆杀一切穿越八零:帝少老公VS俏农媳带上五岁妹妹走天下一不小心穿越成了老天爷东莞的爱情总让人意难平影视反派:从攻略欢乐颂开始支付九十九元:为你缔造神秘葬礼高武世界:那个书呆子居然开挂!我家仙府太费钱重生之绝世废少云龙山医仙黑色家族的秘婚:魅宠7分77秒我每天获得一百个舔狗愿做人间一散仙我的老婆怎么能这么可爱?兼职神豪,我真不是榜一大哥九零小夫妻的渔民生活现代武客行浴火重生:凤逆天下逍遥医圣神行无道将我除名?特种部队跪求我加入!重生八六幸福军婚徒儿太强了,九个师娘求放过重生80:我带全家起飞!嫁给权臣后,女配被娇宠了重生,和五个校花的日常团宠狂妃倾天下你是在做梦吗你是我的生生世世陆晨旭莫晓蝶
藏书吧搜藏榜:重生官场:我真的不想再升职了重生之重启2004漫威有间酒馆在黑暗中守护我真不想当神剑主,妹妹逼的!四合院之我是刘光齐某生物正虎视眈眈盯着我们软饭不软,闲婿不闲齐少的心肝天天闹这个明星来自地球闪婚七零俏中医,京城大佬宠上天超级银行卡系统房爹在手天下我有不要和奸臣谈恋爱绝世小神医这就是套路巨星真千金断亲随军,禁欲大佬日日宠反派手挽手,八零抖一抖八七暖婚之肥妻逆袭娇妻还小,总裁要趁早穿书反派:坏了,我成反派黄毛了娱乐秦时清冷白月光,是我意中人修仙正史天眼邪医御妻无术满级大佬她又掉马了大佬约我民政局见我的尤物总裁老婆妃常难驯:病娇战王,超级宠明渣好躲,暗夫难防我要赚10000亿全民游戏,我搬运小说开创功法四合院:我许大茂彻底黑化六经刀重生之股动人生修行的世界恐女的我和美少女旅行日常第一神婿鲤鱼王的精灵模拟器寡夫从良记我就打个游戏,怎么称霸宇宙了?我与极品美女特卫:中南海保镖穿越后,我成了国民女神道童下山,诸神退位止域主宰全系异能,我的天赋强到战力崩塌祈愿夏可嫡妃的逆袭豪门新欢
藏书吧最新小说:重生:回到1983当富翁权欲之涡重庆谍战:敌特在行动激活万倍返还后,女神绷不住了死神当保镖!冰山总裁她心动了重生后,我从医神开始登上神坛我在不存在的古代行佛废土纪元:我的御兽有亿点特殊抗日战争之东方战场傻子得道成医仙高武:破灭虚空签到!从穷鬼到都市神话我的肉身是熔炉,神明也是燃料御兽之神:两个神级天赋就是狂!被首富认亲,修仙者身份藏不住了开局一颗海王珠,无边大海任逍遥都市修真:神医归来,已天下无敌重生:跟丈母娘搭伙,赶山致富!开局十连抽,我获得万倍天赋情绪共享之神民国:我是大泼皮傻子处世之道娱乐:我的文娱库时空军工:从宁海警佐到横推列强环球路上,我和我的破车成神了港综:我的小弟是武僧小人物也飒离婚后才发现她藏着最深情的谎言拜金前妻嫌我土,我离婚你哭什么撞破村长老婆好事后,我平步青云从香江大亨到女星干爹巨齿鲨进化:一口吞下一艘核潜艇惹她干嘛?这个小萝莉一拳爆星!信仰神只?不如拜我华夏先祖!重生后才发现原来我们都在等对方神医霸业开学当天,我被列为国家绝密一个灭火的,怎么就最强火法了?娱乐:其实我只是在摆烂东北狩猎,从乞丐到驯鹰人年代1958:片儿警的生活日常女婿是绝世医王直播科普道教,反手召天雷杀鬼开局热芭老公,宠妻狂魔就是我铜铃一响,我成了守渊人景区可以无限复活,游客被杀懵了高术时代改变命运,从穿越西路军开始软件教父:从大学社团开始制霸娱乐:后台嗑瓜子,我火遍全网!