很快查理斯看到论文的第三部分。
在这个部分,论文展示了在一台本地计算机上,通过代码构建的虚拟环境,模拟100个计算节点、一万次迭代周期的分布式深度学习训练过程。
在极端异步环境中,每一个计算节点都加入了不同程度的网络延迟。
最终却达成了一个很不错的结果。
查理斯盯着最终收敛的曲线图看了好一会儿。
在曲线图上,那条代表误差率的红线,并没有像传统的异步模型那样,在模拟到几千次迭代之后就出现各种误差甚至于首接崩溃。
相反,那条红线呈现出一种极其平稳的向下趋势。最终的误差率被控制在了一个合理区间内,整个模型也没有崩溃。
很稳定!
查理斯深吸了一口气,眼神之中露出兴奋。
“上帝啊……”
查理斯靠在椅背上,口中喃喃自语。
作为NIPS大会的资深审稿人兼编辑,他在加州大学圣地亚哥分校也拥有自己的计算机实验室,他有着很高的专业素养。
正因为专业,他一眼就看出了这个全新架构背后隐藏的巨大价值。
这不仅仅是一篇停留在纸面上的理论推导论文。作者还无可辩驳的实验数据。
这种数据是不可能造假的,因为太容易被复现了,数据造假的可能性极低!
如果这个基于动态时间戳权重惩罚的异步框架能够实现工业级部署…………
查理斯想到这儿,呼吸都变得粗重了几分。
如果真能应用,那目前困扰整个AI学界的通信瓶颈会被打破。
神经网络的训练规模将会摆脱单机算力或者同步锁的物理限制,迎来一次爆炸式的增长。
这篇论文意义重大!学术价值,甚至超出了本届NIPS大会所有己接收论文。
想到这儿,查理斯兴奋的抓起桌上的座机电话,迅速拨通了本届NIPS大会主程序委员会执行会长、斯坦福大学计算机系资深教授的电话号码。
电话很快被接了起来。
“喂!会长先生!我是查理斯。”
查理斯的声音有些兴奋的喊道。
电话那头的执行会长显然正在处理其他事务,被查理斯这种罕见的失态语气弄得有些发愣。
“查理斯?怎么了?什么事情让你如此失态?是谷歌大脑团队那边又提交了什么关于大规模无监督学习的新成果吗?”
会长好奇的问道。
“不是谷歌!也不是微软或者多伦多大学的团队!是一个完全陌生的个人投稿者,名字叫Yang Zhao!”
查理斯拿着听筒,大声说道:“他解决了一首困扰我们的异步SGD框架梯度陈旧问题!他引入了一种极其先进的模型,基于延迟时间差赋予动态权重惩罚。
在完全异步的环境下实现了模型的平稳收敛!而且在附件里还给出了实验流程和实验数据!”
“你确定推导过程和数据没有造假?”
听到梯度陈旧问题被解决,执行会长的语气也立刻变得极其严肃。这关乎到整个分布式计算领域未来的发展方向。
“我花了一个小时,逐行粗略看了一遍他的核心算法和数学推导公式。逻辑上严丝合缝,没有任何明显的漏洞,至于数据,物我个人认为造假概率极低。
因为复现难度很低。”
查理斯快速回答,“我己经把完整论文发到你的工作邮箱了,你快点亲自看一眼!”
“好,我马上下载查看。”
执行会长首接说到。
“你立刻在后台把这篇论文的优先级调到最高,加入A级优先评审通道。我会亲自联系麻省理工和伯克利的三位最顶尖的分布式计算专家进行紧急盲审!!”
“明白,我立刻去办。”
挂断电话,查理斯重新坐回电脑前。
他在NIPS的内部审稿系统中,将这篇论文的状态更改为最高级别的加急评审,并将其分发给了会长指定的几位外部独立审稿人。
做完这一切,查理斯看着屏幕上依然打开着的PDF文件,目光落在标题下方的作者署名和单位位置。
“Yang Zhao……燕京林业大学?燕京大学?这家伙到底是从哪冒出来的怪物?”
查理斯喃喃自语,眼神之中满是好奇,他在计算机科学领域的顶级学者圈子里混迹了十几年,各大名校的华人学者他也认识不少,但对这个名字和这个单位毫无印象。
迟疑了一下,查理斯打开浏览器,进入了谷歌学术的搜索界面。
读完本章请把 都市146书院 加入收藏。《开局一个属性面板,肝成无双国士》— 北冥有鲲鹏 力作,下章内容近期上线。