当天下午,两张英伟达GTX580显卡还有其他一堆东西,便摆在了漆昊的工位桌子上。
看着桌子上的东西,漆吴一时间有些惊讶。
他原本以为,像这种超过五千块钱的固定资产采购,在高校和联合实验室的冗长流程里,不拖上一周绝对下不来。
可没想到,距离他跟陈工提要求,这才过去不到二十四个小时,他要的所有东西就已经送到了他的桌子上。
“怎么样,这效率还给力吧?”
陈工不知道什么时候凑了过来,手里还拎着一盒崭新的螺丝刀和一捆扎线带,脸上挂着掩饰不住的得意。
“咱们联合实验室和学校科研处那边有绿色通道,只要是重点项目加急需要的物资,审批流程一路绿灯。”
“不过这两块电老虎可不好伺候,我今天特意叫了曾工过来,咱们今天手头上的事情比较少,要不要我们搭把手,帮你把这台测试工作站给组装起来?”
漆吴本来也是第一次亲自动手做这种硬件级别的工程实验,听到陈工主动帮忙,自然不客气了:“谢谢陈工和曾工,对于硬件组装和系统环境搭建,我还真是个新手。”
“客气啥啊!这事简单!”
被叫过来的曾工是个典型的技术实用主义者,一看到这两块沉甸甸的GTX580,眼睛里也直放光。
三人立刻在实验室的一角忙碌了起来。
GTX 580可是出了名的电老虎加大火炉,单张卡的功耗就高达244W。
为了让双卡在满载下不缩水,曾工特意从库房里搬出了一台珍藏的1200w
安钛克大功率金牌电源。
“这玩意儿要是两块同时拉满,单单显卡就能直接让咱们实验室的空气温度干上去,连暖气都省了。”
曾工像是有强迫症,一边熟练地将显卡插入主板上那两条插槽中,一边用扎线带将臃肿的电源线理得井井有条。
“不过皮衣老板这次确实下了血本,这卡用的是GF110架构,均热板散热,只要风扇转速拉满,应该不至于当场出现显卡危机。”
大半个小时后,双卡工作站组装完毕。
随着开机键的按下,工作站内部发出了轻微的声音,漆吴迅速安装了CUDA驱动和编译环境。
“咦,CUDA的编译环境?你要编程吗?”曾工惊讶道。
漆吴回答:“有些东西想要试试。”
陈工和曾工对视一眼,都好奇了起来,一时间谁都没走,分别站在了漆昊的左右两侧,他们倒要看看,这个纯数学院出来的学霸要做什么。
漆昊在键盘上敲下几行指令,确认了双GPU的状态正常,随后神色渐渐变得专注起来。
正如他之前所构想的,即便英伟达官方极其贴心地打包了cuBLAS这种最底层的矩阵乘加加速库,能够帮他省去一些矩阵相乘的底层汇编优化,但这并不意味着他可以什么都不做,可以躺着把神经网络跑起来。
神经网络的训练非常复杂。
除了矩阵相乘这一环之外,剩下整套网络的配套逻辑全都要他亲手落地实现,像是滑动窗口卷积核的前向与反向传播,最大池化和平均池化的GPU线程映射,Relu激活函数的逐元素激活核函数,反向传播中,误差梯度逐层
递减的GPU核函数!
这些话,没一个轻松的!
当陈工和曾工看清楚漆昊在编辑器里打出的那一串串字符时,两人的脸色变了。
“不对啊,你这是打算自己写整个训练框架的CUDA底层核函数?”
陈工惊讶地说:“这个东西真的不好写,并行编程的难度和我们平时写的C根本就不是一个级别的!”
“普通C代码如果写错了,编译器会直接给你报错,或者运行时给你抛出一个指针异常,你很容易就能定位到,但是CUDA编程它跑在GPU那成百上千个线程上的,你很难发现异常出在哪里!”
曾工也在旁边补充:“在CUDA里,你的逻辑要是写错了,或者线程索引算歪了,它不会崩溃,也不会报错,编译器还会显示编译成功,然后显卡也会老老实实地跑完。”
“结果呢?它只会给你吐出一堆NaN,你想在几万个同时运行的线程里排查出是哪一个线程的哪个寄存器出了问题,那简直是盲人摸象,在里面找不出根源是常有的事,简直是伤不起!"
陈工叹了口气,劝道:“漆昊,听我一句劝,咱们没必要在这里去浪费时间,写这个的工程门槛太高了,你要做什么,跟我们说,我们一起想办法。”
漆昊不是个轻易服输的人。
更何况,在没有拿到结果之前,他把自己的想法说出来,这两人也只会固守原来的技术路线不会愿意尝试新的。
想要改变根深蒂固的思维,那就只能拿出实际成果出来才行。
直觉告诉他,如果真把他的想法通了,完成系统任务非常容易!
漆昊笑了笑:“陈工,曾工,谢谢你们提醒,不过既然硬件都买回来了,不试试怎么知道呢?反正现在是春节假期的尾巴,我也没什么别的事,就当是活动活动脑子了。”
见漆昊态度坚决,陈工和曾工对视了一眼,也不再劝阻,只是默默地坐在旁边看着。
漆昊不信邪地开始行动了。
卷积前向传播的公式,偏导数的链式法则这些复杂的数学公式,他可以在脑海中快速拆解。
然而,当他真正将这些数学公式转化为CUDA上的代码时,缺乏系统性大规模GPU编程经验的硬伤,瞬间暴露无遗。
他开始不可避免地遇到了各种棘手的难点。
比如显存合并访问的问题。
GPU的线程是以32个为一组进行硬件调度的,如果这32个线程在执行卷积计算时,访问的全局显存地址不是连续的,那么原本一次访存操作就能搞定的数据读取,会被硬件拆分成大量高延迟的访存请求,整个速度直接下
跌!
漆昊试着写了第一版LRN核函数,却发现因为图像通道和像素索引的交错,线程束的访存完全错开,调试窗口里的显存带宽利用率低得惨不忍睹,GPU算力被卡在了带宽瓶颈上。
接着更让人头疼的是,在反向传播更新权重时,因为不同的图像区域,不同的Batch样本都在并行计算,当多个线程同时计算完各自的局部偏导数,准备将结果累加到同一个全局显存位置时,就会发生灾难性的写入冲突!
如果使用互斥锁,GPU会瞬间退化为单线程,如果直接使用当时Fermi架构上效率并不高的atomicadd,一旦发生高频地址碰撞,线程排队等待的延迟会影响整张卡。
呵呵,又卡死了。
漆昊心塞。
这小玩意跟数学比,一点都不可爱。
看着屏幕上那因为显存冲突和同步问题而不断陷入死锁的测试日志,漆昊的手指在键盘上停了下来,眉头微微锁起。
他确实低估了现代高性能计算机体系结构在这种细节上的残酷性,数学公式是完美的对称,可芯片不讲道理啊,一不留神就罢工了。
陈工和曾工在旁边默默看着漆不断重构代码,又不断地看着测试结果显示异常。
两位资深的工程技术人员轻轻摇了摇头,起身走到实验室的饮水机旁。
曾工接了一杯水,低声对陈工说道:“老陈,看到没?我就说吧。”
“漆吴数学确实厉害,但这写代码,尤其是涉及CUDA编程,那真的又是另外一码事了。
陈工颇为赞同地说道:“是啊,数学好不代表编程好,单单一个非连续访存就能把算法教授给折腾得怀疑人生,据我所知,哪怕是鸿记那样在国内技术实力顶天的大厂,能把CUDA底层算子性能优化到极致的技术大牛,也是
凤毛麟角。”
“哪个不是月薪几十万还要掉光头发的存在?漆吴虽然很厉害,但毕竟还是太年轻了,不知道这硬件底层的险恶和坑爹啊。”
曾工无奈地笑了笑:“天之骄子嘛,总得在现实的硬墙上碰一碰,才知道什么叫工程的毒打,不过他能在这个年纪就摸到CUDA编程的边,已经证明他不是普通人。”
此时的他盯着屏幕上杂乱的线程索引公式,脑海中不断地闪过卡尔采夫在《计算系统与同步算术》中提到的那句关于“物理空间与计算拓扑对称性”的论述。
“不对,一定是我的思维方式还停留在传统的串行CPU上。”
漆吴想了一阵,觉得头疼。
硬钢下去太浪费时间了,他想到最近系统给的奖励,于是默念道:“系统,启动奖励灵感火花!”
【提示:检测到达瓦里氏正在遭遇学术与工程上的双重瓶颈,一次性道具灵感火花奖励已成功激活!】
一瞬间,漆昊只觉得自己头疼减轻了不少。
原本因为疲惫而产生的混乱,也逐渐被抚平。
紧接着,在灵感火花的加持下,漆昊觉得自己的思维运转速度比平时快了不少!
过往学习到的所有知识,一个接着一个冒出来。
不对,这些冒出来的知识,都是对他当前情况有用的!
“我明白了......"
“之前我之所以卡住,是因为我试图用CPU的分工逻辑去命令GPU,面对反向传播的写冲突,我不需要atomicadd锁,我完全可以用数学空间的对称性!”
针对反向传播梯度累加的冲突,漆昊在灵感火花的帮助下,直接用数学公式重构了算法,在卷积反向传播中,原本是每个输入像素的偏导数往输出矩阵的各个位置去散射累加,而漆吴反其道而行之,他让每一个GPU线程直接
对准输出梯度的单点元素。
每一个线程独立负责根据偏置公式,从对应的输入特征图及对应位置聚集读取偏导数,然后进行局部的规约求和。
这样一来,在整个反向传播计算中,所有的写操作全部变成了线程内部的局部寄存器写入,没有任何两个线程会同时写入同一个内存地址!
最让人头疼的atomicadd锁,被这套数学对称转换后,内存竞争就消失了。
漆吴继续在忙着。
就在这时,陈工的电话响了。
陈工拿着电话匆匆走出去,随后带了几个人进来。
“小漆人呢?”胡院长背着手,乐呵呵地四处张望。
“漆昊在里面磕难题呢。”陈工指了指最里面的工位,神色复杂地说道。
“哦?是什么数学难题啊?”
“不是,他好像在尝试基于CUDA编写训练代码。”
“什么?”
宋启航诧异地挑了挑眉:“他不是学纯数学的吗?怎么跟程序员抢起饭碗来了?”
宋启航微微一愣,随后无奈地笑了一声,摇了摇头:“CUDA编程可不是闹着玩的,漆昊数学天分极高,他跑去折腾这个,简直是在白白浪费他的数学天赋啊,有这个时间,他多推导两个方程,价值也比写几行代码大得多。”
在宋启航看来,年轻人精力充沛,做出一定成果后,总喜欢往自己不熟悉的时髦新领域去尝试,这很正常。
但越是聪明的孩子,越容易在错误的道路上因为不服输而钻牛角尖。
他准备作为长辈和学界前辈,等会儿进去好好劝一劝漆吴,让他把心思放回正轨上,不要在写代码这种杂务上浪费了天资。
“咱们进去看看,要是他卡住了,我也顺便劝劝他。”宋启航温和地笑道。
一众教授迈步穿过隔断,来到了漆昊身后。
然而,当他们站定在漆昊身后的一刹那,原本准备了一肚子劝告之词的宋启航,神色严肃了起来。
他身后那几位燕大的博士,更是一动不动地盯着漆昊的电脑。
“欸,这代码?!"
陈工盯着屏幕,整个人像是被施了定身法一样定在了原地,走不动了。
屏幕上的CUDA代码正一行行飞速向下滚动。
他先以为是漆吴随便乱打的,仔细一看,那些都是规范的代码!
更惊人的是那些核函数的逻辑。
“用im2col配合cuBLAS避开了多重循环,然后用共享内存的错位Padding彻底消除了Bank Conflict,我的天,他在用数学思维解决这些问题?”
搞纯数的这么逆天吗?
曾工心情复杂。
这种将高等代数的矩阵对称性,与GPU存储层级的物理限制完美结合的代码设计,是一个纯数学生能写出来的?
“老陈你掐我一下,我是不是跑数据跑魔怔了,出现幻觉了?”曾工揉着眼睛。
陈工根本没有理会他,因为陈工此时也在看漆吴写的代码。
“你看他这手速,他都不思考的吗?感觉一刻都没停过!”
宋启航听着他们的对话,问:“小陈,这就是你说的,漆昊有一定的编程基础?”
“宋教授,我是真不知道!刚才他连显存合并访问都还没搞太懂,结果现在好像把之前遇到的困难全部克服了。
至于怎么在短时间内克服的,他很想知道!
一时间,几位大教授和工程师们,就这么安安静静地排排站。
几位教授在原地站得双腿都有些发麻了,才舍得挪步。
因为腿不太舒服了,胡院长和王教授陪同着宋启航一行人,走出了实验室。
阳光洒在科大安静的小道上。
宋启航深深地吸了一口早春微凉的空气,认真地说道:“胡院长,我也不跟您藏着掖着了,从我们这次研讨会结果可以看出,漆吴是个难得一见的天才。”
“他留在科大,虽然也很不错,但无论是学术资源,国际化学界地位,还是国家级顶尖课题的参与度,我们燕大,都绝对能给他提供更好的舞台。”
“这次回去之后,我们燕大数学学院一定会竭尽全力争取他的加入,他是一个真正能改变一些东西的孩子,不应该被局限在这里。”
胡院长微微眯了眯眼,脸上依旧挂着那副招牌式的笑容,背着手不紧不慢地走着:“宋教授,燕大自然很好,这一点全国人民都知道,不过啊,孩子终归是长大了,有他自己的想法,强扭的瓜不甜,咱们做老师的,还是得看
他自己的意愿嘛。”
宋启航微微一笑:“他还是个十八岁左右的学生,在面对人生重大的平台抉择时,难免会因为一时的情感羁绊而做出不那么理智的选择,但胡院长您是明白人,应该清楚,真龙如果一直困在浅水里,他的天赋也是会被无形的
琐事和地方平台的局限给消磨掉的。”
“不管是清大也好,还是谁,我们都有信心争取到漆昊。”
说完,宋启航礼貌地与胡院长王教授告别,带着他的团队走了。
胡院长的笑容渐渐收敛,他背着手,看着一颗沙沙作响的大树。
一直站在旁边没有说话的王教授,问道:“老胡,看宋启航这架势,燕大那边估计是要抢人了,咱们真就这么看着?”
“老王。”
胡院长忽然笑了,将双手背在身后,迈着有些八字步的步子,悠悠地往回走去。
“这件事校长早就预料到了,无非是看谁给的待遇更好,更合适漆昊罢了。”
“普林斯顿大学都有行动了,他们肯定急。”