跳转到内容
文韬博宇的个人主页
返回

第三章 火种

· 约 8 分钟

AlexNet赢得ImageNet大赛那天,黄仁勋没有出现在任何新闻报道里。

ImageNet——这个由李飞飞团队花了三年手工标注的数据集,包含一千五百万张图片,两万两千个类别。每一张图片的分类标签,都是人工标出来的——或者更准确地说,是Amazon Mechanical Turk上的零工标出来的,每小时报酬大约一美元。

但这些图片本身,不是李飞飞团队拍的。它们来自互联网——来自Google图片搜索的结果,来自Flickr上的分享,来自Facebook上用户上传的家庭照片。ImageNet的每一张图片,都是《比特创世》里写过的那个时代留下的痕迹:人们在网上发照片、打标签、构建了一个巨大的、免费的、任何人都可以爬取的图像宇宙。AI训练用的”燃料”,是十亿人在过去十年里自发生产出来的。

当AlexNet用两块英伟达GTX 580跑完ImageNet的时候,它吃的不仅是GPU的算力,是互联网时代积累下来的全部视觉记忆。

英伟达没有赞助比赛,没有派代表观战,甚至没有人提前知道这个结果。但消息传回圣克拉拉的时候,整个公司安静了几秒钟。

然后,工程团队自发地去买了一箱啤酒,在实验室里举杯。

没有人在那天晚上真正睡着。

黄仁勋关上门,在办公室里坐了很久。窗外的路灯照进来,办公室里的陈设一览无余:一张白板上还留着新一代GPU的架构草图,旁边贴着一张便签纸,上面写着六个字——“他们需要我们”。

那是六年前的字迹。他没有撕掉。

他打开一封发给全体高管的邮件,打了几个字,又删掉,再打,再删。最后发出去的只有一句话:

“这不是结束。这是开始。”

但他心里清楚,下一个问题更棘手:这么多人涌进来,需要更多的算力,需要更好的工具,需要完整的生态——英伟达准备好了吗?

AlexNet之后,申请CUDA显卡的高校数量在三个月内翻了三倍。

斯坦福的辛顿实验室下了第一批企业级订单。多伦多大学的研究者开始给英伟达发邮件,问能不能派工程师过来驻扎。苹果公司的人悄悄出现在英伟达的合作伙伴名单里。

英伟达随即宣布了两件事:

第一,CUDA平台向全球所有研究者免费开放。

第二,推出一款名为”Titan”的新显卡,定位是”史上第一块游戏与科学计算通吃的GPU”。

第一件事让英伟达放弃了最后一笔软件授权收入。第二件事让游戏玩家和网络工程师都愣住了——他们不明白,为什么一家显卡公司要在游戏显卡上强调”双精度浮点运算”这种科研参数。

但黄仁勋知道:AlexNet之后,游戏显卡和科学计算显卡之间的那道墙,正在消失。

他开始调配资源,把原来分散在游戏部门和数据中心部门的工程团队合并,组建一个新的部门:AI计算平台部。

这个部门的第一批任务清单上,有三个目标:

开发面向深度学习的GPU加速库。让CUDA对主流AI框架的兼容变成”开箱即用”。开发更好的多卡互联技术,让多个GPU能同时参与同一个训练任务。

第三条,后来有了一个名字:NVLink。

2012年秋天,硅谷,深夜。

马斯克和Google创始人拉里·佩奇坐在SpaceX工厂外面的台阶上,旁边放着两杯已经凉了的咖啡。

他们聊了很久。

没有人知道那晚他们聊了什么——但几个月后,马斯克在一次私人聚会上说漏了嘴:

“我跟拉里聊了一整晚AI。我告诉他,Google如果拥有了最接近AGI的东西,而他们认为不需要设防,那是一件非常危险的事情。”

他说,佩奇不以为然。

佩奇认为,人工智能会帮助人类,而不是伤害人类。他不理解马斯克的担忧,在他看来,这种担忧是一种”技术恐惧症”,就像有人担心电灯会让人失明一样。

马斯克没有说服他。

他后来在日记里写下了那晚的对话,然后加了一句话:

“Google是地球上最强大的AI公司。如果他们失控,没有任何人能拦住他们。而他们不会认为自己失控。”

那一年,马斯克还没有开始做AI。

但他开始想这件事了。

同一时间,北京。

百度高层收到了研究院提交的一份报告,标题是《关于建设大规模GPU集群的建议》。

报告里有一句话:基于英伟达GPU集群的深度学习训练,已经在图像识别和语音识别领域展现出突破性优势。如果百度不跟进,三到五年内,技术差距将不可逆转。

这份报告的起草者,是一个叫余凯的年轻研究员。

他在报告里附了一个预算申请:采购一百二十八块英伟达GPU,组建百度第一个深度学习训练集群。

总预算:约两百万美元。

这个数字在百度当时的审批流程里,连一个正式立项的标准都够不上。预算部的回复是:需要更多论证。

余凯没有放弃。他拿着报告,在两周内约见了七个部门的负责人。

他跟搜索部门负责人说:你的语音搜索识别率可以提升三十个百分点。

他跟凤巢广告团队负责人说:你的点击率预测模型可以提前两年升级。

他跟产品团队负责人说:你的推荐算法可以换一套底层逻辑。

七个负责人里,有三个愿意签字联署。

2012年底,百度的第一个GPU集群悄悄上线了。没有发布会,没有新闻稿,采购清单上的显卡是从英伟达中国区代理商那里一台一台谈下来的。

余凯后来在一次内部演讲里说:

“那一年,我们在一条看不见的战线上,开始了一场没有人宣布的竞争。”

2012年,还有一个细节,被大多数记录者忽略了。

那年冬天,华为海思的内部立项会开完了。

立项报告的封面写着一个编号:Hi3680。

这个编号后来变成了一个名字:麒麟970——全球第一款内置NPU的移动端AI芯片。但那是五年后的故事了。

2012年的立项会,只决定了三件事:

第一,海思启动神经网络处理器预研。

第二,目标是”在不依赖美国芯片的前提下,实现移动端AI推理能力”。

第三,负责人拿着立项报告去找余承东签字的时候,余承东问了一句:“这东西能用在手机上吗?”

负责人说:“现在不能。但五年后,也许可以。”

余承东签了字。

没有人知道,这个签字,后来会成为华为在芯片禁令之后最关键的一根救命绳。

2012年末,三条线各自完成了一次转身。

黄仁勋转过身,面向一个还不存在的市场。

马斯克转过身,开始认真看待AI。

余凯转过身,把中国互联网巨头的第一块GPU集群架了起来。

他们还是不认识。但他们都在往同一个方向走。

那年的最后一天,辛顿在多伦多发表了一篇论文,提出了一个训练深层神经网络的新方法。他把论文挂在arXiv上,没有投稿给任何学术会议。

两周之内,这篇论文在AI圈子里被传疯了。

它的名字叫:AlexNet。

它的影响,在2012年还没有完全显现。但所有在场的人都知道:

算力铁幕,已经正式降落。

2012年,科技圈所有人的目光都集中在两件事上。

头一件是Facebook登陆纳斯达克。5月18日,扎克伯格没亲自去交易所,而是在门洛帕克总部按下了远程敲钟的按钮。开盘价对应1040亿美元估值,创下科技公司的IPO纪录。但当天交易系统崩溃,股价跳水,媒体第二天齐刷刷用”脸书灾难”当标题。扎克伯格账面上的财富以每小时几十亿的速度蒸发。

另一件发生在中国——移动终端的流量第一次超过了PC。微信用户跨过两亿门槛,支付宝开始支持手机付款,小米全年卖出719万台手机。张一鸣在这一年搭起字节跳动的架子,核心武器只有一个:推荐算法。滴滴、美团、快手同时在这一年拿到关键轮次。打车、外卖、短视频,三条赛道同时开跑。

没有人注意10月发生的一件事。

佛罗伦萨郊外的ImageNet竞赛闭幕式上,主持人念出了年度冠军的名字。多伦多大学的三人组——Alex Krizhevsky、Ilya Sutskever和他们的导师Geoffrey Hinton——用两块市面上随便就能买到的GTX 580游戏卡跑出了一个叫AlexNet的模型。图像识别错误率从前一年的26%直接砸到15.3%,第二名的成绩被甩出好几个身位。

拿亚军的那支队伍还在用手工调特征、写数学公式、堆专家经验。AlexNet什么都不懂,只懂矩阵乘法。它在一块售价几百美元、原本用来打《孤岛危机》的硅片上跑了一周,就把学术界几十年积累的方法论碾了过去。

学术界沉默了。

然后,所有人开始买GPU。

2012年登上头条的是扎克伯格的敲钟声。但如果把日历往后翻十年,真正改写世界格局的并不是那场IPO——而是一张竞赛成绩单。Facebook的上市让一家社交公司发了财,AlexNet的胜出则让所有公司重新思考自己需要什么样的算力。

2012年像一道隐形的高速出口。一条匝道通向社交网络、移动支付、O2O——那是当时所有人都在看的热闹。另一条匝道拐进多伦多大学那间没什么人注意的地下实验室,里面的人刚刚点燃了一根引线。走第一条匝道的人不知道,第二条匝道在十年后汇入了主干道,把第一条路并了进去。

2012年,算力铁幕正式降落。 三条战线的人都感受到了,但没有人知道,他们将在同一场战争里相遇。