AI算力70年增长6.8亿倍,是什么推动了AI技术在如此短时间内的指数级增长?

时间:2023-09-27 所属栏目:技术前沿 浏览:206
从计算机诞生到现在,从最初的忒修斯机器老鼠到如今的大型语言模型,计算能力的增长速度非常惊人。

图片12.png

从AI出现到如今已经过去了70多年,AI算力已经发展了6.7亿倍,将来AI各方面能力将逐步超越人类,而真正令人感到期待的是,AI行业才刚刚进入到爆发前的成长期。

电子计算机于上世纪40年代诞生,而在计算机出现后的10年内,人类历史上的第一个AI应用就出现了。

70多年过去了,AI模型现在不仅能写文章,还可以根据文本提示生成图像,甚至可是以帮助人类发现未知的蛋白质结构。

在1950年代,美国数学家Claude Shannon训练了一个名为Theseus的机器老鼠,使其能在迷宫中导航并记住路径—这是第一个人工学习的实例。 

Theseus的构建基于40个浮点运算(FLOPs)。FLOPs通常用作衡量计算机硬件计算性能的指标。FLOP数量越高,计算能力越强,系统也越强大。

计算能力、可用的训练数据和算法是AI进步的三大要素。而在AI发展的最初几十年里,所需的计算能力是按照摩尔定律增长的——计算能力也在大约20个月的时间翻一倍。

然而,在2012年由AlexNet(一个图像识别AI)标志着深度学习时代的开始,这个翻倍时间大大降低到了六个月,因为研究人员加大了对计算和处理器的投资。

随着2015年AlphaGo的出现——一个击败了人类职业围棋选手的计算机程序——研究人员发现了第三个时代:大规模AI模型时代到来了,它的计算需求比之前全部的AI系统都要大。

回顾最近的十年,计算能力的增长是如此之快,简直令人难以置信。 

例如,用于训练Minerva(一个可以解决复杂数学问题的AI)的计算能力几乎是十年前用于训练AlexNet的600万倍。

这种计算增涨,再加上大量可用的数据集和更好的算法,令AI在很短的时间内取得了大量进展。如今,AI不但能实现人的表现水平,乃至在很多领域超过了人类。

AI技术发展势能充足难以说计算增长是否会保持相同的速度。大规模模型需要越来越多的算力来训练,如果算力供应不能继续增长,可能会减缓AI技术发展的进度。 同样,耗尽目前可用于训练AI模型的所有数据也可能妨碍新模型的开发和实施。

然而,2023年,大量资本涌入AI行业,尤其是以大语言模型为代表的生成式AI。或许更多的突破即将出现,似乎以上3个促进AI技术发展的元素都将在未来进一步得到优化和发展。

2023年上半年,AI行业的初创公司融资规模达到了140亿美元,甚至比过去4年获得的融资总和还要多。由于开发大型语言模型的资本密集型性质,自 2022 年第三季度以来,生成式AI基础设施类别已获得超过 70% 的资金,仅占所有生成式AI交易量的10%。大部分资金源于投资者对基础模型和API、MLOps(机器学习操作)以及向量数据库技术等新兴基础设施的兴趣。

文章标签: 算力 AI 数据集