认知边界

这次的人工智能浪潮能持续多久?

2023-09-05 20:52:17 12

终极 AI


在最近的一个采访中,Inflection AI 的 CEO 穆斯塔法·苏莱曼被问到什么样的AI才能算是终极AI。他认为终极AI应该具有自主运行、自我迭代的能力。它能够自主地识别环境中的新信息和奖励信号,并利用这些进行自我监督,随着时间推移不断更新自己的权重。如果出现这样的AI,它将具有非常大的风险。

各家下一代的算力情况,规模与进度

Inflection AI 目前拥有6000台H100,到年底将达到2.2万台。他们计划在未来18个月内达到比现在领先模型大100倍的规模。DeepMind 的 Gemini 模型参数数至少有上万亿,使用了数万 TPU 芯片进行训练。OpenAI 是否在训练 GPT-5 尚不确定,但外界猜测它的规模会比 GPT-3 提升一个数量级。总体来看,各公司都在扩大算力规模,来训练更大的模型。

怎么判断这次的人工智能浪潮能持续多久?

从目前来看,这次的人工智能浪潮至少能持续一段时间。各大公司都在快速扩张算力,预计在未来1-2年内将训练出比现在更大数倍的参数量的模型。这些模型的能力如果能产生质的飞跃,就可以进一步吸引投资和人才加入这个行业。同时,芯片算力的发展也能降低训练成本,这有利于大模型的可持续发展。当然,我们仍需观察下一代模型是否能带来真正的应用落地和商业化,否则这波热潮可能会降温。总之,这次人工智能浪潮能持续多久,仍需持续观察多种因素。下一代模型的表现将是一个关键的判断依据。




参考:

https://80000hours.org/podcast/episodes/mustafa-suleyman-getting-washington-and-silicon-valley-to-tame-ai/

硅基人工智能的发展前景

硅基人工智能的发展前景

硅基人工智能的发展前景本文观点来自:OpenAI首席科学家Ilya人工智能模拟人脑的局限当前最先进的GPT人工智能在结构上已经可以模拟人脑的许多功能。例如,它基于冯诺依曼计算架构构建的人工神经网络ANN,其运行机制与人脑生物神经网络BNN高度相似。这使得GPT模型可以像人类一样操纵语言。但是,我们也
2023-08-31
这次的人工智能浪潮能持续多久?

这次的人工智能浪潮能持续多久?

终极 AI在最近的一个采访中,Inflection AI 的 CEO 穆斯塔法·苏莱曼被问到什么样的AI才能算是终极AI。他认为终极AI应该具有自主运行、自我迭代的能力。它能够自主地识别环境中的新信息和奖励信号,并利用这些进行自我监督,随着时间推移不断更新自己的权重。如果出现这样的AI,它将具有非常
2023-09-05

LLM 是新型的 CPU

如果你想了解未来十年人工智能的发展将如何展开,一个好的历史类比是上世纪八九十年代个人电脑(PC)行业中的猫鼠游戏。当时,电脑已经足够好,吸引了数百万用户,但其有限的速度和存储常常是一个痛点。对提升性能的需求极大。然而,每当推出新一代更强大的电脑后,开发者立即构建了能充分利用新容量的应用程序,使得电脑
2023-09-30

LLM VS Computer

最近,Andrej Karpathy 在x 上有一个关于LLM 类比 CPU 的讨论, 看了下,发现类似的研究还挺多的, 我这些观点综合整理了成了一个表格:比较计算系统大语言模型(LLM)机器规模早期大型机需要高性能显卡的计算机基本处理单元Bitstokens处理器CPU人工神经网络(NLPU)执行
2023-09-30
线性关系嵌入探究语言模型处理复杂关系的新视角

线性关系嵌入探究语言模型处理复杂关系的新视角

在最新的科技研究中,专家们提出了一种名为线性关系嵌入(LREs)的概念,旨在探索和解释大型语言模型是如何处理和编码复杂关系的。这种方法基于一个简单的假设:对于某些特定的关系,比如人与职业、首都与国家之间的关系,模型在处理这些信息时,其实是通过一种线性的方式来进行的。为了更深入地理解这一过程,研究者开
2024-03-29