认知边界

AI

线性关系嵌入探究语言模型处理复杂关系的新视角

线性关系嵌入探究语言模型处理复杂关系的新视角

在最新的科技研究中,专家们提出了一种名为线性关系嵌入(LREs)的概念,旨在探索和解释大型语言模型是如何处理和编码复杂关系的。这种方法基于一个简单的假设:对于某些特定的关系,比如人与职业、首都与国家之间的关系,模型在处理这些信息时,其实是通过一种线性的方式来进行的。为了更深入地理解这一过程,研究者开
2024-03-29

LLM VS Computer

最近,Andrej Karpathy 在x 上有一个关于LLM 类比 CPU 的讨论, 看了下,发现类似的研究还挺多的, 我这些观点综合整理了成了一个表格:比较计算系统大语言模型(LLM)机器规模早期大型机需要高性能显卡的计算机基本处理单元Bitstokens处理器CPU人工神经网络(NLPU)执行
2023-09-30

LLM 是新型的 CPU

如果你想了解未来十年人工智能的发展将如何展开,一个好的历史类比是上世纪八九十年代个人电脑(PC)行业中的猫鼠游戏。当时,电脑已经足够好,吸引了数百万用户,但其有限的速度和存储常常是一个痛点。对提升性能的需求极大。然而,每当推出新一代更强大的电脑后,开发者立即构建了能充分利用新容量的应用程序,使得电脑
2023-09-30
这次的人工智能浪潮能持续多久?

这次的人工智能浪潮能持续多久?

终极 AI在最近的一个采访中,Inflection AI 的 CEO 穆斯塔法·苏莱曼被问到什么样的AI才能算是终极AI。他认为终极AI应该具有自主运行、自我迭代的能力。它能够自主地识别环境中的新信息和奖励信号,并利用这些进行自我监督,随着时间推移不断更新自己的权重。如果出现这样的AI,它将具有非常
2023-09-05
硅基人工智能的发展前景

硅基人工智能的发展前景

硅基人工智能的发展前景本文观点来自:OpenAI首席科学家Ilya人工智能模拟人脑的局限当前最先进的GPT人工智能在结构上已经可以模拟人脑的许多功能。例如,它基于冯诺依曼计算架构构建的人工神经网络ANN,其运行机制与人脑生物神经网络BNN高度相似。这使得GPT模型可以像人类一样操纵语言。但是,我们也
2023-08-31