标签:Nvidia

NVIDIA全新nGPT助力大型语言模型训练速度大幅提升,归一化Transformer技术引领AI未来潮流,模型精度再创新高

快科技10月20日报道,NVIDIA的研究团队近期发布了一项可能彻底改变人工智能未来的创新成果——归一化Transformer(nGPT)。这一新型神经网络架构在超球面上进行表示学习,显著提升了大型语言模型(LLM)的训练速度,最高可达到20倍,同时保持了模型的精度。 nGPT的核心技术在于将所有向量,包括嵌入、多层感知机(MLP)、注意力矩阵和隐藏状态,归一化为单位范数。这种归一化处理使输入的token在超球面上移动,每一层模型通过位移来贡献最终的输出预测。实验结果显示,与标准Transformer模型相比,nGPT在训练时所需的步骤减少...

富士康利用4608块NVIDIA B200 GPU打造鸿海高雄超级计算中心,目标实现全球顶尖AI超级计算能力:将达到现有Top1中心性能的8.5倍,并迈进EFLOPS级计算时代。

近日,据媒体报道,富士康宣布与NVIDIA达成合作,共同打造全球最快的单体AI超级计算中心——鸿海高雄超级计算中心。该计算中心采用NVIDIA GB200 NVL72服务器作为基础节点,每个节点内置36个Grace CPU和72个B200 GPU。 不同机柜之间通过129.6TB/s带宽的NVLink总线进行互联,使72个GPU系统能够作为一个统一的整体运行,提供高达3240 TFLOPS的FP64和FP64 Tensor Core性能。预计该超级计算中心将部署64个机架的NVIDIA GB200 NVL72服务器,总共包含2304个Grace CPU和4608个B200 GPU,提供超过90 EFLOPS(每秒9000亿亿次浮点运算)...

NVIDIA GeForce RTX标志升级:引入AI与Tensor张量核心技术,助力DLSS超分辨率功能提升游戏体验!

近日,据快科技报道,NVIDIA 对其“GeForce RTX”品牌标志进行了低调更新,新增了一行小字“Powering Advanced AI”,即“打造先进AI”的意思。这一变化不仅体现在未来的RTX显卡零售包装盒上,还将出现在预装台式机和笔记本电脑中。 GeForce 作为 NVIDIA 的游戏显卡品牌,自早期的 GTX 系列到如今的 RTX 系列,一直专注于游戏领域。然而,近年来 GPU 成为了 AI 加速计算的强大芯片,并且 NVIDIA 在 CUDA 生态系统中的优势使其在这个领域几乎无可匹敌。尽管 Intel 和 AMD 提倡 CPU、GPU 和 NPU 三位一体的策略,但 NVIDIA 在 AI 计...

NVIDIA数据中心与AI领域的资本支出决策分析:股价一夜暴跌2000亿美元背后的原因

近期,关于AI需求是否强劲的话题引发了广泛关注,“卖铲人”最先感受到了市场的温度。随着云计算厂商资本支出的增加,市场上出现了“AI泡沫论”的声音。在这个背景下,NVIDIA迎来了一季度备受瞩目的财报发布。 周三收盘后,NVIDIA公布了2025财年第二季度的财报,营收达到了创纪录的300亿美元,同比增长122%。其中,数据中心业务的表现尤为突出,实现了263亿美元的历史新高。尽管如此,NVIDIA的股价在财报公布后依然下跌了6.6%。 股价下跌的主要原因是数据中心业务的环比增长率显著放缓,仅增长了16%。这表明,云厂商等大客户的...

英伟达NVIDIA NIM:几分钟内构建AI应用的全新升级工具 – NVIDIA, AI, 生成式人工智能, OpenUSD

NVIDIA 在 SIGGRAPH 2024 的重大突破 在备受瞩目的计算机图形学会议 SIGGRAPH 2024 上,NVIDIA 展示了其在渲染、仿真与生成式人工智能领域的最新成果。其中,最令人瞩目的无疑是 NVIDIA NIM 平台的全面升级。 NVIDIA NIM:AI 创新的加速器 NVIDIA NIM 是英伟达为应对生成式 AI 时代挑战而推出的关键平台。它允许用户在极短的时间内构建 AI 应用程序,极大地简化了从模型开发到部署的整个流程。英伟达创始人兼CEO 黄仁勋将其形象地称为“AI-in-a-Box”,意味着用户可以通过标准化的流程轻松部署复杂的 AI 模型,进一步提升...

自定义Llama 3.1模型的利器来了!NVIDIA打造生成式AI代工厂,还有加速部署的微服务

在科技界的一次重大突破中,NVIDIA携手Meta,为全球企业开辟了一条通往生成式AI未来的崭新道路。近日,NVIDIA宣布启动NVIDIA AI Foundry服务,同时推出了NVIDIA NIM推理微服务,旨在与Meta最新发布的Llama 3.1系列开源模型协同工作,为企业提供前所未有的AI支持。 Llama 3.1,这一大语言模型家族,包括8B、70B和405B三种不同参数规模的版本,它们在超过16000个NVIDIA Tensor Core GPU的强大算力下孕育而生,并被精心优化,以适应NVIDIA的加速计算和软件环境,无论是数据中心、云端,还是搭载RTX GPU的工作站或PC,都能发挥...

SK集团董事长:若企业不能通过AI赚钱 NVIDIA商业模式可能就会崩溃

在最近的第47届韩国商工会议所济州论坛上,SK集团的掌门人崔泰源提出警示,他认为企业若无法利用AI技术实现盈利,像NVIDIA这样的商业模式可能会遭遇挑战。尽管NVIDIA曾因数据中心GPU的销售记录在2023年登顶全球市值最高公司,但这背后潜藏着不确定因素。 崔泰源以19世纪的加州淘金热类比当前的AI热潮,暗示这种狂热可能不会永久持续。一旦人工智能领域未能持续产生利润,当热潮消退,相关硬件投资可能会急剧减少,直接影响NVIDIA等依赖该市场的公司。 在与多家科技巨头的高层对话中,崔泰源发现美国大型科技公司对高效人工...

AI芯片市场升温,NVIDIA CUDA软件引领创新,面临反垄断调查:法国确认调查其市场主导地位

在最新的科技行业动态中,法国竞争管理局正对知名图形处理器制造商NVIDIA展开一项深入的反垄断调查。据7月15日的官方声明,该机构主席Benoit Coeure表明,若NVIDIA在调查中被证实存在不当行为,公司将面临正式的法律指控。此次调查的起因是去年针对“显卡产业”企业的突击检查,特别是NVIDIA的CUDA芯片编程工具受到了密切关注。 CUDA软件在程序员中的广泛应用使得监管机构对其潜在的不公平竞争问题产生了忧虑。在6月28日发布的关于生成式AI竞争的报告中,法国监管机构提到了芯片供应商滥用市场支配地位的风险,其中特别点名了...

NVIDIA引领人工智能革命,股市市值已破3万亿,专家预估未来十年将飙升至50万亿,生成式AI助其登峰造极

在人工智能技术的迅猛发展下,NVIDIA的股价今年实现了显著增长,达到了惊人的162%,目前公司市值已超过3万亿美元。投资界巨头詹姆斯·安德森对此持积极态度,预测NVIDIA在接下来的十年内市值有望冲击50万亿美元的里程碑,这一数值或将超越目前标普500指数所有企业的总市值之和。 安德森的信心源于NVIDIA在AI领域的持久领导地位及其在硬件和软件上的竞争优势。他指出,假设数据中心AI芯片的需求年增长率维持在60%左右,NVIDIA的市值在十年后可能达到49万亿美元。尽管预计短期内可能会出现35-40%的股价调整,但他视之为市场周...

每秒800个token,这颗AI芯片挑战英伟达

近年来,人工智能推理领域的竞争日益激烈,其中一家名为Groq的初创公司以其创新的芯片技术引起了关注。Groq声称,其专为矩阵乘法优化的张量流处理器在为Meta最新发布的LLaMA 3大型语言模型提供服务时,实现了每秒超过800个token的惊人速度。这一成绩如果得到验证,将对比现有云AI服务产生重大影响。 Groq的处理器架构与传统的CPU和GPU不同,它专注于简化和确定性的执行模型,以提高AI推理的性能和效率。通过避免通用处理器的开销和内存瓶颈,Groq的解决方案有望在运行大型神经网络时实现更低的延迟、功耗和成本。对于需要快...
12