标签：AI推理

姚欣再创业：分布式推理引领AI时代 本月，PPTV创始人姚欣再次成为焦点人物，举办了一场分布式云计算论坛，展示了他最新的创业项目。这次，姚欣的目标是云服务，致力于打造AI时代的基础设施。然而，他并没有自建数据中心或购买GPU，而是通过独特的分布式架构成为全国节点最多的云服务商。 PPIO派欧云成立六年，已获得三轮融资，总额达4亿元人民币。许多知名企业家如百川智能创始人王小川、迅雷创始人程浩及前微软Azure中国总裁申元庆等都参与了投资。姚欣曾是互联网视频时代的先锋，2004年在华中科技大学读研期间辍学创办了...

如果你有闲置的电子设备，现在可以将它们派上新用场，尝试构建一个AI领域的创新应用。通过组合iPhone、iPad、Macbook，甚至Windows或Linux系统，你可以搭建一个“异构集群推理方案”，高效运行复杂的Llama3模型。这个方案不仅支持iOS，未来还将兼容Android。项目开发者@evilsocket已经在GitHub上分享了全部代码，引发网友热议。然而，一些人关注到能耗问题，认为即使不考虑运算速度，仅电费就可能相当可观。 关键在于一个名为Cake的Rust框架，它使得大模型如Llama3能够进行分布式推理，将不同操作系统（iOS、Android、macOS、...

景嘉微成功研发出针对AI训练、AI推理和科学计算等高需求领域的景宏系列智能计算模块与整机产品。这些高性能的智算解决方案即将投入市场，以满足日益增长的计算力需求。 Tags：景嘉微, AI训练, AI推理, 智能计算模块, 科学计算

【智东西】美国AI软件公司Baseten近期完成4000万美元B轮融资，估值超2亿美元，引领AI推理市场新热潮。IVP和Spark Capital领投，Greylock、Conviction Partners等参投。受益于ChatGPT等工具的流行，Baseten去年收入猛增，专注于帮助客户将AI模型应用于实际场景。推理在AI市场的地位日益凸显，英伟达CEO表示推理占其去年计算收入的40%。 Baseten成立于2019年，起初专注机器学习研究，现聚焦AI推理，支持企业轻松部署AI应用。随着OpenAI的ChatGPT等产品的广泛采用，Baseten抓住机遇，提供自动调整计算资源的服务，确保无停机时...