随着人工智能的推动兴起，曾经“简单”的边缘设备变得越来越智能，导致计算设备比以往任何时候都多。推动
英特尔首席执行官帕特·基辛格 (Pat Gelsinger) 在 2024 年 1 月 9 日举行的边缘 CES 2024 上发表主题演讲，将探讨通过创新和开放软件赋能的推动硅如何为消费者和企业提供人工智能功能。第二天，边缘高通总裁兼首席执行官克里斯蒂亚诺·阿蒙将强调更多设备将如何无缝融入我们的推动生活；他将解释说，在设备上普遍且持续运行的边缘人工智能将改变用户体验，使用户体验更加自然、推动直观、边缘相关和个性化，推动同时需要提高即时性、边缘隐私性和安全性。推动
这意味着越来越多的边缘受限设备和传感器中需要更多的机器学习(ML)，无论是推动物联网(IoT)、工业自动化、自动驾驶和软件定义车辆 (SDV) 还是健康领域和可穿戴设备。
在嵌入式世界中，以下趋势能够实现其中的一些目标。
边缘智能变得更好
苹果刚刚发布的关于在内存有限的资源受限设备上部署大型语言模型（LLM）的研究论文显示，通过将模型参数存储在闪存上，但按需将它们传送到 DRAM，解决了高效运行超出可用 DRAM 容量的 LLM 的挑战。
苹果团队在论文中表示，他们的方法涉及构建一个与闪存行为相协调的推理成本模型，从而实现两个关键领域的优化：减少从闪存传输的数据量以及以更大、更连续的块读取数据。为此，他们引入了两种技术，一种称为“窗口”，通过重用先前激活的神经元来战略性地减少数据传输，另一种称为“行列捆绑”，以增加从闪存读取的数据块的大小。
论文指出，“这些方法共同支持运行高达可用 DRAM 大小两倍的模型，与 CPU和 GPU中的简单加载方法相比，推理速度分别提高了 4-5 倍和 20-25 倍。我们将稀疏性意识、上下文自适应加载和面向硬件的设计集成在一起，为在内存有限的设备上有效推理 LLM 铺平了道路。”
这表明该行业的总体发展方向是在边缘部署更多的机器学习和推理。
RISC-V的采用变得更加明显
2023 年 8 月，多家公司宣布成立一家新的未命名公司，该公司将有助于加速 RISC-V 硬件在全球的商业化。上周，该公司被命名为Quintauris，亚历山大·科赫 (Alexander Kocher) 被任命为首席执行官。该公司总部位于德国慕尼黑，投资者包括博世、英飞凌、NordicSemiconductor、NXPSemiconductors 和 Qualcomm Technologies。
该公司将成为支持基于 RISC-V 的兼容产品、提供参考架构并帮助建立行业广泛使用的解决方案的单一来源。最初的应用重点将是汽车，但最终将扩展到移动和物联网。
看看 Quintauris 如何与RISC-V International 并肩作战将会很有趣。毫无疑问，行业协会负责维护指令集架构 (ISA) 规范，而 Quintauris 很可能成为需要现成参考板和系统进行自己开发的开发人员的资源。
当许多评论者谈论 RISC-V 时，经常忽略的一点是，开发人员正在设计基于异构架构的系统，因此多个 ISA 很可能成为芯片的一部分，而 RISC-V 则被部署用于各种功能。
咨询公司 SHD Group 在 2023 年 11 月美国 RISC-V 峰会上提交了一份报告，强调其自己的 RISC-V 市场分析，预计今年将作为报告发布。在 2023 年 12 月向Embedded.com 举行的简报中，SHD Group 首席分析师 Richard Wawrzyniak 告诉我们：“我们处于一个异构的世界。我们并不是说 RISC-V 正在占领世界，但生态系统正在构建良好，其中包含设计人员创建自己的芯片所需的所有元素。”
SHD Group 的 RISC-V 市场收入预测
他的研究强调了内置 RISC-V 的部件数量，而不是 RISC-V 内核的实际数量。他说：有数十亿台 SoC 以任何形式或功能搭载 RISC-V。该报告研究了 6 个不同类别的 54 个应用程序，预计到 2030 年，基于 RISC-V 的 SoC 的芯片收入将接近 1000 亿美元，并将带来 16 亿美元的 IP 收入。研究预计到 2027 年左右，收入将从许可驱动型收入转变为特许权使用费驱动型收入。
Chiplet 业务将开始变得有点像 IP 业务
Chiplet 去年风靡一时，到 2024 年，知识产权 (IP) 业务可能会开始像大约 20 年前那样。我们中的一些人可能还记得最初成立于 2000 年的Virtual Component Exchange，其目标是充当 IP 买家和卖家的门户。
现在，小芯片是克服当今机器学习密集型产品的海量计算需求挑战的答案之一，而无需使用最先进（且昂贵）的工艺技术构建单片芯片。正如去年加州Chiplet 峰会主席 Chuck Sobey 所说：“Chiplet 在提高芯片可扩展性、模块化和灵活性方面可以发挥很大作用。但只有产品开发人员能够快速且廉价地集成它们时，这个想法才有效。有效的集成平台需要许多工具。所有领域的供应商都必须提供一个平台并支持生态系统和开源工作，以填补界面和软件空白。”
零 ASIC的 efabric 概念
2023 年该领域出现的最有趣的初创公司之一是 Zero ASIC，该公司表示他们正在通过小芯片设计和仿真平台实现芯片制造的自主化。
该公司于 10 月份公开露面，提供 3D 小芯片可组合性以及基于全自动无代码小芯片的芯片设计。该公司表示，其平台能够从已知良好的小芯片目录中自动设计、验证和组装系统级封装（SiP）。基于 Web 的设计和仿真工具允许用户在订购物理设备之前快速准确地测试定制设计，使用云 FPGA在定制 SoC 中实现每个小芯片的 RTL 源代码。
Chiplet 的激增以及使用各种来源的 Chiplet 的能力当然取决于标准，但随着UCIe（通用 Chiplet 互连快速）规范的发展，这已经成为业界思考的一部分。
英伟达推动 AI/ML趋势
最终，推动上述趋势的是对机器学习 (ML) 的需求。虽然没有特别强调，但毫无疑问，特定领域的 AI/ML 将成为 2024 年的关键驱动因素。
数据的丰富性将是一个关键问题，因此开发人员无疑将更加密切地关注数据加密、硬件和连接层的网络安全等领域，以及使用机器学习来解决这些问题。
多家公司都提供了他们对 2024 年的人工智能预测和趋势。英伟达高管重点介绍了其对 2024 年的 17 个预测。该公司负责企业计算的副总裁 Manuvir Dav 表示，一种方法无法适应所有情况，将有数百个客户大语言模型 (LLM) 来提供准确、具体的知情响应，以分析企业内的大量数据；为了实现这一目标，开源软件和现成的人工智能和微服务将发挥带头作用。
在医疗保健领域，英伟达医疗保健副总裁 Kimberly Powell 谈到将仪器、成像、机器人技术和实时患者数据与人工智能相结合，以实现更好的外科医生培训、手术期间更加个性化以及通过实时反馈和指导提高安全性，即使在远程手术期间也是如此。她说，这将有助于缩小 1.5 亿例所需但未进行的手术的缺口，特别是在低收入和中等收入国家。
在汽车领域，该公司汽车副总裁吴新宙表示，生成式人工智能将有助于实现智能工厂中汽车生产生命周期的现代化，并创建数字孪生。除了汽车产品生命周期之外，生成式 AI 还将实现自动驾驶汽车 (AV) 开发的突破，包括将记录的传感器数据转化为完全交互式的 3D 模拟。这些数字孪生环境以及合成数据生成将用于在自动驾驶汽车部署到现实世界之前大规模安全地开发、测试和验证自动驾驶汽车。
英伟达嵌入式、边缘和计算副总裁 Deepu Talla 表示，生成式 AI 将为机器人开发代码，并创建新的模拟来测试和训练它们。他补充道：“法学硕士将通过自动构建 3D 场景、构建环境并根据输入生成资产来加速模拟开发。由此产生的模拟资产对于合成数据生成、机器人技能培训和机器人应用测试等工作流程至关重要。”他表示，为了使机器人行业规模化，机器人必须变得更加通用——也就是说，它们需要更快地获得技能或将它们带到新的环境中。“在模拟中训练和测试的生成式人工智能模型将成为推动更强大、更灵活和更易于使用的机器人的关键推动因素。”
Ampere ：改变计算格局的趋势
AmpereComputing 首席产品官 Jeff Wittich 继续讨论 2024 年通用计算趋势，在博客中提出了他对 2024 年的看法，并总结如下：
人工智能推理和大规模部署成为焦点。
在人工智能的背景下，可持续性和能源效率变得更加重要。
计算和数据处理变得更加分布式和复杂。
第三个要点总结了我们 2024 年的趋势，引用 Wittich 的话说：“随着人工智能的兴起，曾经‘简单’的设备变得越来越智能，导致计算设备比以往任何时候都多。为了实时处理来自这些设备的数据，高性能计算正在各处部署——在公共云和私有云中，但现在也在边缘，导致与集中区域相比，超本地区域对计算的需求更大。这些环境的复杂性需要业界五年前还没有的解决方案，并且将会有比以往更多的专业供应商试图解决这种情况。”
