LOADING...
LOADING...
LOADING...
当前位置: 玩币圈首页 > 新闻观点 > 英伟达称最新开源软件 TensorRT-LLM 可基本解决目前发展大模型的几大挑战

英伟达称最新开源软件 TensorRT-LLM 可基本解决目前发展大模型的几大挑战

2023-09-14 Yangz 来源:区块链网络

据《科创板日报》9 月 14 日报道,在 2023 全球 AI 芯片峰会上,NVIDIA 解决方案与架构技术总监张瑞华介绍了 NVIDIA 最新推出的开源软件 TensorRT-LLM,她表示 TensorRT-LLM 可基本解决目前模型发展速度快、更新频繁、用户数量大等挑战,并且该软件支持 GPU 多节点,编程简单,与 Triton 相结合可降低多用户延迟问题,从而充分利用 GPU 并降低成本。

针对大模型的训练,NVIDIA 还提出了 NeMo Framework,这是一套端到端且具有云原生的训练框架,用于建构、定制和部署生成式 AI 模型,基本覆盖了大模型训练的全生命周期。为了防止大模型的胡言乱语,NVIDIA 还提供了一个安全护栏功能(Guardrails),来帮助大模型更好的泛化知识。张瑞华认为,AI 模型具有巨大的用户空间,未来不仅存在于研究所,可能会成为每个人手机或电脑上的应用。

原文链接

—-

编译者/作者:Yangz

玩币圈申明:玩币圈作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币圈平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。

知识 AIGC
LOADING...
LOADING...