感谢IT之家网友 OC_Formula 的线索投递！
，英伟达今天宣布推出名为 TensorRT-LLM，是一个深度优化的开源库，能够在 Hopper 等 AI GPU 上加速所有大语言模型的推理性能。
英伟达目前已经和开源社区合作，利用 SmoothQuant、FlashAttention 和 fMHA 等尖端技术，实现 AI 内核来优化其 GPU，可以加速 GPT-3，Llama Falcom(180 B)和 Bloom 模型。
TensorRT-LLM 的亮点在于引入了名为 In-Flight batching 的调度方案，允许工作独立于其他任务进入和退出 GPU。
该方案允许同一 GPU 在处理大型计算密集型请求时，动态处理多个较小的查询，提高 GPU 的处理性能，可以让 H100 的吞吐量加快 2 倍。
在性能测试中，英伟达以 A100 为基础，对比了 H100 以及启用 TensorRT-LLM 的 H100，在 GPT-J 6B 推理中，H100 推理性能比 A100 提升 4 倍，而启用 TensorRT-LLM 的 H100 性能是 A100 的 8 倍。
在 Llama 2 中，H100 推理性能是 A100 的 2.6 倍；而启用 TensorRT-LLM 的 H100 性能是 A100 的 4.6 倍。
IT之家在此附上报告原文，感兴趣的用户可以深入阅读。
广告声明:文内含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
，据外媒报道，当地时间周四，英国跑车制造商路特斯(LotusCars)正式推出下一款全电动轿车Emeya。 Emeya是路特斯的第二款纯电动汽车，也是该汽车制造商的第一款4门超级GT跑车。这款车基于...
2023-09-09 10:36
感谢IT之家网友西窗旧事的线索投递！ ，比亚迪今日下午官宣，旗下唐家族车型将于9月11日陆续获得年度OTA升级。 此次OTA升级提供了多项功能升级和优化，包括此前已经预告的云辇-C智能阻尼车身控制...
2023-09-09 10:28
巴西东北部巴伊亚州新坦基市的广袤绿地上，一台台风力发电机错落有致，白色叶片随风缓缓转动。近日，中广核巴西能源控股有限公司新坦基风电项目正式投产，为中巴两国清洁能源领域合作注入新动力。 新坦基风电项目...
2023-09-09 10:25
感谢IT之家网友雨雪载途的线索投递！ ，IT之家此前曾报道，多家外媒确认任天堂在科隆展期间，为部分人员提供了下一代Switch的“秘密演示”，今日媒体UnivNintendo主编necrolipe在...
2023-09-09 10:17
投资中东的热度高涨，对于投资机构而言，一方面是走出去，实地去中东地区和当地的企业机构交流，寻求募资、投资的机会；另一方面，也在请进来，通过投后服务为被投企业创立了解中东的机会。 深创投沙特专场活动受...
2023-09-09 09:26
