新闻中心 
-
05-31SearchAgent-X— 南开等机构推出的高效推理框架SearchAgent-X是由南开大学与伊利诺伊大学厄巴纳香槟分校（UIUC）的研究人员共同开发的一种高效推理框架，旨在增强基于大型语言模型（LLM）的搜索代理...
-
04-10数据库用什么软件编写_数据库编写软件前十名推荐常见且受欢迎的数据库编写软件包括：1. MySQL Workbench，适合MySQL开发者和管理员；2. Microsoft SQL Server Manag...
-
11-06nosql数据库的应用场景有哪些NoSQL 数据库因其在大规模数据存储、实时分析、高并发场景、分布式存储和实时推荐系统等方面的优势而广受欢迎。其分布式架构和横向扩展能力使其能够处理海量数据，提...
-
06-05利用 NVIDIA Riva 快速部署企业级中文语音 AI 服务并进行优化加速一、Riva概览1.OverviewRiva是NVIDIA推出的一款SDK，用于实时的SpeechAI服务。它是一个高度可定制的工具，并且使用GPU进行加速。N...
-
02-26高性能 LLM 推理框架的设计与实现一、大语言模型推理概要介绍与传统的CNN模型推理不同，大语言模型的推理通常会分成prefill和decoding两个阶段。每一个请求发起后产生的推理过程都会先经...
