苏州钰尚传媒-商业品牌企业运营服务商-专业高端视频拍摄服务、商业品牌宣传片制作、企业产品广告片TVC微电影动画片视频、媒体宣传发布推广、品牌宣传软文发布、苏州广告标识牌设计制作，平面广告装饰、多媒体广告展厅文化墙装修全包、钰尚文化传媒——合作咨询 联系微信：esay8168 ,联系：电话18888186853微信同号

合作咨询

QQ：

微信：esay8168

扫微信二维码

联系

电话18888186853微信同号

联
系
我
们

这里是文章模块栏目内容页
魔搭社区与vLLM和FastChat展开合作 提供高效LLM推理和部署服务
user795653
2023-12-29 08:37:14

站长之家（ChinaZ.com）12月29日 消息:最近，魔搭社区与 vLLM 和 FastChat 展开合作，联合为中国开发者提供更快更高效的 LLM 推理和部署服务。开发者可以使用 vLLM 作为 FastChat 中的推理引擎，提供高吞吐量的模型推理。

FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。它具有优秀的大语言模型训练和评估代码，并且具有 Web UI 和 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。

vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员开发的 LLM 服务系统。它基于操作系统中经典的虚拟缓存和分页技术，实现了几乎零浪费的 KV 缓存，并且可以在请求内部和请求之间灵活共享 KV 高速缓存，从而减少内存使用量。

通过 FastChat 和 vLLM，开发者可以快速加载魔搭的模型进行推理。可以使用 FastChat 发布 model worker （s），并通过命令行客户端或网页端 WebUI 进行问答。还可以结合 FastChat 和 vLLM 搭建一个网页 Demo 或者类 OpenAI API 服务器。

微信截图_20231229083256.png

FastChat开源链接:

https://github.com/lm-sys/FastChat

vLLM开源链接:

https://github.com/vllm-project/vllm

（）

（来源：站长之家）
免责声明：本站文章部分内容为本站原创，另有部分容来源于第三方或整理自互联网，其中转载部分仅供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对其内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
有帮助
--

上一篇：2023年经济观察丨“硬核”举措密集出台 激发民营经济发展动力

下一篇：多方形成合力共推进 做好绿色金融大文章

栏目索引
相关内容

最新文章

标签云

钰尚传媒
传媒行业的商业全面服务 与您共创美好未来
合作共赢
  • 交互式网络传媒领域
  • 资源丰富，体系完善
  • 创造更加精准、有效的，线上线下互动品牌整合服务
  • 多年传媒行业尽管，见证品牌及产品的蜕变、递增和成长
创造优势
苏州钰尚传媒-商业品牌企业运营服务商最新资讯
致力于传媒行业领域的专业公司
长沙 北京 广州 上海 深圳 中山 珠海 河北 山西 广东 山东 河南 浙江 四川 安徽 湖北 湖南 陕西 福建 辽宁 云南 广西 江西 贵州 甘肃 吉林 黑龙江 海南 内蒙古 西藏 宁夏 青海 重庆 天津 香港 台湾 澳门 江苏 南京 苏州 无锡 徐州 常州 南通 扬州 盐城 淮安 泰州 镇江 宿迁 连云港 苏州吴中区 苏州相城区 苏州平江区 苏州沧浪区 苏州金阊区 苏州工业园区 苏州园区 苏州高新区 苏州新区 苏州虎丘区 苏州张家港 苏州常熟 苏州昆山 苏州太仓 苏州吴江
公安网备案：苏ICP备2022030477号-15苏州钰尚网络文化传媒有限公司 中华人民共和国增值电信业务经营许可证号：苏B2-20221286 Copyright 钰尚传媒版权所有 All Right Reserved. |—— TXT地图 | 网站地图