LLM TREND

大模型技术趋势分享：LLM、RAG、Prompt、Agent、Fine-tuning等

vLLM

LLM

利用Ray集群加速vLLM：突破大模型单机瓶颈的现代解决方案

llmtrend 没有评论

随着大型语言模型（LLM）的日益普及，如何高效地部署和服务化这些模型成为了一个关键挑战。尽管诸如vLLM之类的优化推理引擎能够显著提升GPU利用率，但其单机的限制依然是大规模部署的瓶颈。本文将探讨如何利用Ray这样的分布式计算框架，克服vLLM的局限，实现LLM推理性能的飞跃。 大模型服务化的挑战与单机瓶颈 大型语言模型，如GPT-4级别，在规模和复杂度上都达到了前所未有的程度。这使得服务化这些模

LLM

利用 WSL 镜像网络在两台笔记本上搭建 Ray 集群运行 LLM

llmtrend 没有评论

在人工智能领域，本地运行大型语言模型（LLM）的需求日益增长。许多在线指南侧重于 Linux 环境下的 Ray 和 vLLM 的使用，但本文将介绍一种在 Windows 环境下，利用 WSL（Windows Subsystem for Linux）镜像网络连接两台笔记本电脑，从而搭建 Ray 集群并高效运行 LLM 的方法。这种方案结合了 Windows 的易用性和 Linux 的灵活性，为开发者

You Missed

LLM

大型语言模型 (LLM)：原理、应用与实践指南

LLM

2025年大模型前沿架构：量化创新深度解析

RAG

基于FastAPI与RAG的电商智能聊天机器人：从入门到实践

LLM

LLM赋能：一个Spring Boot应用如何替代五个微服务API？