私有化模型部署设备选型，不能只看模型标注的参数规模。相同的模型在不同精度、上下文长度和并发量下，资源需求可能相差很大。先估模型权重占用，再为运行框架、KV缓存和并发请求留余量，最后确认设备能否稳定运行目标软件。
先把模型占用算出大致范围
模型权重可先用“参数量×每个参数所占字节数”估算。以 4 位量化为例，7B 模型的权重理论上约占 3.5GB，70B 约占 35GB；这只是权重本身，不是设备所需显存。加载格式、运行框架、上下文长度和并发请求都会增加额外占用，因此不能按理论值买卡。
FP16 或 BF16 权重通常比 4 位量化占用更多显存，但量化可能影响输出质量，也要检查推理框架是否支持对应格式。长上下文对 KV缓存 的压力尤其明显：对话轮次多、输入文档长，或同时处理多条请求时，缓存会持续占用显存。预算时应以实际计划使用的上下文和请求数估算，而不是只按模型文件大小判断。
并发量决定设备要留多少余地
“并发”要明确是同时连接的用户数，还是同一时刻正在生成内容的请求数。用户很多但请求错峰，和多人同时提交长文档，资源压力并不相同。短文本分类通常更关注吞吐和响应速度；长文档问答则要优先核对上下文容量与显存余量。
可以从目标并发的低、中、高三档进行压测，记录显存占用、生成速度、请求排队情况和错误率。测试数据应使用接近真实业务的提示词长度和输出长度；若暂时没有稳定流量记录，可先按少量并发起步，再逐步增加请求，找出延迟明显上升或显存接近上限的拐点。推理吞吐不能只看单条请求的速度，多请求下的排队和批处理也会改变结果。
单卡、多卡与 CPU 方案怎么选
单卡：部署简单，适合规模明确的负载
若模型经过量化后可完整放入一张卡，并且并发需求有限，单卡通常更容易安装、监控和故障排查。NVIDIA L4 配备 24GB 显存，可作为轻量推理设备的核对对象；具体能否运行目标模型，仍要看权重精度、上下文和并发设置。单卡的短板是显存扩展空间有限，模型变大后可能需要更换设备。
多卡：扩展空间更大，维护环节也更多
NVIDIA A100 80GB 等数据中心加速卡可用于更高显存需求的推理，但多卡部署不等于显存必然自动合并。模型并行方式、卡间互联、框架配置和机箱供电散热都要核实。多卡适合单卡放不下模型，或需要提升服务吞吐的场景；代价是采购、运维和软件调试更复杂。
CPU：成本门槛低，速度需实测
CPU 推理适合小模型、低频调用或对生成速度要求不高的任务，优点是硬件形态灵活；缺点是大模型生成速度通常不及适配良好的 GPU。选 CPU 方案时，除了内存容量，也要确认指令集、内存带宽和推理软件支持情况。不要仅凭核心数推断生成性能。
采购前按步骤核对
写明模型名称、参数规模、量化精度、最大输入长度和预期输出长度。
区分日常并发与峰值并发，注明请求是短文本还是长文档，并为框架和 KV缓存预留显存。
核对显卡显存、服务器电源、散热、插槽空间及卡间连接；工作站与机架服务器的噪声、部署位置和维护方式也不同。
用目标模型和实际推理框架做小规模测试，观察显存余量、推理吞吐和多请求表现，再决定是否扩容。
私有化模型部署设备选型的关键不是追求最高配置，而是让模型、并发和软件环境相互匹配。先列清负载，再用测试校准估算，通常比按单一显存数字采购更稳妥。
常见问题
模型文件能放进显存，就代表设备够用吗？
不代表。还要为运行框架、KV缓存及并发请求留空间，实际占用应以目标配置测试为准。
量化后一定能保持原有回答质量吗？
不一定。量化可降低权重占用，但不同模型和任务的效果变化不同，建议用代表性问题对比测试。
并发用户数应该怎么用于估算？
优先统计同时生成的请求数，并区分输入长度和输出长度；仅用注册用户数或在线人数估算，容易偏离实际负载。
