量化漫谈系列之十四：DeepSeek部署与蒸馏模型推理评测

2025年2月11日23简单对话与批量化调用45678本地化部署方式对比910ollama –vollama run deepseek-r1:7b11pip install ollama121314nvcc –Vpip install vllmvllm –v15llm.generate(prompts)python -m vllm.entrypoints.openai.api_server --model deepseek-ai/DeepSeek-R1-Distill-Qwen-7B1617模型怎么选？——配置与性能对比1819202122232425• 1、大语言模型输出结果具有一定随机性的风险；• 2、模型迭代升级、新功能开发可能会导致结论不同的风险；• 3、人工智能模型得出的结论仅供参考，可能出现错误答案的风险2627