随着人工智能技术的快速发展，大语言模型（LLM）在边缘设备上的部署成为研究的热点。Ollama 作为一个轻量级开源框架，通过模型压缩技术（如量化、蒸馏和混合精度训练）显著降低了 DeepSeek 等大模型的资源需求，使其能够在资源受限的边缘设备上高效运行。本文深入探讨了 Ollama 的模型压缩技术，结合 DeepSeek 模型在边缘设备上的部署实践，详细解析了从模型量化到本地推理的完整流程。通过丰富的代码示例和数学公式，本文展示了如何在边缘设备上实现高效推理，并提供了性能优化和安全部署的实用建议。文章旨在