文章总结： 本文介绍了在MacBook本地部署AI大模型的完整流程，使用Ollama工具部署Qwen3.5-9B模型并配置CherryStudio可视化客户端。文章首先解释了量化、推理等核心概念，然后通过检测网站推荐适配模型，详细演示了安装服务、拉取模型、启动交互等步骤。核心优势包括隐私安全、极速响应和低成本，适合技术新人体验端侧AI。 综合评分： 72 文章分类： 实战经验,AI安全

本地部署AI大模型初体验

原创

CodingYi CodingYi

Sec Online

2026年3月23日 09:00 上海

🔍 前言

随着AI技术的飞速发展，大模型已经深入到我们生活的方方面面。但你有没有想过，不依赖云端服务，也能在个人电脑上直接使用强大的AI模型？

端侧AI（Edge AI）——即在本地设备运行AI模型的技术，让这一切成为可能！它不仅保护隐私、无需网络，还能带来更快的响应速度。

作为技术新人，动手部署本地模型不仅能加深对AI的理解，更能解锁离线AI的无限可能。今天，就让我们一起从零开始，体验这场智能革命的魅力！

📚 核心概念小词典（扫盲必备）

| 术语 | 一句话解释 | | — | — | | 量化 | 压缩模型大小的技术，让低配设备也能跑大模型 | | 推理 | 模型根据输入生成结果的过程（如回答问题、写代码） | | 参数 | 模型训练后固化下来的数值总和（参数量越大,模型能力越强,但对硬件要求也越高) | | API调用 | 通过代码控制模型,实现自动化操作 |

#

#

💻 一、你的电脑能部署什么模型？

想知道你的设备能运行哪些AI模型？

打开网站（https://www.canirun.ai），输入你的显卡、显存等信息

系统会推荐适配的模型列表，例如我的MacBook Pro M1 Max（32G内存）可流畅运行Qwen3.5-9B等模型

❗ 小贴士：参数量越小、量化精度越低,运行越流畅.

🛠️ 二、模型部署实操（MacBook Pro M1 Max为例）

Step 1：安装Ollama

https://ollama.com/download

# 安装ollama（支持M系列芯片）curl -fsSL https://ollama.com/install.sh | sh

# 验证安装ollama --version

Step 2：启动Ollama服务

# 前台启动（推荐新手观察日志）ollama serve

# 后台启动（生产环境适用）ollama serve &

🔧 服务管理技巧：

按 Ctrl+C停止前台服务

使用 ps aux | grep ollama查看进程状态

Step 3：部署并运行Qwen3.5-9B模型

# 拉取模型（自动选择最佳量化版本）ollama pull qwen3.5:9b-q4_k_m

# 启动交互模式（带思考过程）ollama run qwen3.5:9b-q4_k_m

可以看到一句”你好”，qwen思考了很多，某些场景为了加快速度可以关闭思考过程

# 启动交互模式（关闭思考过程）ollama run qwen3.5:9b-q4_k_m --think=false

可以看到，关闭后响应很快

Step 4：安装Cherry Studio（可视化客户端）

• 下载安装包：cherry-studio官网（https://www.cherry-ai.com）

• 配置模型：登录后点击「设置」→「模型服务」→「Ollama」→输入API地址「http://localhost:11434」(默认无密钥)→「管理」添加对应模型「qwen3.5:9b-g4_k_m」

  

  

• 对话测试：输入问题，模型实时回复

恭喜你！🎉 你已经成功完成了本地大模型的部署与初体验。

✨ 三、总结：端侧AI的三大优势

本地部署的核心优势在于：

• 🔒 隐私安全：数据不出电脑,无泄露风险
• ⚡ 极速响应：无网络延迟,对话秒级回复
• 💰 低成本：省去云服务费用,小模型也能胜任代码审计等任务

💡 备注

• 本文命令适配MacBook M1 Max，其他设备请适当调整
• 参数解释已简短化，ollama命令模块化，更符合新人友好需求

📌 互动话题

本地部署的小参数模型具体能解决你的什么实际问题呢?

欢迎在评论区分享你的经验!

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：Sec Online CodingYi CodingYi《本地部署AI大模型初体验》