大家好，今天继续跟大家分享两个有趣的开源项目。

一、exo

先说清楚，这不是那个天团 EXO。

虽然他们的歌好听，但我们今天聊的 exo 是个开源的 AI 集群神器。

不知道大家有没有看过这样一个话题。

开玩笑的说，人眼当CNN，矩阵计算自己找个考研数学看看。

也有人说，现在云计算这么多，买不起高算力GPU，整个云计算不香吗？

但是，你有设想过，你的旧MacBook、手机、平板、甚至树莓派，都可以成为 AI 集群的一份子吗？

exo 是一个前沿的探索型项目，核心思想是通过整合日常设备的算力，构建分布式 AI 推理集群。通过技术手段，exo 可以将高性能 AI 推理带给更多人！

那么，exo 做的究竟是什么事？

把“大象”塞进“小冰箱”

exo 的分布式推理核心技术在于模型的动态分区。它通过对网络拓扑和设备资源（内存、算力）进行评估，将模型按比例切分到不同设备中。

默认采用 Ring Memory Weighted Partitioning 策略，这种方法的特点是：

• 按设备内存权重分配模型层数，弱设备分担轻任务，强设备承担重任务。
• 环形推理：模型推理从设备 A 开始，层层传递，最后返回输出。

这种方法使得多个低性能设备也能共同运行大型模型。

举个例子，Llama 3.1 8B 模型以 fp16 精度运行时，需要 16GB 内存。exo 可以将内存需求动态分配到多台设备，无需所有内存集中在单个设备上。

所以，只要你有以下这些可用的设备，你就可以完成推理：

• 2 台 8GB 内存的 M3 MacBook Air
• 1 台配备 16GB 内存的 NVIDIA RTX 4070 Ti 笔记本
• 2 台 4GB 内存的树莓派 400（运行在 CPU 模式）+ 1 台 8GB 内存的 Mac Mini

我们几个真强！

exo 的架构抛弃了传统的主从设计，采用完全 P2P 连接。也就是说，人人都有用武之地！

每个节点运行自己的推理任务，exo 通过 gRPC 实现高效通信。

支持设备异构，无论是 iPhone、树莓派、Linux 服务器还是 MacBook，都可以加入。

因此，无论这台设备在你的想象中跟 AI 推理有多么的不相干，或是性能和常规 GPU 比起来有多差，exo 让大家都是平等的节点。

所以，即便是内存低、性能弱的设备，也能利用其资源提升集群总吞吐量，具体表现为推理延迟可能略有增加，但任务处理效率整体提高。

而且，在 exo 的设计中，多设备协作无需复杂的手动配置。

只要设备连接到同一网络，系统便会自动通过局域网广播（Bonjour 协议）或 P2P 进行发现和连接，完全抛弃传统的中心化管理架构。

每个设备都能平等加入集群并贡献计算资源，真正实现了零配置、快速组网的特点，非常适合技术小白快速上手。

ChatGPT 兼容 API

为了让开发者快速上手，exo 提供了一个与 OpenAI ChatGPT API 兼容的接口。

这个接口可通过 HTTP POST 请求，指定模型、上下文、温度等参数，轻松调用本地模型。

对于现有项目，只需一行代码修改，就能替换 OpenAI 的远程接口为本地的 exo。

具体的应用场景，可能是替代 OpenAI API，节省调用成本。或者在本地部署私有化的 AI 模型，提高数据隐私性。

多种推理引擎

支持exo 支持多种推理引擎，目前已完成对以下引擎的适配：

无论是技术爱好者还是开发者，exo 都提供了一个探索分布式 AI 的绝佳平台。

如果你有兴趣尝试这样一个有趣的项目，欢迎访问他们的 Github！

项目地址：

https://github.com/exo-explore/exo

二、Thinking-Claude

Claude 的觉醒时刻来了！

在 AI 圈子里，Claude 和 GPT 系列常被拿来比较，但两者的特点让它们形成了一些独特的“刻板印象”。

比如，Claude 逻辑性强，但容易绕弯子；

GPT 是个百科全书，但偏冷漠，像个机器人。

不过大家或许都会潜意识认为，GPT 就是目前最强大的对话模型。

那么，如果我说，Thinking-Claude 让 Claude 可能有了超过 o1 的推理能力，你相信吗？

现在 Claude 不只是和 GPT 平起平坐，它还多了几分哲学家气质！

作者说到：

当你在日常任务中使用它时，你会发现Claude 的内心独白（思考过程）非常非常有趣和有趣。

思维协议是 Claude 的核心技术之一，通过一组明确的指令集，引导 Claude 在生成回复前遵循一套结构化的思考流程。

这种流程的本质类似于“链式思维”，将一个复杂问题分解成多个小步骤进行推理。

Claude 会按照指令集的要求，首先理解问题的背景和目标，然后根据逻辑链逐步推演出各个关键点，最后评估生成结果是否合理、全面。

这种方法让 Claude 的回答不仅迅速，还具备了高质量的推理逻辑。同时，Claude 的思考路径是完全透明的，用户可以清晰地看到并验证每一步推理的合理性。

为了进一步优化用户体验，开发者提供了专门的浏览器扩展工具，帮助用户更直观地查看和管理其“思维过程”。

这款扩展的核心技术在于通过内容解析器捕获 Claude 输出中的思考步骤，例如“Step 1”、“Analysis”等关键标注，并将这些片段动态处理为可折叠的区块，方便用户快速浏览和展开细节。

说完技术细节，最让我们震惊的是，这份惊为天人的prompt，居然是由一位高中生开发的。

涂津豪（Richards Tu），07年，17岁。

年龄虽小，但他绝非等闲之辈。之前阿里巴巴全球数学竞赛AI赛道的全球第一，就是这位大神。

甚至，开发浏览器插件这个idea，就是涂津豪在做完这个 prompt 后，直接用自己开发的 prompt 向 Claude 提问得到的反馈。

完整的prompt就在项目主页，想体验的小伙伴，可以直接点进去看看。

项目地址：

https://github.com/richards199999/Thinking-Claude

那么本期的内容就是这么多，我们下期再见！