wireless_com
发表于
2025-06-26 20:25:57

整洁架构or整洁代码？或许需要一个整洁的API！

通过这个简单的例子可以看出，即使是看似微不足道的功能，Clean API 的分层设计也能够提供清晰的结构划分，确保每个部分专注于自己的职责。而在生产环境中，则连接真实的云服务实例。简而言之，实体逻辑层是整个 Clean API 架构中最接近“不变”的部分——它屏蔽了外部变化的影响，确保系统核心逻辑稳定可靠，同时也为上层模块提供了统一、可测试、可替换的数据交互接口。的功能类似于 Rails 中的渲染器，但它更加灵活，支持多种输出格式，如 HAML、JSON 或自定义类型，便于构建多端兼容的 API 响应。 ...继续阅读

wireless_com
发表于
2025-06-22 20:25:16

大模型的温度？解读Temperature

在连续的下一个单词生成中，gpt-2 给出一个初始输入句子，并以自回归的方式预测下一个最可能的单词。一旦下一个单词被预测，它就会被输出，这个过程就停止了，意思是一次只生成一个单词. 根据模型的学习关联，基于最高概率选择单词，并且除非使用新的输入重复该过程，否则不会发生进一步的预测。LLM 中的温度参数控制生成文本的随机性。当比较 0.5 和 10.0 两种温度下的输出时，我们观察到在 0.5 的温度下生成的文本更连贯，而在 10.0 的温度下，输出变得越来越不连贯，人类读者越来越难以理解。 ...继续阅读 (3)

wireless_com
发表于
2025-06-18 08:00:13

大模型的性能提升：KV-Cache

这样一来，在后续的 softmax 操作中，这些位置的值会趋近于零，从而确保每个 token 在预测时只能关注到它之前的历史 token，而不会看到未来的输入。其核心思想在于缓存每一步计算生成的 Key 和 Value 向量，使得在生成新 token 时，模型无需重复计算历史上下文中的 K 和 V 值，从而大幅减少冗余计算，加快响应生成。KV-Cache的运行速度实际上受到多种因素的综合影响，其中包括模型的规模（具体体现在注意力层数的多少）、输入文本的长度n、所使用的硬件设备以及具体的实现细节等。 ...继续阅读 (5)

wireless_com
发表于
2025-06-15 20:24:58

别让千亿参数成摆设！万字解读LLM应用的生存法则

当然，为了让体验更加流畅，我们会在用户上传文档的同时预先处理好所有的嵌入信息，并对常见的查询设置缓存，从而进一步减少等待时间。接下来，这些找到的信息会被加入到原本的问题描述中，形成一个更丰富、更有针对性的提问，最后才交给大模型处理。这样做的好处显而易见：不仅减少了模型产生的“幻觉”，还允许我们在不重新训练整个模型的情况下更新知识库，特别适合客服系统等需要频繁更新领域知识的应用场景。它的好处在于，并不是每次请求都要跑完整个模型，而是根据问题类型激活对应的“专家模块”，只动用必要的参数，大大减少计算开销。 ...继续阅读 (12)

wireless_com
发表于
2025-06-08 20:25:38

为什么写了多年代码，还是没形成自己的工程思维？

如果习惯于每当收到新的通知时就立即开始编写代码，无论是 bug 修复还是功能更新，就无法停下来思考更大的问题，或者代码的哪些部分可能会受到影响。不要抱最好的预期，而是设计有弹性的系统，例如网络故障的重试和回退，防止连锁故障的断路器，速率限制和流量处理峰，设立监测和警报。如果认为“善战者无赫赫之功”是错的，如果项目的风平浪静全部被归为没有难度，如果只有不断救火的人才能得到赏识，如果只有在鸡飞狗跳的环境中才能得到成长的话，就不要看本文了。解决问题，而不仅仅是写代码，编写代码并不困难，重要的是编写正确的代码。 ...继续阅读 (22)

wireless_com
发表于
2025-06-03 07:57:54

万字揭秘：生成式AI浪潮中的架构模式

【引】又是一次漫长的阅读之旅，试图从工程视角看生成式人工智能，虽然没有完成从GAM到大型多模态模型 (LMM) 的架构演练，但是可以清晰地理解其脉络，在构建应用时有的放矢。当AI开始创作电影剧本、设计建筑蓝图、合成药物分子时，我们可能正站在历史的技术拐点上。生成式人工智能（Generative AI，简称GenAI）已在全球范围内掀起颠覆性浪潮——从娱乐产业的数字人创作到医疗领域的药物研发，从市场营销的智能生成到科学研究的虚拟实验，这项技术正在重塑人类认知的边界。在表象的魔法背后，是精密运转的神经网络架构： ...继续阅读 (18)

wireless_com
发表于
2025-06-01 17:17:57

抽象的进化：AgentOps

从离散的、有界的工作流开始，其中Agent增加了明确的价值，然后随着团队在这个新范例中构建经验的积累而逐渐扩展。这里的根本转变是深刻的：我们现在定义目标、边界和可用的工具，然后让Agent决定如何在这些限制内完成目标，而不是指定确切的过程，例如，“当用户点击这个按钮时，验证这个表单，然后进行这个 API 调用”。在 AgentOps 中，我们转而定义成功的标准，例如“在保持满意度的同时有效地解决客户问题” ，提供知识库和行动工具的访问权，并指定护栏 (“未经批准不退还超过 x 元的款项”)。 ...继续阅读 (20)

wireless_com
发表于
2025-05-25 20:25:37

拆解OpenAI最大对手的杀手锏：为什么会是MCP？

广泛接受的标准，如 Kubernetes、 React 和 HTTP，通过将爆炸性的 MxN 问题转换为易处理的 m + n 生态系统解决方案，适应了数据生产者和消费者的广泛多样性，因此，如果它们能够获得临界质量，那么它们将是非常有价值的。新手们可能忽略了一个更微妙的问题，Anthropic 一直明确强调支持比 OpenAI 更多的工具，然而我们并没有真正的针对大型工具的基准测试，所以不知道各个大模型工具之间的差异，但直观地说，MCP 在一次调用中支持的平均工具比传统方式要多得多。 ...继续阅读 (26)