一个月前随着OpenAI o3的发布，社交媒体上兴起了「根据图片找位置」的潮流，举个简单的例子（来源：NanYi）：一开始我不以为意，我觉得只要能解析图片中Exif信息足够了，不是什么黑科技，直到我看了一下o3的分析过程：这个分析方法代表着没有metadata的图片也能精确分析得到结果，除了惊讶模型分析推理能力之外，我觉得更加让我惊艳的地方是图片和文字的信息对齐和协同能力 —— 大模型的多模态能力已经不仅仅局限于输入上的多模态支持了。于是我萌生了一个大胆的想法：作为没有AI算法背景的人打算借助AI工具弄清楚这里的黑科技。明确研究对象Multi-Modal 多模态已经不陌生了，但是o3这种多种模态输入信息的联动（对齐）到底是归属哪个范畴，需要先识别出来。经过简单的搜索引擎的检索，发现「弥合不同模态之间的语义差距并确保其表示的有效对齐是Multi-Modal Token需要解决的范畴」。有了关键信息就比较方便了，分别用「Multi-Modal Token」、「多模态token」、「多模态令牌」等关键词进行检索，发现有大量的论文是做相关研究的。这么复杂且并非自己熟悉的学术领域，自己一篇论文一篇论文的研究肯定是不可能了，直接上手段 Gemini Deep Research。Deep Research目前各家大模型基本陆续都推出了 Deep Research 的功能，我个人还是觉得Gemin ...继续阅读 (8)

开始技术细节之前，关于有声书想多絮叨两句（也算是一种产品需求分析）：有声书的主要需求来源：随着生活节奏加快，人们越来越依赖碎片时间获取信息，有声书允许用户在通勤、做家务、运动等场景中同步进行 “阅读”；特殊人群的阅读需求，老人、视障等天然存在阅读困难的人，儿童等尚需启蒙的人群等都需要借助有声书来“阅读”；情感陪伴与心理健康支持需求，声音的陪伴属性使其成为心理健康的 “软支撑”，睡前听书还可能通过影响梦境内容（如高频 β 波激活记忆）间接改善心理状态，广播剧、小说等内容通过角色演绎引发情感共振。技术可行性：丰富的kindle、z-library等电子书资源提供了高质量的有声书文本资源；AI 技术（如 TTS 语音合成）大幅降低制作成本；MCP协议生态的丰富大大增强了AI的能力边界；从业务价值的角度做这件事情是有待商榷的：已经有喜马拉雅这样平台了，折腾有声书转换的必要性不高；已经有NotebookLM了，自己去开发基于LLM的工具必要性不高；平台和工具皆有竟品的情况下，这件事情的效率和性价比都会有问题，所以这个项目只能是个人兴趣和副业；基于上述的分析，打算用MCP Servers + LLM实现将电子书转换为有声书的小工具，使用方式很简单在AI交互框中输入“将xxx目录中xxx转为成音频”，这样我就拥有了一个低配版的喜马拉雅，将任意自己喜欢电子书变成自己和家人喜欢的有声书了。技术思路首 ...继续阅读 (20)

有了MCP，还需要深入研究Agent吗？|唐霜本文讨论了MCP（大模型与工具连接的通用协议）和Agent技术之间的区别及联系。虽然MCP解决了大模型调用工具的问题，但并未解决理解用户真实意图、规划合理任务、阶段化螺旋式任务执行以及自动执行等问题。相比之下，Agent通过记忆、多轮交流、验证和动态调整等机制来更准确地理解和实现用户目标。文章还提到了MCP与Agent的关系，指出MCP可以提升Agent在工具调用层面的能力，但Agent是一个包含调度系统、执行系统和感知系统的综合体系。此外，文章提到未来可能需要一种新的协议架构来标准化不同厂商Agent之间的交互，并预测随着Agent网络的发展，将形成一个自决策自执行的社会网络。原文链接：有了MCP，还需要深入研究Agent吗？|唐霜我其实并不看好远程办公文章讨论了远程办公的利弊，尤其是在后疫情时代。作者刘润指出，尽管远程办公在疫情期间流行起来，并且有很多明显的好处，比如节省通勤时间、提高某些员工的工作效率等，但它也增加了沟通的成本，减少了团队之间的互动和创造力。因此，许多公司开始取消远程办公模式，要求员工返回办公室工作。文章最后提到，真正的创造力往往来源于人与人之间的频繁互动。原文链接：我其实并不看好远程办公人生的意义是什么？这是我听过最好的答案本文探讨了现代人的焦虑与困境，以及如何从中国传统智慧中找到解药。作者赵昱鲲指出，我们这一代 ...继续阅读 (23)

语录（凭借记忆复述，没有任何公司敏感数据）- 其实很多事情，做的时候不去想过回报，只是相信这是需要去做的，坚持去做，有一天结出的果实，会让我们无比感动。- 很多人都在担心，AI在带来好处的同时，会对人类社会有超越想象的破坏力。而我是一个坚定的人类相信者，我相信在人与机器的竞争中，人类一定是最后的胜利者。你解决不了，一定有人解决得了；我们这代人解决不了，下一代一定有人能解决得了。- 前几年，人跟AlphaGo下围棋的时候，很多人觉得很沮丧，连围棋都下不过机器。其实这很正常，围棋就是为人类设计，因为你会下臭棋，因为你会生气，这才是下棋的乐趣，干嘛要跟机器去比谁下围棋下得好。人类要学会的不是与机器抗争，而是去驾驭好AI，用好AI，把AI变成人类的朋友、伙伴，而不是敌人。- AI是智能，智能是改变世界的工具，而我一直相信，人类拥有机器和动物不具备的，那就是智慧，而智慧是改变智能的思想。智能来自于大脑，而智慧来自于心脏。更何况今天人类对自己大脑的使用还不到7%，明天的AI也许会部分取代或者超越今天人类的智力和很多的能力，但我还是相信无法超越人类的智慧。- 我们应该帮助人类活得更好、活得更久。我们不是去追求让机器像人，而是让机器去理解人类，像人类一样去思考，做人类做不到的事情。我们应该让机器去破解生命的密码，帮助人类战胜疾病，我相信人类的生命，寿命的长度和质量一定会因为AI有巨大的突破，熬过十 ...继续阅读 (12)

破产后的几点建议 - 即刻App这年头，破边的不要太多。破产后的几点建议：1.千万不要睡天桥、大街、网吧、公园2.过夜就去机场大厅，这里不仅有地方睡觉，还供应热水，手机充电甚至连无线网都可以3.睡醒了直接去麦当劳，找个别人喝剩的咖啡杯，然后去前台无限续杯4.中午在附近找一家酒店，很多房间退完房门都是开着的，找个没人的房间就能冲个热水澡5.下午可以去海底捞吃免费的小零食，晚上去盒马超市无限试吃，等服务员将没卖完的面包丢掉时，你就直接打包带走6.肚子饿了就去肯德基吃别人剩下的汉堡薯条可乐鸡块7.洗衣服，直接用酒店自助洗衣服，携程四钻的，都有自助洗衣机，带洗衣液，洗完还有烘干机，晚上一般都没啥人用。原文链接：这年头，破边的不要太多。破产后的几点建议： 1. 千万不要 - 即刻AppHongKongDoll，愚人节露脸了，还蛮可爱的 - 即刻AppHongKongDoll，愚人节露脸了，还蛮可爱的原文链接：HongKongDoll，愚人节露脸了，还蛮可爱的 - 即刻App整理的微信读书上值得反复看的 10 本书 - 即刻App整理的微信读书上值得反复看的10本书原文链接：整理的微信读书上值得反复看的 10 本书 - 即刻AppMCP 终极指南本文详细介绍了MCP（Model Context Protocol，模型上下文协议）的背景、意义以及具体实现。文章指出，尽管AI技术发展迅速，但AI应 ...继续阅读 (11)

MCP的出现，标志着AI从「模型能力竞争」转向「生态协同共建」。它不仅是技术协议，更是一种「连接范式」——通过标准化降低集成成本，通过开源吸引多元参与，最终让AI像水电一样便捷接入各类数据与工具。无论是开发者、企业还是普通用户，MCP都在重塑人与AI、AI与世界的交互方式，其价值将随着智能体生态的爆发持续显现，所以这篇文章打算从MCP来龙去脉和MCP可视化调试两个方面进一步的研究MCP。1. MCP来龙去脉1.1 起源：解决LLM集成碎片化的「AI连接器」需求技术背景：LLM落地的核心痛点2023年前后，随着ChatGPT等大语言模型（LLM）爆发，企业和开发者发现：数据孤岛：LLM需接入本地文件、数据库、云端API等多源数据，但每个数据源接口不同（如SQL、REST API、GraphQL），集成成本高；工具割裂：调用代码补全、支付处理、文档生成等工具需单独开发适配器，且依赖特定厂商（如OpenAI Function Call仅支持自有生态）；厂商锁定：切换LLM供应商（如从GPT-4到Claude）需重新开发整套接口，灵活性差。Anthropic（由OpenAI前员工创立，专注安全AI的公司）意识到，需要一个标准化协议来统一LLM与外部资源的交互方式，类似USB-C统一电子设备接口，这就是MCP的核心设想。核心理念：「连接即标准化」MCP的设计目标不是替代现有API，而是在其上 ...继续阅读 (18)

一、什么是MCPMCP 起源于 2024 年 11 月 25 日 Anthropic 发布的文章：Introducing the Model Context Protocol。MCP 就是以更标准的方式让 LLM Chat 使用不同工具，这样应该更容易理解“中间协议层”的概念了。Anthropic 旨在实现 LLM Tool Call 的标准。MCP （Model Context Protocol，模型上下文协议）定义了应用程序和 AI 模型之间交换上下文信息的方式。这使得开发者能够以一致的方式将各种数据源、工具和功能连接到 AI 模型（一个中间协议层），就像 USB-C 让不同设备能够通过相同的接口连接一样。MCP 的目标是创建一个通用标准，使 AI 应用程序的开发和集成变得更加简单和统一。二、为什么需要MCPMCP 主解决的一个问题是：如何将 AI 模型和我们已有系统集成。在跟 LLM 交互的时候，为了显著提升模型的能力需要提供更结构化的上下文信息，例如提供一些更具体、实时的信息（比如本地文件，数据库，一些网络实时信息等）给模型，这样模型更容易理解真实场景中的问题。想象一下没有 MCP 之前会怎么做？我们会人工从数据库中筛选或者使用工具检索可能需要的信息复制到 prompt 中，随着要解决的问题越来越复杂，人工参与这样的数据交互过程变得越来越难以实现。许多 LLM 如 Open ...继续阅读 (14)

《📖人一旦开了窍，人生就开了挂》书摘 - 即刻App允许一切如其所是，也允许一切事与愿违如果你没有按你真正想要的那种方式去生活,你的灵魂每天都会喊疼成熟的重要标志是拥有翻篇的能力。谁能给你带来最多的平静，谁就应该得到你最多的时间。命运选择给某某好运气,并不一定是他有多优秀,而是他在遇到问题时，没有躲。行动是产生结果的唯一方式,可惜的是,大多数人在“想”的过程中就已经消耗了100%的精力。失败不是成功之母,成功才是成功之母。不要依赖别人灌输给你的想法和观念去生活,不要遵循别人设计好的软件使用习惯去应用,也不要沉迷于通过消费、娱乐来获取多巴胺。我们无法在消极的想法里活出积极的人生,也无法在拧巴的状态中活出通透的人生很多事情做不成,缺的不是时间和机会,而是专心致志。如果道路本身很美，不要问它通往何方。——要做过程热爱、有生命力的事情"累了就躺一躺，不丢人“——雷军老师 68 17原文链接：《📖人一旦开了窍，人生就开了挂》书摘 允许一切如其所是， - 即刻App很多事情确实经历过一遍以后，再经历就很从容了 - 即刻App很多事情确实经历过一遍以后，再经历就很从容了。每一段过往都是成长的养料，我们要努力做的就是尽可能从中汲取足够多的营养。原文链接：很多事情确实经历过一遍以后，再经历就很从容了。每一段过往都是 - 即刻App有个事儿挺有意思的 - 即刻App有个事儿挺有意思的。我们平时走在路上 ...继续阅读 (10)

如何守护少年心气这篇文章探讨了不同年龄段的人在生活和职业中的不同心态。年轻人往往对未来充满憧憬但又感到迷茫，而中年人则通过资源交换来稳固自己的地位，但也可能失去年轻时的激情。文章还提到，毕业后的几年对一个人的职业生涯和气质有着决定性的影响。作者认为，20-24岁是探索世界的年纪，而25-29岁则开始理解社会运作的方式，但可能会失去一些活力。文章最后强调，现实主义的武器（如金钱）对于保护理想主义的理想至关重要。原文链接：如何守护少年心气餐饮大单品门店的时代谢幕了 - 即刻App这篇文章讨论了餐饮企业是否应该从单一品类扩展到多品类的问题。文章通过分析椒爱水煮鱼的案例，指出餐饮企业需要根据经营条件和环境变化来决定是否扩展品类。单一品类在客流充足时有优势，但当客流下降时，扩展品类可以吸引更多顾客。此外，文章还提到除了扩品类外，还需要扩大场景和时段以增加收入。最后，文章强调了企业经营的核心是建立、保持和发挥优势，而不仅仅是品牌和认知的问题。原文链接：餐饮大单品门店的时代谢幕了 两年前，我们开始服务一个专做水 - 即刻App找不到有价值感的理由做一件事，但又觉得这件事确实应该去做 - 即刻App洛怀找不到有价值感的理由做一件事，但又觉得这件事确实应该去做，那就找一些没价值感的理由也可以，对理由放宽再放宽，比如我就是闲的没事干，我就是为了装逼，我就是功利，我就是虚荣心作祟，我就是为了让xxx看到 ...继续阅读 (11)

RAG（Retrieval-Augmented Generation）是一种结合了信息检索（Retrieval）和生成（Generation）技术的方法，主要用于提高文本生成的准确性和丰富度。这个方法基于大规模预训练语言模型（LLM），通过在生成文本的过程中，从外部知识库或文档集中检索相关的信息，再将这些信息整合到生成文本中。RAG的核心组成部分：检索器（Retriever）：功能：在大量的文档或知识库中，找到与输入提示（Prompt）或者问题相关的信息片段。实现：通常使用向量检索技术，如经过训练的双塔模型（双编码器）来表示查询和文档的向量，然后使用最近邻搜索来检索相关文档。生成器（Generator）：功能：基于检索到的信息，生成符合上下文且回答明确的文本。这个过程通常由一个大型预训练语言模型（如GPT-3或T5）完成。实现：接收输入提示和检索到的信息，使用这些信息作为额外的上下文来生成更准确和具体的文本。工作流程：输入提示：用户输入一个提示或者问题。检索步骤：系统使用输入提示来从外部文档集中检索相关的信息。生成步骤：将检索到的信息与输入提示一起输入到生成模型中，由模型生成最终的输出。Generator本质上是prompt template应用，RAG工程实践更多的关注如何搭建Retriever的pipeline，这边文章主要就是讲讲这块的实践。搜索经典的搜索系统从文本、图像和上 ...继续阅读 (12)

100% Unemployment该页面讨论了关于使用机器人军队的法律和道德问题。随着技术的进步，自主武器系统的出现引发了对于战争法则、责任归属以及人工智能决策透明度等方面的担忧。原文链接：hyponymous :: 100% UnemploymentWith AI You Need to Think Much Bigger! |在过去12个月里，作者发现自己不再害怕项目过大、过于复杂，或者担心项目使用自己不熟悉的编程语言或技术。以前由于需要大量研究和技术挑战而放弃的项目，现在借助于更好的工具和AI的帮助变得容易得多。例如，他重新尝试了一个14年前的填充水平传感器项目，在短短两小时内就完成了原来需要六周时间的工作。这使他意识到，有了当前的技术支持，许多以前看似不可能完成的任务现在都变得可行了。他感到兴奋，并开始重新考虑那些曾经认为太复杂或超出能力范围的业余项目。原文链接：With AI You Need to Think Much Bigger! |聊到为什么现在人好像没完没了地追求“成长”洛怀和k聊天，聊到为什么现在人好像没完没了地追求“成长”，这是不是一种病。但我想了想，其实很多时候也不是人主观上要成长，而是你只要做事，持续做事，就一定会遭到社会的毒打，你被打了你悟了你就会成长。一个人如果不成长，只有可能是他没在做事，或者没做什么新的事。成长只是做事的副产品，谈不上追求不追求的 ...继续阅读 (8)

至少有两种时间交换模式：「线性交换」和「复利交换」至少有两种时间交换模式：「线性交换」和「复利交换」线性时间交换: 价值 = 时间 × 时薪复利时间交换: 价值 = (1+r)^时间前者，无论你多么聪明、多么高效、多么专业，只要你的价值创造依然与你的「在场」紧密绑定，你就仍然被困在一个严格的价值上限之内。即使笼子镀了金，那仍然是笼子。后者，是一种你不必亲自在场，价值仍能持续产生的关系，是任何能将你的智力、创造力与时间解耦的方式。这不仅是一个经济问题，更是一个存在问题。当我们将有限的生命转化为可以脱离在场而持续产生价值时，在某种程度上实现了对死亡的超越。我们的思想、创造和影响可以在我们离开后继续存在，继续创造价值。热门评论第一种是时间换钱，比如出租车司机、快递员、职场程序员、职场管理者、餐厅服务员等。第二种是资产生钱，比如土地公、投资人、有 IP 的内容创作者、有用户持续付费的产品人等。或许 AI 最大的价值，是让越来越多的人，可以从以时间换钱的生存模式，进化到开始创造属于自己的资产，以资产生钱的模式来生存。原文链接：至少有两种时间交换模式：「线性交换」和「复利交换」再给“行业共识”破盆冷水：我不认可 agent 这个方向再给“行业共识”破盆冷水：我不认可 agent 这个方向，反而 copilot 的 in-context 交互是更重要的。我不认可 agent 这个方向。逻辑上大家 ...继续阅读 (11)

经过了前面一系列关于DeepSeek的研究：关于DeepSeek我是怎么研究的(1)：通识RLM推理模型；关于DeepSeek我是怎么研究的(2)：了解推理模型背后的模仿人类的背景知识，system 1 & system 2 thinking；关于DeepSeek我是怎么研究的(3)：RLM推理机制的详细拆解；关于DeepSeek我是怎么研究的(4)：DeepSeek-V3模型的详细分析；DeepSeek模型的研究系列也接近尾声，不过DeepSeek系列还是会继续写下去，后续更新计划会围绕DeepSeek Day上开源项目展开。相比V3模型R1就相对简单很多，这篇文章我打算研究一下DeepSeek-R1模型：R1模型背景大型语言模型（LLMs）近年来发展迅速逐渐接近人工通用智能（AGI）。后训练阶段是整个训练流程中的一个重要组成部分，它可以提高模型在推理任务上的准确度，使其与社会价值观保持一致，并适应用户偏好，而且与预训练相比，它所需的计算资源相对较少。OpenAI的o1系列模型通过增加推理链（Chain-of-Thought, CoT）的长度，即推理过程，实现了推理时间的扩展，从而在数学、编程和科学推理等任务上取得了显著的进步。然而，有效的测试时间扩展仍然是研究界面临的一个开放性问题。R1模型概述DeepSeek-R1-ZeroDeepSeek-R1-Zero是一个基础模型，通过 ...继续阅读 (14)

我相见恨晚的 50 个清洁好物kg-card-begin: htmlitemsDetailsby即刻date2025-03-04 13:47:08source我相见恨晚的 50 个清洁好物kg-card-end: html原文链接：我相见恨晚的 50 个清洁好物 电器 1. 小米 除湿机 - 即刻App和曾经的朋友渐行渐远怎么办？ 其实，我们人生中遇到的大多数kg-card-begin: htmlitemsDetailsby即刻date2025-03-04 13:51:03source和曾经的朋友渐行渐远怎么办？kg-card-end: html和曾经的朋友渐行渐远怎么办？其实，我们人生中遇到的大多数朋友，最终的结局就是渐行渐远。有些是因为物理距离的改变：毕业了、换工作了、又去读书了，大家逐渐四散到不同城市。有些是因为人生阶段的不同：陷入热恋的、结婚的、尤其是生娃的朋友，生活和话题都逐渐不再重叠。还有一些是因为成长速度的差距：你突然觉得，以前很聊得来的朋友，渐渐没话题了。这些都是很常见，很自然，也很正常的。如果把人生比作一个游戏，那么这个游戏最初会有很长一段时间，大家是在一个playground上玩的。在这个大广场上，你会遇到很多不同的朋友，其中要好的会经常跟你在这个广场上碰面一起玩。但花无百日红，这个游戏的下一环，就是要离开这个广场，踏上自己的旅程。有些朋友会在各自踏上旅程的时候 ...继续阅读 (9)

AI Agent 作为2025年的绝对的技术风口，程序员比较关心的是如何开发 AI Agent，Agent 本质上是基于大型语言模型（LLM）的应用程序，所以这个问题本质上就是程序员如何基于大语言模型开发应用。LangChain 是一个开源框架，用于构建基于大型语言模型（LLM）的应用程序，LangChain 提供各种工具和抽象，以提高模型生成的信息的定制性、准确性和相关性。例如，开发人员可以使用 LangChain 组件来构建新的提示链或自定义现有模板。LangChain 还包括一些组件，可让 LLM 无需重新训练即可访问新的数据集。架构设计领域有个比较流行的术语——乐高架构，当然也可以叫可插拔架构。说白了就是通过对系统基本组件的合理抽象，找到构造复杂系统的统一规律和可达路径，从而实现在降低系统实现复杂度的同时，提升系统整体的扩展性。LangChain 实际上也遵循了乐高架构的思想。当然，作为最关键的乐高组件之一，LLM 的能力自然是我们优先了解的对象，那我们就从 Qwen 的 API 开始吧！初步封装--SDK使用 LangChain community 集成包来进行 Qwen 调用可以大大降低代码的开发成本。代码示例参考：# %pip install langchain langchain-core langchain-community from langchain_com ...继续阅读 (11)

经历了3篇长文的先验知识的准备：关于DeepSeek我是怎么研究的(1)：通识RLM推理模型；关于DeepSeek我是怎么研究的(2)：了解推理模型背后的模仿人类的背景知识，system 1 & system 2 thinking；关于DeepSeek我是怎么研究的(3)：RLM推理机制的详细拆解；终于来到正主DeepSeek了。DeepSeek能够引起轰动甚至能把OpenAI等领跑者吓出一身冷汗，除了它的模型性能、成本优势之外，我个人更多的觉得是它的毫无保留和开源贡献，这让绝大多数没有足够资金支持的学术机构、中小企业看到了自己拥有自己大模型的可能性且有非常高的性价比。同时DeepSeek的论文事无巨细，毫无保留一步一步的介绍了自己的如何训练DeepSeek的，这样的开源精神远远超越了OpenAI论文中暧昧与含糊其辞。2024年春节期间引起全员关注的DeepSeek主要有两个模型：DeepSeek-V3以及DeepSeek-R1，这两个模型均有对应的论文、测试数据、开源模型等原始资料可以支撑。这篇文章我先来研究一下DeepSeek-V3模型：DeepSeek-V3 架构DeepSeek-V3 基于 Transformer 框架，采用 MLA 和 DeepSeekMoE 架构。MLA 通过低秩联合压缩注意力键和值，减少推理过程中的 KV 缓存。DeepSeekMoE 使用更细粒度的专 ...继续阅读 (11)

The Snowflake Method For Designing A Novelkg-card-begin: htmlitemsDetailsbyAdvanced Fiction Writingdate2025-02-25T15:06:32+08:00sourceThe Snowflake Method For Designing A Novelkg-card-end: htmlThis page introduces the Snowflake Method, a structured approach to writing a novel. Developed by Randy Ingermanson, who has published multiple novels and won awards, this method involves 10 steps that help writers design and organize their stories, from a one-sentence summary to detailed character charts and scene lists. The method is flexible and can be used for planning a new novel, revising a draft, ...继续阅读 (11)

先看一个DeepSeek算24点游戏的例子：跟准备数学考试一样，这道题的结果不重要，重要是学习思考过程，这样下次再碰到类似的问题我们才能自己解决问题。那么看看DeepSeek是怎么思考的：可以看出来DeepSeek在生成最后答案之前经过了40秒的思考，按照问题的规则约束一步一步的思考、试错，最终得出答案，这个过程就是今天我要介绍的RLM的推理机制（Reasoning Schema）。首先回顾一下关于DeepSeek我是怎么研究的-1中RLM的架构，看看推理机制在RLM中处于什么位置（蓝色框）：推理机制（Reasoning Schema）是推理语言模型（Reasoning Language Models，简称RLMs）的核心组成部分，它定义了推理过程的结构和策略。推理机制决定了模型如何组织和推进推理步骤，以逐步解决复杂问题。推理机制的定义推理机制（Reasoning Schema）是指在RLMs中用于组织和推进推理过程的一套规则和策略。它包括以下几个关键部分：推理结构（Reasoning Structure）：定义了推理步骤如何组织和连接，形成一个整体的推理路径。推理策略（Reasoning Strategy）：定义了推理结构如何演变和扩展，以探索可能的解决方案。推理操作（Reasoning Operators）：定义了在推理过程中可以执行的具体操作，如生成新的推理步骤、评估现有步骤 ...继续阅读 (11)

书接上回：关于DeepSeek我是怎么研究的(1)，继续我的DeepSeek研究之旅。这次主要是研究清楚出 DeepSeek 在它的论文中提到的 System 1 Thinking 和 System 2 Thinking，这个概念其实源自于诺贝尔经济学奖得主丹尼尔·卡尼曼（Daniel Kahnemann），他最著名的研究是关于人类决策以及影响我们决策过程的各种缺陷/偏见。在他的《思考，快与慢》这本书中有详细研究和说明了这个概念：System 1： 快速、自动、直观且情感化，这是我们的大脑默认运行的系统；System 2： 缓慢、费力、逻辑严谨且深思熟虑，我们必须有意激活这个系统，使用这个系统需要很多努力，所以我们不能将其作为默认选项；System 1 经常会影响 System 2 的分析，例如我们的分析（System 2）经常会根据符合我们最初概念/直觉（System 1）的精选例子构建叙述，这就是为什么 DeepSeek 会研究用 RL、MoE 等方法来优化模型，这是帮助抵消 System 1 Thinking 对模型决策产生的部分潜在影响；P.S.：当我发现诺贝尔经济学奖关于人的研究居然应用到了 AI 领域之后，我有点反应过来大模型已经从表层的模仿人类向深层的学习人类过渡了，或许很快就会找到《超验骇客 Transcendence》中的奇异点 Technological Sin ...继续阅读 (11)

DeepSeek 从春节前开始进入大众的视线，一个月之前我连幻方量化这个名字都没有听说过，但是它如今的火爆程度甚至上升到国与国之间的竞争，这其中除了技术探讨更多的是带着立场的营销文章，乱花渐入迷人眼，国内关于 DeepSeek 的讨论已经脱离了理性只有吹捧和政治正确。我觉得这是一个很好的锻炼机会，面对纷繁复杂的数据信息、舆论立场，我如何通过理性的思考建立自己对 DeepSeek 的认知，通过此次实践进一步总结形成自己不被外部影响的认知思路和方法，这才是更有意义的。研究一个东西我自己有一个习惯：找到最源头的信息，回到怎么建立对 DeepSeek 的认知这个问题上，我打算抛开所有大 V 的文章、解读、总结演绎过的内容，回到 DeepSeek 最原始的信息 —— DeepSeek开源的论文和报告。关于 DeepSeek 的研究我打算分成几个部分：RLM推理言语模型是什么对比 System 1 thinking 和 System 2 thinking推理框架Reasoning Schema是什么DeepSeek V3 的技术架构与研究成果是什么DeepSeek R1 的用了哪些技术和研究方法DeepSeek 技术原创性分析以及给我们的启发所以这会是一个系列文章，Stay Tuned。RLMReasoning Language Model (RLM) 可以定义为一种结合了大型语言模型（LLM ...继续阅读 (12)

...继续阅读 (17)

按语偶然间从自习室 STUDY ROOM 的一期播客中知道了一本书《异类》（英文名是 Outlier），作者是马尔科姆・格拉德威尔，作者作为播客界的绝对的 OG，他是懂得怎么讲故事的，虽然源自这本书的「一万小时定律」备受争议，但是不可忽视的是这本书用大量的故事为读者展现了努力、天赋与成功之间的关系。24年初的时候我也思考过关于努力和天赋的问题，今天对于这个问题有了一些更新。祛魅祛魅 disenchantment，源自马克斯·韦伯借用弗里德里希·席勒的理论来描述现代化、官僚化的世俗西方社会，在这种社会中自然理解能力比信仰更有价值、过程都以合理的目标为方向，与韦伯所说的“这个世界上遗留着好的迷人的花园”的传统社会相对立。“祛魅”和“复魅”的概念，在西方后现代哲学著作中使用的比较多，但学术界没有公认准确的定义。“祛魅”有時也稱為“除魅”，是指剥去附着在事物表面上的那层虚假的东西，即“魅”；“复魅”有时也译为“返魅”，是主张返回事物的自然状态，恢复事物的本来面貌。去蔽当学习一物时，亦即看清一物时，我们能得到它的「真理」。此真理不是前设的，不是带有预先立场的。海德格尔认为，真理的意义为「去蔽」。真理的希腊文是 λθεια (aletheia)，字是希腊文中的否定前缀（如同英文中的 un, dis, in, im），∧θη 是遮蔽，那就是「去除遮蔽」的意思。那就是说，真理的意义就是扫开遮蔽，让 ...继续阅读 (11)

陆陆续续一年一度的年终总结开始了，今年看到有不少人在揶揄所谓的年终总结：「总结毫无意义，没完成的事忘记吧，完成的你已经收益」，「平时养成日记或者笔记的习惯，要什么总结」。不过，我还是觉得自己在写年终总结的时候，实际是在与这一年的自己进行对话，除了简单的清点与记录，更是一种自我认知的形式，不仅帮助我反思事情本身，而且会帮我看到自己的变化与成长，说到底年终总结的本质是我自己对抗时间无常的一种手段。今年还是老规矩依旧通过Kepano的40个问题进行总结回顾，另外今年的年终总结我还想做一点变化，因为「其实读者们并不关心我的2024是什么样的，或者说我的2024对读者而言无非是茶余饭后的消遣没有什么价值」，于是我想着在自我总结和反思之前，先列一个2024年度清单，把我觉得所有2024年碰到值得列出来的东西都列举上，希望这个2024年度清楚对读者们有用。最后，如果你对2024的40个问题部分感兴趣或者有共情，欢迎你也跟我讲讲你的故事和思考。2024年度清单OpenCat，在用的 AI Clientsnippaste，在用的截图软件滴答清单&TickTick;，在用的日程任务管理工具Itsycal，在用的日历工具松烟阁，我的个人网站memos，我的 fleeting ideas 网站personal assistant，我开发的 AI-powered 插件工具follow，在用的 RSS 订阅K ...继续阅读 (12)

我在 Obsidian 中管理 Newsletter 特别是文章发布之前经常需要花很长的时间在网络上搜索与文章主题匹配的图片作为文章的 featured image，同时还需要考虑版权、匹配度等等问题，如果 AI 能自动帮我完成这件事情那就太好了，顺着这个思路我发现 wordpress 已经支持类似的功能了，唯一的缺点就是得花钱🤪。于是我就想着在 personal assistant 插件中支持这个功能，这篇文章就介绍一下我是怎么在 Obsidian 插件中设计和构建这个能力的。方案设计基于众所周知的原因，ChatGPT、Claude、Stable Diffusion、DALL-E 这些最优秀的 AI 服务，在国内基本上是没发正常访问的，所以目标对象肯定是国内可用的大模型服务，同一个大模型服务既要支持文本生成，又要支持图片生成，通义千问服务可能唯一能满足我要求的了。我想这在公有云领域，这就是所谓的「Vendor Lock-in」。personal assistant 基于通义千问大模型的 featured image 生成的工作流程如下：完成文档的编辑根据文档内容生成能够匹配文档内容的图片描述根据图片描述生成图片艺术风格、技术参数、图片描述等内容根据图片提示词生成图片下载图片到本地并在 Obsidian 展示效果演示使用 AI 生成 featured image 的步骤：需要在 O ...继续阅读 (12)

作为人类，我们可以阅读并理解文本（至少可以理解一部分），然而计算机“用数字思考”，因此它们无法自动理解单词和句子的含义。如果我们要让计算机理解自然语言，就需要将这些信息转换成计算机可以处理的格式——数字向量。这篇文章就研究一下科学家是如何一步一步让计算机理解和认识人类的语言的。人们早在多年前就学会了如何将文本转换为机器可理解的格式（最早的版本之一是ASCII）。这种方法有助于渲染和传输文本，但并不编码单词的意义。当时，标准的搜索技术是关键词搜索，即仅查找包含特定单词或N元语法的所有文档。然后，在几十年后，嵌入式表示（embeddings）出现了。我们可以计算单词、句子甚至图像的嵌入式表示。嵌入式表示也是数字向量，但它们能够捕捉意义。因此，你可以使用它们进行语义搜索，甚至处理不同语言的文档。词袋模型 bag of words将文本转换为向量的最基本方法是词袋模型。让我们以理查德·P·费曼的一句名言为例：“我们很幸运生活在一个我们仍在不断发现的时代”。我们将使用这句话来说明词袋模型的方法。获得词袋向量的第一步是将文本拆分为单词（标记），然后将单词还原为其基本形式。例如，“running”将转换为“run”。这个过程称为词干提取（stemming，即将文本拆分为单词并进行词干提取）。如下代码所示，用 NLTK 实现词袋模型：from nltk.stem import SnowballSt ...继续阅读 (13)

Vector embeddings are a method to convert non-structured data, such as text, images, and videos, into numerical representations that capture their meanings and relationships. This allows computers, which only understand numbers, to process and interpret these data more effectively. Embeddings are crucial for tasks like semantic similarity and are used in various AI models, including LLMs, RAG, and multimodal processing.vector embeddings 的感性理解vector embeddings 的出现最本质的原因是科学家为了解决一个问题 —— 让只认识0、1数字，只会做逻辑运算和浮点运算的计算机，能够理解人类语言、文字、图像、视频等数据包含的语义以及它们之间的关系。例如，「泰迪」、「狗」、「犬」、「哺乳动物」这几个单词在不同的上下文中其实是同一个意思，即一种四足 ...继续阅读 (13)

随着 LLM 技术的兴起，日常工作会频繁的碰到 LLM/AI 相关的技术和项目，我所在的 OS Security Team 会研究 AI for System & System for AI 这两个领域，这就被迫需要补充学习 LLM/AI 相关的知识。吴恩达的书《How to Build Your Career in AI》，解决了很多学习 LLM/AI 的疑惑，例如：LLM/AI 的学习路线的规划是什么样的成为 LLM/AI 工程师我需要学那些东西我要学多少数学才能成为一名 LLM/AI 工程师……这篇文章想分享了吴恩达给予我在学习 AI 这条路上的一些启发和思考。AI 学习的关键领域现如今已经发表的关于 AI 研究的论文，任何人一生能不可能读完。因此在学习时，选择主题至关重要。机器学习基础技能理解线性回归、逻辑回归、神经网络、决策树、聚类和异常检测等模型很重要。除了特定的模型之外，理解机器学习工作原理的核心概念更为重要，如偏差/方差、成本函数、正则化、优化算法和误差分析。深度学习深度学习已经是机器学习中非常重要的一部分，以至于没有一定的理解就很难在这个领域取得优异成绩！了解神经网络的基础知识、使它们发挥作用的实际技能（如超参数调整）、卷积网络、序列模型和 transformers 是非常有价值的。与机器学习相关的数学线性代数（向量、矩阵及其各种操作）以及概率和统计（包括离散和连 ...继续阅读 (12)

近期阿里云双十一活动 RDS 99/年，非常有性价比，于是我就买了一个香港区的 MySQL RDS 用做我的 Memos数据服务。这就不可避免的碰到了数据库迁移的问题，即需要将 SQLite 数据库迁移到 MySQL，这种生产环境的数据库迁移一般都非常谨慎，需要严格 SQL 开发和验证，需要花费不少的时间。由于 SQLite 文件有备份，刚刚购买的 MySQL 资源充足，心血来潮之下想玩一波大的 —— 试试 AI 来帮我完成生产数据库的迁移工作。我完成这些事情是 prompt tune 的思路，主要包括：找到当前版本 memos 的库表创建的 sql 文件；创建测试用的本地 mysql 数据库服务；prompt 进行提示词问询，生成 python 迁移工具；执行迁移测试，收集脚本报错以及数据库表问题；根据测试发现的问题，进行 prompt tuning，生成新的 python 迁移工具；根据第1步的 sql 文件完成库表创建，然后执行 python 迁移工具完成生产数据库的迁移；前期准备查找库表创建 SQL 文件这里主要是确认当前生产数据创建了哪些库表，有两种方法：去 SQLite 数据库文件中通过 SQL 命令查询：show create table ${table name}去 memos sql 文件中查找，edonyzpc/memos/store/migration/sql ...继续阅读 (12)

双十一了，好物清单、什么值得买之类的内容铺天盖地，到底我们在消费的时候受到哪些东西影响，我觉得需要研究一下消费决策模型。根据恩格尔（Engel）等提出的 EBK 模型可以看出消费时原来是这么样复杂，哪怕买瓶水、买个包子都无形中被这么多因素影响着。为了自己的钱包，我觉得很有必要建立属于自己的消费决策模型。消费是如何产生的根据 EKB 模型，消费决策是由五步构成的：1. 认识问题当人们认为理想与实际之间有差距时，便产生了问题，问题产生后则整个系统（内外）便开始运作，目标也化成了具体的行动。例如：工作了半天感觉肚子饿了，继续饿着就没力气干活了，看来需要找点吃的了。2. 收集信息当人们发现了问题的存在，便会去搜寻相关的信息，信息搜寻又可分为内部搜寻与外部搜寻两种，所谓内部搜寻是指在其现有资料或过去的购买经验中去寻找。当内部搜寻无法满足其需要时，便会转由外部寻找，所谓的外部搜寻诸如大众传播媒体、行销人员及亲友等。例如：上次朋友推荐说办公室楼下的面条，赶紧去尝尝解决一下饿肚子问题；办公的地点人生地不熟的，不知道去哪里找吃的，群里问问有没有人知道或者直接美团上搜搜看；3. 评估方案收集到信息之后就需要判断一下哪个更好，哪个跟适合。例如：面馆人太多了，要排队等很久，包子铺人少而且味道不错；不行，最近工作太幸苦了，需要好好补补，奢侈一下买份豪华牛排套餐犒劳一下自己；......4. 选择执行当评估了 ...继续阅读 (11)

真诚的人从不公开表达自己的情感，真正的情感总是蒙了一层面纱。只有虚伪的人才用情感作秀，为了给大家看他们有多敏感。kg-card-begin: html—— 安德烈·塔可夫斯基《时光中的时光》kg-card-end: html我本性不善言辞，却忙于人际周旋；我本喜欢独处，却被生活推着奔波前行。而所做的一切，都是为了得到那解万千惆怅的碎银几两。原来，这个世界不允许我们内向。大家只在意结果，没人关心你独撑的过程。时常心累，却只能一笑而过。有些伤痛，何可言、何能言、何处言；有些经历，不可说、不能说、不必说。沉默并非无话可说，只是难以启齿，一言难尽。kg-card-begin: html—— 贾平凹《自在独行》kg-card-end: html人们总是把幸福解读为：“有”有房，有车，有钱，有权，但幸福其实是“无”，无忧，无虑，无病，无灾，“有”多半是给别人看的，“无”才是你自己的。kg-card-begin: html—— 稻盛和夫kg-card-end: html你所有的压力，都是因为你太想要了，你所有的痛苦，都是因为你太较真了。有些事不能尽你心意，就在提醒你该转弯了。如果事事都是如意，那就不叫生活了，所以睡前原谅一切，醒来不问过往，珍惜所有的不期而遇，看淡所有的不辞而别。人生，一站有一站的风景，一岁有一岁的味道，你的年龄应该成为你生命的勋章而不是你伤感的理由。生活嘛，慢慢来，你又不差。k ...继续阅读 (11)