从 DeepSeek V3/R1 开始关注 DeepSeek 工作的人很容易认为 DeepSeek 大量的工作都是在工程上优化效率，但是回看 DeepSeek 过去一年的论文才会发现他们其实一直在模型架构和训练方法上做各种创新，而 V3 和 R1 只是在之前架构创新的基础上进行 Scale。DeepSeek MoE 这篇论文就介绍了 DeepSeek 在 MoE 架构上的主要创新，现在看上去也很有希望成为未来 MoE 架构的标准。MoE vs Dense先说一下 MoE 和传统的 Dense 架构的区别。早期的 LLM 基本都是 Dense 架构，也就是每生成一个 Token 需要激活所有的神经元参与计算，这种方式其实和人脑的思考方式是有很大区别的，人脑是不会任何问题都需要调动所有脑细胞的，如果这样的话人早就累死了。所以很自然的一个想法就是生成 Token 的时候不要再激活所有的神经元了，每次只激活和当前任务最相关的神经元，于是就有了 MoE(Mixture of Experts) 架构，把 LLM 里每一层的神经元分割成 N 个 Expert，通过 Router 去选择 K 个最相关的 Expert 激活。这个架构的好处就是在推理的时候不需要激活所有的神经元，计算量会大幅下降。在 DeepSeek MoE 前最常见的 8 选 2 模式下计算量可以下降到接近 Dense ...继续阅读 (1)

最近找到了 DeepSeek 发表过的论文合集，包含了从 DeepSeek 第一版的 LLM 到最新的 R1 的演变过程。从当下的角度我们当然知道 DeepSeek R1 在模型能力上已经接近了业界最领先的水平，但他是如何一步步从一个在中国一开始都没有被重视的量化公司走到这里的其实更吸引我的注意。这个系列的博客我会从论文阅读的角度，试图去寻找他们一步步探索的轨迹，从论文的路径上来看就是 DeepSeek LLM -> DeepSeek MoE -> DeepSeek V2 -> DeepSeek V3 -> DeepSeek R1。在整理论文时我才发现，DeepSeek 第一篇对外发布的论文是在 2024 年的 1 月，当时他们刚发布第一版模型，即使在 AI 行业内也不被认为是个主要竞争者。然而仅仅一年后的 2025 年 1 月，就已经进化到了 R1 这种业界领先水平。都说 AI 一天，人间一年，但是当真看到人间一年的进展时，还是深深的被 DeepSeek 的速度所震撼。背景DeepSeek LLM 是 DeepSeek 开源的第一个 LLM，当时开源 LLM 里最受关注的是 LLaMA-2，很多模型也是基于它的架构和基础进行的。现在从后视的角度我们知道 DeepSeek 最终选择了和 LLaMA 这类 Dense 架构不同的 MoE 架构，但是在当时第一版的时候还是基本上照搬了 ...继续阅读 (1)

DeepSeek 第一次出名是因为 DeepSeek V2 做到了一百万 Token 只要 0.14 美元。同期的 GPT-4 是 30 美元，当时被认为极具性价比的 GPT-3.5 也要 1.5 美元。这个突破性价格的出现在国内引发了一轮价格战，大批大厂模型大幅降价甚至免费。然而和其他大厂烧钱补贴的逻辑不同，DeepSeek 是通过一系列的技术创新实现了成本数量级的下降。这篇文章就来介绍一下这背后最关键的一个技术创新 —— MLA(Multi-Head Latent Attention)。MLA 最本质的数学技巧并不复杂，论文里也是一段话就说完了，看完让人感叹竟然还有如此精妙的解法。但是由于和整个 Transformer 架构耦合会导致理解起来有些困难，我这里会尽量简化描述，哪怕你之前完全不了解 Transformer 应该也可以领会到这个方法的精妙。当然还是需要有一些线性代数的基础，如果你还记的一个形状为 5*4 的矩阵乘形状为 4*3 的矩阵，结果是一个形状为 5 * 3 的矩阵就可以继续了。KVCache大模型推理的成本的瓶颈在哪里？答案可能会出乎意料 —— 是显存。显卡有大量计算单元，而推理任务又是线性的一次只能出一个 Token，为了充分利用显卡的计算资源达到最大的吞吐，一般会同时运行尽可能多的生成任务。而每个任务在推理过程中都会占用大量显存，如果想运行尽可能多的任务就 ...继续阅读 (1)

时隔两个月，字节模型遭攻击事件又有新后续。今年10月份，字节商业化内部模型商业化内部模型训练遭实习生攻击一事闹得满城风雨，后这位名为田柯宇的实习生便被开除并被要求赔偿字节的侵权损失800万元及合理支出2万元。本以为这个瓜会以字节的“雷霆手段”告一段落，没想到就在刚刚，事件迎来了大扭转。田柯宇和字节合作的论文竟然被人工智能顶级会议 NIPS 被评为了 Best Paper。网友们也是纷纷下场吃瓜：有人感叹：有点小说那意思了，昨日的我你爱答不理，今日的我你高攀不起。也有人劝字节及时止损，抓紧请“老师”回家。更有人支持田柯宇直接下场创业。不过也不乏理智的网友：优秀永远也不能成为作恶的通行证。字节「雷霆手段」始末两个多月前，网上流传出一则消息，“字节大模型训练被实习生入侵，注入了破坏代码，导致其训练成果不可靠，可能需要重新训练。据称遭到入侵的代码注入了8000多张卡，带来的损失可能超过千万美元。”10月19日，官方发布公告对这件事进行了澄清，确有商业化技术团队实习生发生严重违纪行为，涉事实习生已于2024年8月被公司辞退，并将其行为同步给行业联盟和所在学校，交由校方处理。紧接着11月5日，字节还专门发布了面向内部全员的《企业纪律与职业道德委员会通报》，对这件事件进行了更详细地披露。通报提到，2024年6月至7月，集团商业产品与技术部门前实习员工田某某，因对团队资源分配不满，通过编写、篡改代 ...继续阅读 (25)

36氪获悉，10月28日~11月1日，多媒体会议ACM Multimedia（ACMMM）2024 在澳大利亚墨尔本成功召开。明略科技集团多模态团队与北京大学共同完成的最新研究成果《Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding》在众多论文中脱颖而出，荣获最佳论文提名（Best paper nomination）。 ...继续阅读 (26)

...继续阅读 (18)

...继续阅读 (17)

有小伙伴留言说想在 Linux 系统上搭建 Minecraft 服务。其实搭建 Minecraft 服务很简单，装对应版本 Java，使用命令启动核心文件即可。简单整理一下搭建步骤，有需要的小伙伴可参考一下~版本对应本教程以最常用核心 Paper 为例，下面是版本的对应列表：Paper VersionRecommended Java Version1.8 to 1.11Java 81.12 to 1.16.4Java 111.16.5Java 161.17.1-1.18.1+Java 17资源下载下面教程以最新版本 Paper-317 作为演示，下载地址开始架设317 对应 1.18.2 版本，需使用 Java 17：123wgethttps://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gztar-zxf jdk-17_linux-x64_bin.tar.gzmvjdk-17.0.3.1/usr/local/java将下载好的 Paper 上传到服务器中，这里以/opt/mc/为例。其中-Xms2G和-Xmx2G为内存限制，根据实际情况修改：12cd/opt/mc/usr/local/java/bin/java-Xms2G -Xmx2G -jar paper.jar--nogui第一次启动时，Paper ...继续阅读 (10)

...继续阅读 (27)

Kindle 就是个泡面盖不知道有多少朋友当年买了 Kindle 之后这样干过，虽然当时不舍得也没想到 Kindle 的这项隐藏技能，但也的确没怎么用过。它出现最多的地方，就是和朋友聊天时炫耀：这个我有啊，还是白色的。墨水屏阅读器大家都不陌生，但也不常见，在地铁、公交上偶尔碰到一个拿着墨水屏看书的路人，旁边的乘客大概率都会多看他两眼。这就是墨水屏当下最真实的写照，一边为「护眼」「耐用」「不被打扰」叫好，一边在它头上画了一个大大的问号「这能拿来干嘛？」，买的人甚少。但有一个牌子不信命，不仅在这个小众赛道上摸索了 10 年，还接连推出新品，甚至一台比一台贵，上个月刚刚发布的 reMarkable Paper Pro 起售价 579 美元（约合人民币 4059 元）。所以，一台阉割了大部分功能、性能和配置的「黑白平板」，凭什么敢卖得比真平板还贵？代替纸笔，成为纸笔墨水屏阅读器自诞生以来，就注定了它没法让多数人为其掏腰包，因为优缺点过于明显。喜欢它的人会说，功能越少干扰越小，沉浸式阅读的快乐，你体会不到；讨厌它的人会说，明明同样的价钱，能买更全能、更好用的平板，为啥要花这个冤枉钱。阅读是墨水屏最核心的功能，甚至是早期产品上的仅有功能：光线经过屏幕的漫反射变得柔和，接近真实纸张的效果，对眼睛比较友好；显示屏上的内容只有专注的黑白，没有花哨的色彩；界面切换反应迟钝，光是翻到下一页文字都得等待片 ...继续阅读 (36)

...继续阅读 (23)

Paper 这款纯文本的极简主题得到不少同学的喜爱，应部分同学的要求对主题进行了更新。主要增加独立的“搜索模板”，并对多处负空间进行调整，增加文字呼吸的空间。还修正了”文章归档“模板的一处错误，可针对性更新。主要更新内容：- 增加独立“搜索模板”- 菜单及部分代码调整- CSS 样式移至 style.css 文件- 优化多处负空间距离- 优化评论框样式- 修复文章归档模板错误新版本请从主题发布页面获取 Github 链接：WordPress 版本｜Typecho 版本 ...继续阅读 (15)

Meule是一家位于韩国首尔的极简主义餐厅，由yellow paper设计。Meule的灵感来自克劳德·莫奈著名的“干草堆”系列（1890-91 年）。“Meule”这个名字在法语中是干草堆的意思，它概括了餐厅的精髓，这里的时令食物反映了时间的流逝，就像莫奈的画作一样。Meule 的内部空间由两根柱子界定，代表莫奈系列中的干草堆，由彩色不锈钢制成。长长的公共桌子是中心装饰，邀请客人聚集在一起分享美食。传统的韩国韩纸环绕着空间，捕捉了莫奈作品中描绘的色彩和光线的微妙变化。 这种漆面韩纸采用天然材料和传统技术制成，可以改变一天的氛围，反映出“干草堆”画作中自然光的微妙变化。韩纸独特的质地和香味进一步增强了餐厅的氛围。 隐藏内容此处内容需要权限查看普通用户用户购买价格：10L币会员用户购买价格：免费永久会员用户购买价格：免费推荐购买本内容会员免费查看 ...继续阅读 (34)

I was trying to implementALBEFbymyselffor practice. After finishing all the parts (Vision part, BERT part, including Masked Language Model), I trained the model on COCO-Captions/SBU-Captions/CC3M/CC12Mdataset (actually more data than the original paper). But the result is quite weird. An old steam train was recognised as a building, and a few fish were recognised as statues.To solve these weird mistakes, I reviewed the code many times and finally noticed a sentence in the paper:Although it’s just a normal sentence in the paper, the augmentation could improve the ALBEF model significantly ...继续阅读 (40)

...继续阅读 (52)

作者：Hcamael@知道创宇404实验室原文链接：https://paper.seebug.org/3060/对CVE-2024-3094漏洞的分析文章网上已经有好 ...继续阅读 (34)

我在考虑是不是要为了更好的阅读记笔记而购买一块平板。目前主要考虑的范围有 iPad 和华为的 MatePad 2023 柔光版，考虑 iPad 的因素，是因为苹果的生态比较好，在 PDF 阅读方面，有很多软件应用适配，但是 iPad 比较贵，这是大家都知道的，而且找不到近乎完美的 iPad，要么就是性能尚可，但没有全面屏，要么就是有全面屏，性能挤牙膏，要么就是存储太小，没有全贴合屏幕，慢充很慢，总之要说出其缺点来，能说出一大堆，而华为的平板有几个优点比较好，一个是有柔光屏幕，适合阅读写作，另一个就是有 PC 级的 WPS 和 Cajviewer 可以用，对论文党来说，实在是好处颇多，不过刚才又发现了一个新赛道——电纸书。我现在用的 Mac Mini 虽然体积很小，但是外置显示器很大，要带来带去不方便，所以考虑弄一个移动产品，但是笔记本，尤其是苹果的本子都很贵，配置低，不值得，Windows 的系统都很难看，不太好用，在阅读方面，大屏当然是好的，小屏也不是不能，主要是依靠电纸书本身自带的重排技术以及软件自带的重排功能——多看阅读在这方面的贡献奇大。看了很多电纸书，目前比较中意的也是华为 MatePad 出品的 Paper，大小和平板一般，不过其价格和自家某些平板也差不多，拿来和柔光版的 MatePad 相比，也多了很多电纸书的缺点——翻页慢，残影等——电纸书的性能是比平板差的，这主要 ...继续阅读 (49)

来自发现频道的 @14790897abc同学自荐了自己的开源项目：《搜索真实的文献让 ChatGPT 引用的网站 paperai.life（vercel一键部署，开源）》，用来让 AI 帮你写论文大纲，再通过关键词从 Semantic Scholar 或 arxiv 中搜索论文，然后自动撰写引用，导出 Word 一条龙服务，让你写论文也只需要 1 分钟。@Appinn@14790897abc同学是这样介绍项目的：利用人工智能撰写论文人工智能书写功能： 点击 “AI 写作 “进行正常对话互动。人工智能将根据您的输入提供写作建议或回答问题。Paper2AI功能： 点击 “Paper2AI”，根据输入的关键词在Semantic Scholar或arxiv中搜索论文。系统将把信息整合到您的论文中。还有一段视频：青小蛙研究了一下，还是挺好用的。主要是节省了许多时间，尤其在引用方面，不但能搜索文献，还能根据大意来自动引用，最后连格式都做好了。当然，这样的论文肯定不能直接提交，但用作大纲、草稿倒是可以的。小视频青小蛙也尝试了一下，看视频，真的 1 分钟写一篇论文：另外视频里的引用有点点问题，里面混入了之前的引用。获取GitHub演示可自托管，也可以直接用演示。当然最后再提醒一下，不建议直接把生成的内容提交给老板。原文：https://www.appinn.com/pape ...继续阅读 (55)

...继续阅读 (43)

[scode type="share"]推荐一个自己非常喜欢的主题[/scode]主题介绍：Paper，一页纸，一片让博主可写可绘的极简创作空间。本主题为极简主题，禅定黄+静思蓝暗黑配色，无 JS、CSS 文件载入，对程序极简优化。主题支持自定义背景、自定义菜单，保留搜索及评论功能；内置文章归档模板；已作中文字体优化，内置3种字体方案可选。力求极简，对程序自带功能进行禁用，若对使用有影响，酌情删除即可。主题仅9个文件共52kb。主题类型：极简 / 单栏 / 博客 / 自适应 / 暗黑模式 / 免费最新版本：v1.0更新时间：2023-12-10下载地址：Github[album][/album]使用方法：上传并激活主题，开箱即用。主题已内置3种字体方案，分别为雅黑、仿宋和宋体。如需要调整字体，在“外观”》“主题文件编辑器”中选择编辑 header.php 文件，根据提示对第42行进行修改。页面模板：文章归档创建一个新的页面，或选择一个已有页面；编辑状态，在“页面属性”的“模板”一项中选择“文章归档”模板。该模板按年月展示博客所有文章。常见问题：主题禁用功能和插件冲突怎么办？使用代码编辑器打开主题内 functions.php，删除冲突部分的代码，上传文件替换即可。 ...继续阅读 (32)

是的，你没看错，时隔9天，再发布一款免费极简主题，取名 Paper。在 WordPress 和 Typecho 两个程序上均可免费享用。Paper，一页纸，一片让博主可写可绘的极简创作空间。本主题为极简主题，禅定黄+静思蓝暗黑配色，无 JS、CSS 文件载入，对程序极简优化。主题支持自定义背景、自定义菜单，保留搜索及评论功能；内置文章归档模板；已作中文字体优化，内置3种字体方案可选。力求极简，WordPress 版本对程序自带功能进行禁用，若对使用有影响，酌情删除即可。主题仅9个文件，文件大小控制在共50kb左右。主题免费开源，供学习交流，不提供售后支持。既然供学习交流，故也欢迎和我交流。如有建议，欢迎评论留言，不喜勿喷。主题可按授权方式继续随意改造，但望保留我的信息。感谢！详细介绍和使用见两个主题的发布页面。WordPress 极简主题：PaperTypecho 极简主题：Paper欢迎提供建议，以便继续完善。 ...继续阅读 (58)

...继续阅读 (52)

2023 年已过大半，《404 Paper 精粹》如约发至第 5 期，也就是 2023 上册。这本半年刊是知道创宇 404 实验室自 2021 年起发布的原创技术刊物。404 实验室作为知道创宇核心部门，专注于 Web 、IoT 、工控等领域内安全漏洞挖掘、攻防技术的研究工作。一直以来，404 实验室小伙伴热衷于用文章记录、分享安全研究中的成果 ...继续阅读 (56)

...继续阅读 (68)

...继续阅读 (67)

...继续阅读 (51)

...继续阅读 (38)

...继续阅读 (21)

Pen and PaperÂ ć˜Żä¸€ćŹžçŹ”čŽ°ĺş”ç”¨ďźŒĺŽƒçš„ç‰šç‚šĺ˝“ç„śĺ°ąć˜Żĺœ¨äşŽć‰‹ĺ†™çš„äžżĺˆŠć€§äş†ă€‚é™¤äş†ĺŻäťĽçť˜ç”ťä¸€äş›ç‰šĺŽšĺ›žĺ˝˘äťĽĺ¤–ďźŒä˝ čż˜ĺŻäťĽéšć„ĺœ°čż›čĄŒçť˜ç”ťďźŒĺŒć—śĺŠ ĺ…Ľć–‡ĺ­—ćčż°ďźŒĺšśä¸”ĺ°†ĺ…śäżĺ­˜ä¸ş PDF 文楣䞿于䟠播。The postPen and Paper - 手写珔莰应用[iOS][18→0]first appeared onĺć–—é™ĺ…. ...继续阅读 (28)

Available in a wide range of thicknesses, lightweight aluminum sheet is thicker than lightweight aluminum foil, but thinner than metal sheet. It typically ranges from 0.006 inches to about 0.080 inches. In this range, its cutting capabilities typically start with a quarter-inch (about 36 inches) wide cut, with core sizes of 6 inches, 12 inches, or 16 inches. Its paper capacity, as the same variety is 2 inches wide to 180 inches long, unorganized interlaced. Building and Construction MMI recently ran a16 gauge aluminum sheetreport titled "Weekly Construction Index European Lightweight Aluminum ...继续阅读 (63)