摄影：产品经理韩国章肥虾。在使用Scrapy的时候，我们可以通过在pipelines.py里面定义一些数据处理流程，让爬虫在爬到数据以后，先处理数据再储存。这本来是一个很好的功能，但容易被一些垃圾程序员拿来乱用。我看到过一些Scrapy爬虫项目，它的代码是这样写的：1234567891011...defstart_requests(self):yieldscrapy.Request('https://baidu.com')defparse(self, response):importpymongohandler = pymongo.MongoClient().xxdb.yycolrows = handler.find()forrowinrows:yieldrow这种垃圾代码之所以会出现，是因为有一些垃圾程序员想偷懒，想复用Pipeline里面的代码，但又不想单独把它抽出来。于是他们没有皱褶的脑子一转，想到在Scrapy里面从数据库读取现成的数据，然后直接yield出来给Pipeline。但因为Scrapy必须在start_requests里面发起请求，不能直接yield数据，因此他们就想到先随便请求一个url，例如百度，等Scrapy的callback进入了parse方法以后，再去读取数据。虽然请求百度，不用担心反爬问题，响应大概率也是HTTP 200，肯定能进 ...继续阅读 (33)

太多的企业，要做数字营销时，都只盯着ROI。 但他们不会明白，ROI是有原罪的。 因为ROI太重要，所以全力以赴折腾ROI的，最后都可能镜花水月、死得挺惨。 对于大多数企业，ROI并不是一个操作指标，它只是一个你把所有工作都做好之后的结果指 […] ...继续阅读 (36)

     » 本文链接：https://www.osyunwei.com/archives/15684.html» 订阅本站：https://www.osyunwei.com/feed» 转载请注明来源：系统运维 » Linux系统下kafka集群使用KRaft模式安装部署查看全文 ...继续阅读 (393)

【摘要】电脑长时间不操作，进入他可以休眠Sleep，显示，The Recycle Bin on C:\ is corrupted. Do you want to empry the Recycle Bin for this drive? 它成了锁屏屏保。 此时，不管是点Yes还是No，均是无效操作，甚至按C阅读全文 ...继续阅读 (28)

过去的一个多月里，我们构建了一个新的 AI 编程工具：AutoDev Workbench （ https://www.autodev.work/ ） 。它是一个 AI ...继续阅读 (38)

接上次的后续：第二天买了个金属的1/2寸钻头回来，在钢梁上打了个洞；把买回来的anchor塞进去，固定好；最后把电视架装在了anchor上面，完工。顺便用腻子填了前人之前其他的几个洞。感觉这些anchor应该还是挺靠谱的，特别是挂在了钢梁上面，号称是可以每个承重200多磅 —— 我电视也就50磅 —— 所以应该毫无问题。装完之后我还尝试把人挂在上面，也没啥问题貌似。希望不要掉下来吧 —— 那可不只是砸坏电视，还要砸坏地板了。话说在钢梁上打洞好难。主要问题是，在快打穿的时候，其实洞里只剩一个边缘了 —— 于是钻头上的螺纹会卡上去，然后产生一股扭力，让整个钻机直接歪掉，感觉不小心甚至可能会扭到手。我这个钻机比较弱，所以力气不强，扭力不算大，每次一扭我就放开开关，所以也还行，不过还是感觉非常危险，估计还是打动方法不对。有说在这种钢板上大洞需要特别的step drill,外形是锥形的那种，可能下次如果再搞这个的话需要弄一个回来。不过细的钻头就没这个问题 —— 我这次打1/2寸之前试过很细的钻头，就没这个问题，估计是小洞的边缘产生不了多少扭力就被钻头刮掉了吧，大洞边缘太结实了。最后我还是结合了锉刀才打完了洞 —— 先尽可能锉掉剩下的边缘，然后用电钻刮掉剩下的。另外还换了个花洒 —— 就是上次后来退掉的那个，退掉原因是想买个磁吸的结果买错了 —— 新的感觉还不错，就是这个楼可能是因为高度关系， ...继续阅读 (33)

Yiming's News 05/25/2025{read_more}OMG it's been quite a while again I keep forgetting to post updates about my projects and stuff...Summer is coming (for the northern hemisphere anyway) and I hope everyone is doing just fine :DWhat's newHarmonyOS Technical ResearchRecently Huawei have announced their HarmonyOS computer, which is basically a blown up smartphone with their supposedly closed ecosystem. It sounds ok but I haven't got any that kind of devices yet, but I took some time to dig that and see if it's possible to adapt OurPaint onto it. So far there have been some problems, and the docu ...继续阅读 (37)

广泛接受的标准，如 Kubernetes、 React 和 HTTP，通过将爆炸性的 MxN 问题转换为易处理的 m + n 生态系统解决方案，适应了数据生产者和消费者的广泛多样性，因此，如果它们能够获得临界质量，那么它们将是非常有价值的。新手们可能忽略了一个更微妙的问题，Anthropic 一直明确强调支持比 OpenAI 更多的工具 ，然而我们并没有真正的针对大型工具的基准测试 ，所以不知道各个大模型工具之间的差异，但直观地说，MCP 在一次调用中支持的平均工具比传统方式要多得多。 ...继续阅读 (38)

Power Supplymemegang peranan penting sebagai sumber energi utama bagi berbagai perangkat elektronik. Keandalannya menjadi kunci agar setiap sistem berjalan optimal dan aman. Pada dasarnya, powersupply bertugas mengonversi listrik dari sumber AC menjadi bentuk DC yang sesuai dengan kebutuhan peralatan.Fungsi Utama Power SupplyPower supply memiliki fungsi dasar yang esensial, yaitu:Konversi Energi:Mengubah energi AC menjadi DC.Stabilisasi Tegangan:Menjaga kestabilan arus listrik agar perangkat bekerja optimal.Perlindungan:Mencegah lonjakan tegangan yang dapat merusak komponen.Ragam Power Supply1 ...继续阅读 (56)

这个网站可以把一个 word 文档转成手写图片，你甚至可以设置错字、涂改比例，让最终的成品更像手动写出来的效果。还可以设置文字位置的凌乱程度，让文字排列没那么整齐，让人看不出来是自动生成的。访问地址：https://ouo.io/zkRS9o ...继续阅读 (398)

在机器人学和数学中，手眼标定问题（也成为“机器人-传感器”或“机器人-世界”标定问题）是确定机器人末端执行器与传感器（相机或激光扫描仪）之间或机器人底座与世界坐标系之间的转换的问题。 ...继续阅读 (31)

程序员中例如我这样的主要是服务端的其实要开发一款app会面临很多问题，相对便捷的可能是做一个网页版的，套用下组件啥的，网页版的要做成app的话之前比较可行的是通过 Electron ，但是也是学习成本比较大的一件事，现在要介绍的这个pakeplus是基于rust ...继续阅读 (448)

【摘要】我们从前一阵子 Maui 几个被离职的Mono 工具链相关的微软员工来说起，通过现象看本质，这意味着.NET 10 将完成对Mono的完全替代。.NET 10 特性中有一个 @dotnet/runtime/issues/112158 CoreCLR Interpreter, 将 Mono 的解释器（阅读全文 ...继续阅读 (362)

MySQL的向量处理现状向量数据库或者说向量处理是，个人认为，最为重要数据库AI能力。目前，各个数据库都在围绕着向量数据库构建更为丰富的LLM/AI相关功能。而MySQL 9最为重要的特性之一就是新增了向量处理能力。当前的版本主要包括了：(a) 向量数据类型；(b) 简单的向量处理函数。其中部分向量处理函数放在了MySQL的企业版或云版本中。因为当前MySQL 9系列的版本均为创新版（并不是稳定版），所以相关功能还会不断的迭代和发展。期待未来做出更多丰富功能：(a) 新增向量相似性搜索功能；(b) 并将完整的向量处理能力放到社区版中。后续依旧会持续关注这部分的产品能力。本文测试环境为Oracle Cloud，你可以参考在 Oracle 云上免费测试数据库[3]文中创建一个免费的MySQL实例进行测试。MySQL中的向量数据类型向量数据存储在MySQL 9中新增了数据类型vector用来存储向量数据[1]，简单的使用方式如下：create table vector_t01 ( id int, s_v_01 vector(390), s_v_02 vector(390) );这里表示s_v_01、s_v_02均为390维的向量，每个维度在MySQL中使用4 bytes的单精度浮点类型存储。写入向量数据为了测试使用方便，这里使用string_to_vector对向 ...继续阅读 (276)

MySQL的向量处理现状向量数据库或者说向量处理是，个人认为，最为重要数据库AI能力。目前，各个数据库都在围绕着向量数据库构建更为丰富的LLM/AI相关功能。而MySQL 9最为重要的特性之一就是新增了向量处理能力。当前的版本主要包括了：(a) 向量数据类型；(b) 简单的向量处理函数。其中部分向量处理函数放在了MySQL的企业版或云版本中。因为当前MySQL 9系列的版本均为创新版（并不是稳定版），所以相关功能还会不断的迭代和发展。期待未来做出更多丰富功能：(a) 新增向量相似性搜索功能；(b) 并将完整的向量处理能力放到社区版中。后续依旧会持续关注这部分的产品能力。本文测试环境为Oracle Cloud，你可以参考在 Oracle 云上免费测试数据库[3]文中创建一个免费的MySQL实例进行测试。MySQL中的向量数据类型向量数据存储在MySQL 9中新增了数据类型vector用来存储向量数据[1]，简单的使用方式如下：create table vector_t01 ( id int, s_v_01 vector(390), s_v_02 vector(390) );这里表示s_v_01、s_v_02均为390维的向量，每个维度在MySQL中使用4 bytes的单精度浮点类型存储。写入向量数据为了测试使用方便，这里使用string_to_vector对向 ...继续阅读 (157)

Y Combinator 联合创始人 Jessica 在大学毕业典礼上给毕业生的演讲稿写的很好。对于那些想拥有雄心壮志而又不知道怎么做的毕业生，她认为首先要认识到大学毕业之后，你有成千上万条路可以走，不必拘泥于专业或者大学里的表现。另外，要想找到属于自己的路，一个最好的技巧就是和人交谈，找到自己感兴的人，看看他们在做什么。最后，还需要学会忽略旁人消极的看法。推荐在公众号 【521link】上阅读。也可以直接阅读原文：https://ouo.io/G9nCdC ...继续阅读 (85)

本文永久链接– https://tonybai.com/2025/05/25/go-at-googleio-2025大家好，我是Tony Bai。在Google I/O 2025大会上，Go 产品负责人 Cameron Balahan 和开发者关系负责人 Marc Dougherty 详细阐述了 Go 语言在生产力、生产就绪度和开发者体验方面的最新进展及未来规划。演讲强调了 Go 语言以规模化为核心的设计理念及其三大指导原则：生产力、超越语言的完整体验和生产就绪。重点介绍了Go 1.23和Go 1.24版本在生产力方面的革新，包括引入迭代器简化循环、gopls 的智能现代化能力以及通过 go get 管理 Go 工具链；在生产就绪性方面，突出了WebAssembly 支持的增强、安全体系的持续深化（特别是后量子密码学的透明集成和 FIPS-140 支持的便捷启用）以及核心性能的显著提升（如全新的 map 实现）。此外，演讲还强调了 Go 语言在 AI 基础设施构建中的核心地位，并展望了 Go 1.25+ 在 SIMD 支持、多核硬件优化等方向的探索，同时重申了 Go 1.0 的兼容性承诺。这里是基于演讲视频，借助AI整理的文字稿，我做了简单校对和格式调整，供大家参考。原视频链接：https://www.youtube.com/watch?v=kj80m-umOxs 建议 ...继续阅读 (39)

文章链接到标题技术链接到标题Am I online?原来有http://google.com/generate_204这种来专门用来检查网络连接的 API。Xx.com/mitchellh/status/1923424307084132770“Every single person in this hallway is a Microsoft paid employee.”“Microsoft sent suits. Amazon sent hoodies. Google sent nobody.”2B 的产品在后期功能趋同，对用户来说形成明显感知的都是服务。Zero-Touch Bare Metal at ScaleSince it’s 2025, we just ask Claude. There are probably more effective methods of achieving the same, but it costs us less than a dollar to provision 50 servers using Claude to screen-scrape every minute during the install.我喜欢看到 [[Railway]] 分享自己从零开始构建自己的 [[BareMe ...继续阅读 (34)

为了在本地局域网环境中摆脱 IP 用上域名（纯属闲来无事瞎鼓捣），购入了leovan.dev域名。想着把各种服务都映射到不同的二级域名上，这样就可以不用 IP 和端口了，岂不完美。然，问题这就来了。acme.sh域名是在 Cloudflare 上申请的，在 Cloudflare 上使用Page 服务部署网站就可以白嫖他家的证书，还能自动帮你续期，比如当前的站点就是使用 Page 进行部署的。但你要是想生成证书下载下来使用，就会很麻烦，因为证书的有效期只有三个月，手动续期再加上各种替换操作就不太方便了。这时候就要请出我们的acme.sh了，除了支持各种桌面和服务器操作系统外，还支持 OpenWrt 路由器系统。Cloudflare使用 acme.sh 申请免费证书需要使用 DNS 验证对域名的所有权，本文以 Cloudflare 为例，其它 DNS 请参考官方文档。Cloudflare 支持两种方式，一种是使用 API Token，另一种是使用全局 API Key，这里我们以 API Token 为例。进入API Token 页面，单击创建令牌按钮，在 API 令牌模板中选择编辑区域 DNS，单击使用模板按钮。在权限中添加区域 - DNS - 编辑和区域 - 区域 - 读取的权限，在区域资源中根据你的需求选择对应的特定区域，例如leovan.dev，或为了省事选择所有区域也可以，如下 ...继续阅读 (30)

Spring AI 更新了结构化输出转换器，弃用旧版Parser类，改用Converter实现类以提升功能一致性。新类如StructuredOutputConverter、BeanOutputConverter等可直接替代旧版，并支持JSON/XML等格式转换，帮助开发者将LLM文本输出快速转换为Java对象。转换过程包含提示词格式化指令和输出解析两步，但需注意模型可能无法完全遵循结构化要求。当前提供多种转换器实现，包括处理Bean、Map和List等场景的专用转换器，适用于不同下游应用的数据处理需求。 ...继续阅读 (46)

Hardware Komputermenjadi kunci utama dalam menjalankan berbagai aplikasi, mulai dari pemrosesan data hingga gaming. HardwareKomputer yang tepat memastikan sistem berjalan stabil dan optimal.Apa Itu Hardware Komputer?Hardware Komputer mencakup semua perangkat fisik seperti CPU, RAM, dan storage yang bekerja sama memproses data. Tanpa HardwareKomputer yang mumpuni, perangkat lunak tidak dapat berfungsi maksimal.Komponen Utama Hardware Komputer1. Central Processing Unit (CPU)CPU merupakan jantung dari HardwareKomputer. Prosesor modern menawarkan kecepatan clock tinggi dan banyak inti, memengaruhi ...继续阅读 (31)

前面我们介绍了PHP 终极最强大的排序工具：array_multisort()，其中最强大的一点就是基于多个条件对数组进行排序，基本可以将其理解为 ​​PHP 中对标数据库ORDER BY的本地化排序实现​。​继续看一下之前的例子，比如可能想先按类别再按价格对产品列表进行排序：$products = array( array("name" => "Product A", "category" => "Electronics", "price" => 200), array("name" => "Product B", "category" => "Clothing", "price" => 75), array("name" => "Product C", "category" => "Electronics", "price" => 150), array("name" => "Product D", "category" => "Clothing", "price" => 100) ); // 先按类别升序排序，再按价格升序排序 array_multisort(array_column($products, 'category'), SORT_ASC, array_column($products, 'price'), SORT_ASC, ...继续阅读 (147)

在人工智能的浪潮中，大规模语言模型（LLM）如Grok、LLaMA和ChatGPT已成为推动技术进步的核心力量。本文深入探讨了大模型训练的复杂过程，揭示其背后的“炼金术”——从数据预处理、模型架构设计到分布式训练和优化技术。通过详细的理论分析和丰富的代码示例，本文展示了如何构建一个高效的大模型训练pipeline。文章涵盖了数据清洗、分词、Transformer架构、分布式并行训练、梯度裁剪等关键技术，并通过数学公式和代码实现提供了直观的理解。无论你是AI研究者还是工程实践者，这篇文章都将为你揭开大模型训 ...继续阅读 (44)

本文系统介绍了大型语言模型(LLM)微调的理论与实践。微调作为迁移学习的重要技术，能够通过调整预训练模型参数使其适应特定任务。文章详细解析了三种微调策略：全参数微调、部分参数微调和参数高效微调(LoRA)，并提供了完整的数据预处理、模型选择、训练配置等实现流程。针对常见问题如过拟合和显存不足，给出了数据增强、混合精度训练等优化方案。最后展示了模型评估与部署方法，帮助开发者掌握这一提升模型性能的关键技术。 ...继续阅读 (60)

这两天接了个 Kube-OVN 培训的任务，事实上这已经是这几年第三次给这家公司培训相同的内容了，形式也从线上转到线下还要求手把手的敲命令，可想而知之前几次的最终效果怎样。我可以理解需求方的技术焦虑，但我认为培训这种形式是极其低效的，更多的只是培训当时能获得一些虚假的满足感，不会产生什么长期收益。一方面培训是一种被动学习方式，完全由老师带节奏前进，那听讲的人只是被动的吸收，很难有深度的思考。另一方面需要等到培训才了解的知识大概率是实际上用不到的知识，如果每天都用的话根本来不及等这种一年一次的培训。如果实际用不到，那么哪怕当场掌握了，很快也会什么都剩不下。我觉得这和我们一直以来的教育理念有些关系，传统上我们认为认真听老师讲课，努力记笔记，不会的问题堵着老师问，都是优秀的学习习惯。但这些都是偏被动的学习方法，我们很多年的教育过程中其实缺乏主动学习的机会。这种被动的方式早期的效果可能会很好，因为早期学校里的知识难度不大，而且我们展示学习成果的方式就是考试，而考试是可以通过过拟合的方式来提升效果的，并不能真正反映你对知识的掌握程度。在我的经历里，到了初中阶段，最出色的那批人就不再是认真听课，努力记笔记那批人了。而是换成了那批给人感觉平时一直玩，考试成绩还很好的一批人，事实上越往后这批人的比例越高。我认为这里并不是智商的区别而是被动学习和主动学习模式的区别。主动学习的人会更多依赖自己思考来解 ...继续阅读 (21)

Photo byPankaj Patel/Unsplash去年还是前年就在思考如何在 Ghost 中集成 Activitypub 的互动，还找了一个国内博客大佬的实现ActivityPub 协议的简单实现 - Lawrence Li，不过这位大佬的方案是完全自己实现协议部分，对我来说有点太复杂了。后来Ghost官方也发布了一个Ghost和Activitypub的继承方案，不过我看了下项目的Docker-compose文件，感觉太臃肿了（毕竟是商业化产品，性能各方面都要考虑到）。而且开发一年多了，现在也只在官方付费服务里Beta，所以现在兴致缺缺。因为最近用Cloudflare Worker实现了很多有意思的玩意，所已，今天忽然灵光一闪，想到了一个非常有意思的点子，通过和AI的几轮互动，感觉应该能完整实现大佬博客里的那种效果。其实原理无非就是利用Cloudflare Worker和KV功能，对文章ID和嘟文ID进行储存，在页面展示时再去请求数据进行展示，整个逻辑大概如下：文章和嘟文同步Worker定时请求Ghost博客中最新一篇的数据（我这边是用Ghost的唯一文章ID做Key，你的博客系统没有API的可以请求RSS，但是ID必须是唯一的，可以自己截取slug出来应该也是可行的）。拿到Key后在KV中进行查找，如果录入过就跳过。没录入就拿文章的数据根据长毛象或GTS的API要求组装嘟 ...继续阅读 (38)

想到一些有意思的问题，和 ChatGPT 聊天，最终生成这篇微小说。看上去也很一般吧，不过这个设定我很喜欢，不知道是否已经有类似的科幻小说？未来没有救赎。人类文明在最后的百年里疯狂燃烧，冰盖崩塌、沙漠淹城、微塑料成为胎儿的一部分。天空泛白，阳光有毒，语言成为叛乱的借口，责任在每一代人嘴中被推向下一代。“等技术进步了就能解决。”“后人总会比我们聪明。”可当“后人”真的站在了尽头，什么也解决不了。他们只剩下一种选择：回到过去，劝诫人类。于是“神启计划”诞生。他们筛选了十二位“穿越者”，配备最隐蔽的技术、伪装成最古老的模样。目的是：在人类意识尚未形成自毁逻辑前，植入约束与恐惧。最初，他们打算讲科学。后来，他们翻开了一本旧书——《圣经》。那一刻，一切改变。这不是一本信仰之书，而是一份剧本。洪水、方舟、火焰、神怒、拯救者、末日、救主……里面有系统化的恐惧管理、伦理规则嵌套、超验故事架构，比他们设计的心理操控系统还要稳定。于是他们改写计划。不再是教授逻辑，而是复刻神迹。他们分赴世界各地：在一片古老平原上，有人站在山巅，释放等离子雷光，人们跪倒称他“雷神”。在尼罗河畔，有人掀起潮汐，让部落信奉“水的神谕”。在丛林之中，有人预言星辰轨迹，被雕在玛雅神庙。在黄土大地上，有人带来火种与文字，被记作“授人类文明之天人”。他们遵循《圣经》与其他古籍的模版，以神之名播种恐惧和秩序。他们制造了“信仰”。每一个 ...继续阅读 (143)

【摘要】一：背景 1. 讲故事 前面文章所介绍的一些注入技术都是以方法为原子单位，但在一些罕见的场合中，这种方法粒度又太大了，能不能以语句为单位，那这个就是我们这篇介绍的 Transpiler，它可以修改方法的 IL 代码，甚至重构，所以这就非常考验你的 IL 功底，个人建议在写的时候要多借助如下三个工具：阅读全文 ...继续阅读 (63)

下面这个问题来自 2015 年俄罗斯数学竞赛。一个正方形棋盘能沿着网格线分成 n 个大小形状相同的小块，每块都有 k 个小格。证明：这个正方形棋盘一定能沿着网格线分成 k 个大小形状相同的小块，每块都有 n 个小格。假设正方形棋盘的边长为 s ，则 nk = s2，即 n/s = s/k。假设它们约分后都等于 p/q。如果第一个分数约掉了 a 得到 p/q，这说明 ap = n，aq = s；如果第二个分数约掉了 b 得到 p/q，这说明 bp = s，bq = k。把正方形棋盘分成 q 行，每行 a 个小方格；把正方形棋盘分成 b 列，每列 p 个小方格。这就得到了 bq = k 个大小形状相同的小长方形，每个小长方形里都有 ap = n 个小格。 ...继续阅读 (24)

【摘要】2025 年 4 月 20 日 - SuperSocket 团队自豪地宣布正式发布 SuperSocket 2.0，这是这款适用于 .NET 的高性能、可扩展套接字服务器应用程序框架的一个重要里程碑。在初始预览版发布并经过数年的开发后，SuperSocket 2.0 标志着对框架的彻底重新构想，它是阅读全文 ...继续阅读 (41)