杜老师复刻了 70 多个库，每次源库更新后都需要一一手动同步，太过麻烦。今天分享一个自动同步脚本，有需要的小伙伴可以试一下。注意如对本地库有修改，建议使用 PR 来同步，避免代码覆盖。代码同步不太清楚小伙伴们同步代码方式，有人习惯用 PR，有人喜欢用下图同步的方式。不管哪种方式，都需要手动操作的。如有仓库过多，每个都要同步一遍，想想是多大工作量。杜老师分享了 GitHub 库自动同步脚本，供有需要的小伙伴参考：脚本分享进入要同步的库中，切换至 Actions，点击 New workflow 项：打开新页面后，点击篮字的 set up a workflow yourself：设置文件名sync.yml「可自定义，不与其它脚本同名即可」将下面的脚本填到输入框中，点击右上方 Commit changes 即可：12345678910111213141516171819202122232425262728293031323334353637383940name:UpstreamSyncpermissions:contents:writeon:schedule:-cron:"0 0 * * *"# every dayworkflow_dispatch:jobs:sync_latest_from_upstream:name:Synclatestcommitsfromupstreamreporu ...继续阅读 (127)

在《一日一技：自动提取任意信息的通用爬虫》这篇文章中，我提到可以通过大模型从网页内容里面提取结构化信息。为了节省Token，文章里面我直接提取了页面上的所有文本。这种方式需要自己写代码来过滤HTML中的垃圾标签。并且提取出来的文本可能会混在一起。虽然大模型在很大程度上不会受到标点符号的影响。但如果有办法把网页直接转换为Markdown的话，大模型在解析时就能更加准确。现在，你不需要写任何代码就可以实现这个目标！假设我们需要抓取我的这篇知乎专栏文章：小问题，大隐患：如何正确设置 Python 项目的入口文件？。我们知道知乎是有反爬虫的，直接抓取并不容易。怎么样在2秒内抓取这篇文章，并转换为Markdown呢？非常简单，你只需要在url前面加上https://r.jina.ai/并回车就可以了。完整的URL变成：https://r.jina.ai/https://zhuanlan.zhihu.com/p/351326998。浏览器上面的效果如下图所示：直接就是Markdown!。你可以直接使用requests请求这个地址，拿到Markdown格式的正文。然后把这个正文喂给GPT，就可以提取出结构化的内容了。这个服务不仅完全免费，而且开源！Github地址为：reader ...继续阅读 (174)

在 ubuntu 20 上安装 nvidia 计算卡驱动和 CUDA 工具包，并解决其中出现的问题和附加的依赖包。环境准备基础系统为 ubuntu 20.04 LTS Server，安装语言是English，无桌面环境。计算卡为nvidia Tesla V100，安装时驱动版本为550.54.15，CUDA版本为12.4。本文安装环境为计算卡环境，不具备显示输出，但流程适用于显示卡。注意计算卡环境的话不要先装图形化环境（DE和DM）。驱动部分在nvidia官网下载对应型号的驱动，建议下载Linux 64-bit（Run文件版本），不建议下载deb版本。这部分不难，就不说了。安装依赖需要提前安装编译用的依赖：1apt update && apt install -y gcc g++ make安装驱动很多教程说需要先禁用Nouveau，Nouveau是社区维护的第三方nvidia硬件驱动。的确是需要先卸载，但是目前的话新版的nvidia官方run驱动已经能够自动禁用Nouveau了。对下载好的run文件加运行权限1chmod +x NVIDIA-Linux-x86_64-550.54.15.run直接运行1./NVIDIA-Linux-x86_64-550.54.15.run如果没有提前禁用Nouveau的话会提示你Nouveau影响安装，需要禁用，按照他的提示自动创建文件后重启即可。 ...继续阅读 (206)

终于把网站的主题切换功能做好了，这次的实现相当满意。 并且我联动了几个主题颜色比较特别的博友，他们分别有：雅余（黄色）、昱行（粉色）、风清（蓝色），大家可以在本站左侧菜单栏选择自己喜欢的配色浏览本站，欢迎给出意见和分享感受。 之前虽然也写过主题切换功能，但是思路没有这次完整，所以索性写一篇博文介绍一下整体实现思路和流程。 这次11ty-book我采用了Alpinejs作为网页的主js框架（真的挺好用的...），这个框架有中文文档 ，官方地址为：https://alpinejs.dev/。 * Alpine.js 通过很低的成本提供了与 Vue 或 React 这类大型框架相近的响应式和声明式特性。 * 你可以继续操作 DOM，并在需要的时候使用 Alpine.js。 * 可以理解为 JavaScript 版本的 Tailwind。 js部分 在主js文件中使用import的方式引入alpinejs文件，并将主题要用到的json数据对象放入Alpine.data对象中（data是alpinejs的数据主要传输方式）。 具体代码作用见下方代码片断。 import A ...继续阅读 (217)

本测试要验证两个问题：Flink CDC 能否将多张表的 CDC 数据 （debezium-json 格式）写入到同一个 Kafka Topic 中？验证使用 Flink SQL 方式将多表同时写入 Kafka 时，Flink 的作业数量,首先，准备好用 Flink SQL 实现的将两张表同步到一个 Kafka Topic 中的代码 ...继续阅读 (124)

最近再折腾信创，陆续可能会写一些，遇到的一些坑场景我们需要离线交付一些软件，但是他们需要依赖系统包，手动安装比较繁琐，这里采取将相关包下载缓存下来，搭建本地yum源或者apt源，这里简单以yum为例环境腾讯云鲲鹏服务器SK1(目前是白名单开放, 上海二区)麒麟V10 SP2镜像(需要自行解决授权问题)搭建本地源最好是全新环境，当前目录下有个zt-yum目录, 完成路径应该是/root/zt-yum, 这个名字路径都看个人喜好梳理所需依赖包我举个测试用的包nfs-utils下载相关包仅下载不安装yum --downloadonly --downloaddir=/root/zt-yum install nfs-utils注意，如果你是已经安装的环境，需要将install改成reinstall特别注意，如果是reinstall极大可能导致下载的依赖包不全生成元数据目前主流使用createrepo来创建yum源的。createrepo -p -o zt-yum上面这条命令就是将原数据存储到zt-yum目录下配置本地源cat /etc/yum.repos.d/local.repo [zt-yum] name=zt-yum baseurl=file:///root/zt-yum gpgcheck=0 enabled=1 priority=1测试简单测试，具体需要到离线环境测试yum make ...继续阅读 (218)

在使用 Flink CDC 的 API 编写整库、多表接入 Kafka 的程序时，遇到题目所述的报错。如果是自己编写的程序，可在 IDE 中直接查找该类是否在项目的依赖声明中；如果是部署的第三方应用，可以使用如下命令确认报错的类是否在所有依赖包中都不存在 ...继续阅读 (141)

原创内容，转载请注明出处：https://www.myzhenai.com.cn/post/4515.html 这个也是我刚才偶然发现的，因为前段时间安装了这个扩展，刚才在今日头条上写文章的时候，突然发现文章编辑框失去了焦点和响应，无论是手动输入还是复制粘贴，都无法使用内容编辑框了。 但是换了另外一个浏览器却没有这个问题，所以我一猜问题就出在扩展上了。 我打开扩展看了一个，一个一个的关闭来检查，发... ...继续阅读 (175)

早上上班的路上，在必经的一条马路，看到一个蓝衣人趴在路中间隔离带的水泥桩上。车流比较大，一晃就开过去了。我问坐在副驾驶的老婆：刚才那个人好奇怪啊。她说是啊，那个人怎么了？我说，昨天你没看到吗？他保持那个姿势已经一整天了，感觉连手指头都没动过。说到这里，我赶紧把车靠边停下来打了 110 ，附近的派出所联系了我，说马上派人过去看看。我的心情久久不能平静。走在路上，我喜欢观察四周的细节，其实昨天就感觉不对了。路上没有血迹，我以为他/她（看不到脸）是在翻越隔离带时身体不舒服想休息一下。但一个人保持那种姿势几分钟而不动肯定不正常。如果昨天这个时候就报警或许更好呢？如果下一次看到这样的情况，我想我会停车下来拍一拍，说不定就能救人一命了。后面的路上，老婆和我讨论了死亡。她说她很怕死，不愿意去想。她父亲是做警察的，曾经还做过侦察兵上过越南战场。小时候就见过父亲一身是伤回家，据说是骑车追罪犯摔了一跤。她当时非常害怕。我说，人终有一死，现在不愿意想，总有一天也会想的。我有一个理念：年轻的时候，人人都怕死，这可能是刻在基因里的。我们都回避不了这种恐惧。但说不定人老了就不会那么怕了，在死前的十年，每个人都会慎重的思考死亡，想的多了，或许就释然了。就好像我们小时候去想长大后的人生，结果想法一天天都在变化，等真的长大了，发现想法完全变了。死亡可能也是一样，想着想着到那一天，你就和死亡和解了。我上上一辈的亲人最 ...继续阅读 (163)

向导组件也是一个常用的组件，因为很多工作流程都需程序化，引导用户一步一步地进行，这样才能让用户明白地填写相应参数，选择合适的内容。这时候就会切换到第二页显示，这时下面有可以向前一页导航的按钮，也有向后一页导航的按钮。在这里发现每一项都需要重复设置一些相同的类型属性，那么能不能把这些设置提出来？还可以修改每一页的显示状态，因为根据用户的选择，有可能跳过一些页面的设置。在后面添加一个复合语句来定义所有页面的内容，这样使用起来非常方便。如果发现填写出错，就可以点击返回按钮，再次进行修改。在这里演法了扩展装饰器。 ...继续阅读 (144)

因为我的两个博客使用到了IP位置显示的功能，以前都是使用的国外的免费接口和一些站长架设的免费接品，但是在使用过程中，要么是解析速度慢，要么是接口不稳定。 平时频繁的修改源代码需要改来改去，所以就想着使用国内快速的接口服务，哪怕是收费的，只要价格不是太离谱的都还用得起。 我对比了ip138、百度、聚合和阿里云市场等平台，我比较下来比较满意的是ip138和阿里云市场里的一个“全球IP归属地查询-IP地... ...继续阅读 (208)

本书专注于使用R语言进行数据分析和可视化，主要目标是帮助读者掌握R语言这一强大的数据科学工具，以在科技领域中更好地处理数据、分析数据以及呈现结果。本书面向的读者群体广泛，无论是初学者还是有经验的数据科学家，都能够从中获取丰富的知识和技能，以在科技领域取得成功。本书中包含了实用的示例和练习，可以帮助读者掌握数据分析和可视化的关键概念和实际操作。 ...继续阅读 (146)

本篇翻译于Catherine Wang的Making AI powered .NET apps more consistent and intelligent with Redis – .NET Blog (microsoft.com)Redis是一种流行的内存数据存储，可用于解决构建和扩展智能应用程序的关键挑战。在本文中，你将了解如何使用Redis的Azure缓存来提高使用Azure OpenAI的应用程序的效率。Redis的Azure缓存不受最近的Redis许可证更新的影响：“我们将持续的合作以确保Azure客户能够无缝地利用Azure Cache for Redis的所有层级。 Azure Cache for Redis、Azure Cache for Redis Enterprise和Enterprise Flash服务不会中断，客户将收到及时的更新和错误修复，以保持最佳性能。” – Julia Liuson，开发部总裁本博客包括两个示例应用程序：第一个是基于.NET揭秘检索增强生成的演示聊天语义内核（Semantic Kernel）应用程序。我添加了使用Redis保存额外知识并启用聊天历史记录的功能。完整示例位于Chat App with Redis第二个是一个演示应用程序，它在.NET 8中使用Redis OM dotnet进行Redis输出缓存，以提高生成 ...继续阅读 (221)

参考文章：https://blog.csdn.net/qq_54562136/article/details/ ...Read moreAnaconda 修改环境默认位置 ...继续阅读 (144)

【摘要】一：背景 1. 讲故事 上个月有个朋友在微信上找到我，说他们的软件在客户那边隔几天就要崩溃一次，一直都没有找到原因，让我帮忙看下怎么回事，确实工控类的软件环境复杂难搞，朋友手上有一个崩溃的dump，刚好丢给我来分析一下。 二：WinDbg分析 1. 程序为什么会崩溃 windbg 有一个厉害之处在于阅读全文 ...继续阅读 (147)

欢迎回到《精选：NAS用户必装的十款软件》系列文章的下篇！我是xiaoz。今天，我们将探索剩余的五款NAS软件，为你的NAS系统添砖加瓦。如果你错过了我们的上篇推荐，不要担心，你可以通过这个链接回顾：https://blog.xiaoz.org/archives/20490。现在，让我们继续发掘更多 ...继续阅读 (157)

前几天，我在《技术周刊的转变：如何平衡热爱与现实？》一文里写过国内 Python 自媒体圈在近几年的两个现象（仅个人观感，无科学数据支撑）：Python 广告投放出现断崖式萎缩Python 大号出现很多改名/转行本文想继续分享我观察到的另一个挺有意思的现象。如果你能从中受到一些启发，进而为自己找到一些事情做，那我真心会为你高兴。特别声明，本文只是在分享一个行业观察，在描述一种现象趋势，请不要对号入座，不要断章取义，也不要以偏概全！！！不知道你最近是否读过类似下面标题的文章：xxx，一个神奇的 Python 库xxx，一个超酷的 Python 库xxx，一个实用的 Python 库xxx，一个无敌的 Python 库xxx，一个强大的 Python 库其中，“xxx”可能是很知名的库，也可能是比较小众，总之取材范围很广。标题中的形容词还可能是“超强的”、“超有用的”、“超神奇的”、“化腐朽为神奇的”，等等等，总之用词大多简短而夸张，传达出强烈的情感色彩。以上这些形容词出现频率很高，看多了可能引起视觉疲劳。有一个作者另辟蹊径，用词就比较有文采了：“妙手回春的”、“让你健步如飞的”、“三界通吃的”、“决胜千里的”、“让你为所欲为的”……这么起名标题的公众号不少，绝大部分都是陌生面孔，它们有以下的特征：基本上注册时间都超过 4 年，近一年左右开始发这类文章文章更新频率高，文章格式有较高相似 ...继续阅读 (168)

在Linux环境下，AWK是一种强大的文本处理工具，被广泛应用于数据处理和文本分析。然而，在不同的Linux发行版中，我们可能会遇到不同的AWK实现，其中两个主要的是mawk和gawk。其中Debian 11从 gawk 改为了 mawk。我的脚本在 Debian 11 中也出现了一些问题。AWK简介AWK 是一种用于处理文本数据的编程语言，通常用于按行处理结构化文本文件。它由Alfred Aho、Peter Weinberger和Brian Kernighan于1977年开发，其名称来源于他们的姓氏首字母。AWK通过执行一系列的模式匹配和动作来对文本进行处理。mawk与gawk的差异mawk（Mike’s AWK）和gawk（GNU AWK）是两种不同的AWK实现，它们在性能、特性和兼容性方面有着不同的特点。性能mawk被设计成一个轻量级的AWK实现，注重于速度和资源效率。其代码库较小，可能更容易维护。相比之下，gawk是一个功能更丰富的实现，提供了更多高级功能和选项，但可能在性能上有所开销。在某些情况下，mawk可能比gawk更快。特性和兼容性gawk实现了POSIX和大部分AWK的标准，并提供了许多扩展功能。这使得gawk在处理复杂任务时更为方便。而mawk更注重于遵循标准，可能在某些gawk的扩展功能方面有所不同。示例：mawk与gawk在命令行上的差异在不同的AWK实现中 ...继续阅读 (162)

分享一段之前和ChatGPT沟通得到的代码。 作用为传入一段HTML代码，并获取页面内的H2、H3、H4标签，组装成固定格式的html字符串返回。 const cheerio = require('cheerio'); module.exports = (html) => { if (!html) return; const $ = cheerio.load(html); let toc = ""; let currentH2 = null; let currentH3 = null; let els = $("h2, h3, h4"); if(els.length == 0) { return; } $("h2, h3, h4").each((i, el) => { const tagName = $(el).prop("tagName"); const id = $(el).attr("id"); const title = ...继续阅读 (181)

可以用手滑动上面的滑块，就可以调节对应的数字。滑动的时候可以设备滑动的步长，默认的步长是1，意思就是说最小调整的单位为1。前面学习了下拉选择菜单组件，现在来学习滑动选择组件，它是提供快速调节设置值，如音量调节、亮度调节等应用场景。也就是说，这个组件可以通过滑动条来设置对应的数值，而不需要用户手动输入数字。从API version 9开始，该接口支持在ArkTS卡片中使用。从API version 9开始，该接口支持在ArkTS卡片中使用。从API version 9开始，该接口支持在ArkTS卡片中使用。 ...继续阅读 (146)

活动介绍亲爱的PDer，你是否曾想象过这样一幅场景：在璀璨的数字星河中，我们的城市如同一颗颗灵动的星球，其运行轨迹、能量交换乃至生命脉动，皆由大数据编织而成。如今，这一愿景已不再遥远，数字经济正以前所未有的力量塑造着城市的未来形态。为了共同探讨这一变革趋势，我们诚挚邀请您参加PowerData社区即将在深圳线下举办的名为“数字经济-城市开源行”的开源分享活动，一同揭示数字经济如何驱动城市创新，描绘智慧城市的壮丽蓝图。PowerData数据社区 数字经济-深圳开源行 将于4月20号与大家见面，我们将以线下分会场+线上直播”的形式举办。线下活动活动时间：2024.04.20（周六） 13:00-17:00活动地点: 深圳市南山区软件产业基地6栋6楼会议活动室地铁路线：乘坐11号线（机场线）后海站J出口公交路线：乘坐886、886A、293路公交车，冼村路南站下；乘坐407公交，广州大剧院西门站下。线上直播本次“PowerData 数字经济-深圳城市行”活动，全程线上直播，可扫描下方二维码进行预约。活动报名PowerData 数字经济-深圳开源行 活动现场为您带来精彩的议题分享，活动当天通过现场交流、闪电演讲、提问等方式参与活动的伙伴们还有精美奖品赠送！欢迎扫描下面二维码报名！ ...继续阅读 (176)

本文介绍了在多云环境下如何通过账单系统优化费用分摊和成本管理，详细讲解了系统的各个功能模块，包括总体概览、项目概览、项目详情、账户列表、账户概览和账户详情，帮助企业更清晰地了解和控制云资源消费。 ...继续阅读 (51)

联系：手机/微信(+86 17813235971) QQ(107644445)标题：PostgreSQL部分主要字典信息作者：惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]一、pg_class:该系统表记录了数据表、索引(仍然需要参阅pg_index)、序列、视图、复合类型和一些特殊关系类型的元数据。注意：不是所有字段对所有对象类型都有意义。名字类型引用描述relnamename数据类型名字。relnamespaceoidpg_namespace.oid包含这个对象的名字空间(模式)的OI。reltypeoidpg_type.oid对应这个表的行类型的数据类型。relowneroidpg_authid.oid对象的所有者。relamoidpg_am.oid对于索引对象，表示该索引的类型(B-tree，hash)。relfilenodeoid对象存储在磁盘上的文件名，如果没有则为0。reltablespaceoidpg_tablespace.oid对象所在的表空间。如果为零，则表示使用该数据库的缺省表空间。(如果对象在磁盘上没有文件，这个字段就没有什么意义)relpagesint4该数据表或索引所占用的磁盘页面数量，查询规划器会借助该值选择最优路径。reltuplesfloat4表中行的数量，该值只是被规划器使用的一个估计值。reltoas ...继续阅读 (173)

联系：手机/微信(+86 17813235971) QQ(107644445)标题：PostgreSQL部分主要字典信息作者：惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]一、pg_class:该系统表记录了数据表、索引(仍然需要参阅pg_index)、序列、视图、复合类型和一些特殊关系类型的元数据。注意：不是所有字段对所有对象类型都有意义。名字类型引用描述relnamename数据类型名字。relnamespaceoidpg_namespace.oid包含这个对象的名字空间(模式)的OI。reltypeoidpg_type.oid对应这个表的行类型的数据类型。relowneroidpg_authid.oid对象的所有者。relamoidpg_am.oid对于索引对象，表示该索引的类型(B-tree，hash)。relfilenodeoid对象存储在磁盘上的文件名，如果没有则为0。reltablespaceoidpg_tablespace.oid对象所在的表空间。如果为零，则表示使用该数据库的缺省表空间。(如果对象在磁盘上没有文件，这个字段就没有什么意义)relpagesint4该数据表或索引所占用的磁盘页面数量，查询规划器会借助该值选择最优路径。reltuplesfloat4表中行的数量，该值只是被规划器使用的一个估计值。reltoas ...继续阅读 (152)

问题描述某些情况下，我们在写代码的过程中，一直在本地不断地add、commit并没有git push到远端服务器因为一些原因，我们需要跳转到某个commit版本去操作即回退git的本地commit本文记录一下，两种方式的回退若是提到远端的代码，要回退回滚，可以参考笔者的这篇文章（本篇文章是本地的回退，回滚）：https://segmentfault.com/a/1190000041878398场景假设我本地add commit提交了三次三次分别对应的是111 222 333这三个文件我通过git log查看这几次的add和commit，如下两图：对应的操作文件git log日志需求假设，我需要跳转到第一次本地提交的时候，即有且只有111文件的时候，去做一些操作方式一 git reset --hard 某次提交的哈希值我们通过git log能查看到每一次的提交的哈希值直接git reset --hard db0d2eb6就能切换到第一次的commit版本（哈希值取前8位就行了，不用所有）当然做这个操作之前，建议切一个新的备用分支哈希值不用加引号，错误方式：git reset --hard 'db0d2eb6'如下是操作方式图解：我们可以通过git log -g去查看所有的git操作记录，这样就可以git reset --hard 哈希反复横跳了，如下图：方式二 git checkou ...继续阅读 (169)

这是一个很容易混淆和误解的问题，值得拿出来讨论对比一下。我们知道 Debezium 是专门用于捕获 CDC 数据的开源框架，它对接了多种数据库，同时也定义了自己的 CDC 数据交换格式，也就是常说的 `debezium` 格式。而Flink CDC 复用了 Debezium 的部分功能，也就是说：Debezium 是 Flink CDC 的底层采集工具，Flink CDC 的工程依赖会用使用到 Debezium 的 Jar 包，然后 Flink CDC 在 Debezium 基础之上，封装了额外的功能， ...继续阅读 (155)

精通推荐算法：核心模块+经典模型+代码详解》一书主要介绍推荐算法技术，覆盖召回、粗排、精排和重排等模块，目的是让读者熟悉推荐算法的全部链路，加深体系化理解，并掌握关键技术细节。它能帮助你掌握推荐算法的整体架构、每个核心模块的知识框架，以及一些工作必备的经典模型，同时，能帮助你深入理解它们的出发点和具体实现方案，在实际工作中融会贯通。同时，推荐系统链路很长，包括召回、粗排、精排和重排等诸多模块，如何掌握整体架构，并深入每个模块理解其细节，就成为一件困难且重要的事。（3）模型经典，代表性强。 ...继续阅读 (183)

MSK 集群通常都是建在私有子网中的，这给本地访问带来了很多麻烦，特别是需要在本地使用 Kafka GUI 客户端管理和读写 MSK 数据的时候。本文会给出一套解决方案。我们这里讨论的问题有一点特殊性，那就是：由于 MSK 是托管服务，它的 Broker 主机名虽然映射了一个私有的 IP 地址，但是不能通过 SSH 登录的，这是比较特殊的一个地方，另一个地方是：Kafka 集群基本都是三个以上的 Broker，它的连接地址往往是三台以上的主机+端口号，这是另一个比较特殊的地方 ...继续阅读 (134)

昨晚九点半下课跟同学出去玩，刚刚才回来 …本以为玩一小时，路上来去半小时足以赶回学校，但是事实证明是我天真了，昨晚宜宾的倾盆大雨实在骇人，简直比我洗澡时候的水还大，让人寸步难行。 ...继续阅读 (134)

昨晚九点半下课跟同学出去玩，刚刚才回来 …本以为玩一小时，路上来去半小时足以赶回学校，但是事实证明是我天真了，昨晚宜宾的倾盆大雨实在骇人，简直比我洗澡时候的水还大，让人寸步难行。 ...继续阅读 (99)