近期做的一个项目需要传输数据给第三方。根据协定，采用MQTT进行数据的发送和订阅。一般来说，不通系统进行数据对接，一般采用RESTFul接口，走http。mqtt的话，顾名思义，就是一个消息队列。相比RESTFul接口，MQTT方式也许有个好处就是，数据传输给对方后，对方可以收到一个提醒。这个提醒来自于消息队列，不用自己搞。利用这个提醒，也许可以做点啥。除此之外，我不知道还有什么更多的好处。MQTT的要素：1）broker，经纪人，即代理地址，如：tcp://10.0.2.18:1883。 ...继续阅读 (228)

哈喽大家好，我是归思君~一、引言我们知道，作用域（Scope）就是代码中变量和函数的可访问的区域，这个区域中决定了变量和函数的生命周期。在当前的高级程序语言中，主要有词法作用域（静态作用域）和动态作用域两种。静态作用域：其作用域是在编写代码时就已经确定好，静态作用域是根据变量和函数在代码中的位置来决定。函数寻找变量时，是在函数定义的位置中寻找，而不是调用的位置。现在大多数编程语言都采用的是静态作用域，比如 C, C++, Java, JavaScript, Python 等动态作用域：是在程序运行时根据程序的调用栈来动态确定，而不是在写代码时静态确定。在函数寻找变量时，根据函数调用的位置来寻找。这意味着同一个变量名在不同的调用上下文中可能指向不同的变量，可以用 Js 中的 this 值来进行理解，只有在调用时才知道 this 值的指向，动态作用域类型语言中的所有变量都是以这种形式来确定。动态作用域在现代编程语言中较少见，在某些早期语言中比如 Lisp其实这两种作用域的区别主要是作用域中的变量和函数，是在编译期还是运行期确定的，从词法分析角度讲，如果是通过静态词法分析而得出的时候，它就被称为词法作用域：JavaScript 中就采用的是词法作用域（静态作用域），下面就来详细看看：二、全局作用域和函数作用域从范围上分，JavaScript中的作用域有三种：全局作用域、函数作用域和块级作 ...继续阅读 (135)

今天做了什么： 重构微服务项目中使用 spring-security-oauth2 搭建 OAuth2 认证服务和资源服务的代码，减少其他模块对此的耦合度。计划将 spring-security-oauth2 迁移到 spring-security-oauth2-authorization-server 上，即使用 OAuth2.1 授权和认证。Spring Authorization … ...继续阅读 (157)

最近有小伙伴们反馈总是收到一些令人讨厌的评论，虽然成功被垃圾评论插件过滤了，但看到后还是会很闹心。杜老师也收到这类评论，虽说手动屏蔽但感觉很麻烦。这里我们分享一下如何借助面板插件，实现对该类评论的拦截~写在前面常访问的小伙伴都知道杜老师有个聊天室，有些小伙伴没事会过来摸鱼聊天。其中 obaby 经常来，前段时间分享一张截图，是博客后台的评论管理页面，里面的留言内容很令人反感。虽说被插件拦截了，但看到还是很闹心。杜老师也收到类似留言，除手动屏蔽外，还提交到不良信息举报中心。可能是举报中心需处理的数据量较大，这个留言者迟迟未处理。杜老师等其它博友依旧可以收到相关评论，故杜老师决定通过技术手段，拦截该类信息提交。经过分析发现，评论提交者会经常变动昵称、邮箱，但网址一直没变动。所以对关键词进行拦截即可。某塔面板如果使用某塔面板，可以安装 Nginx 免费防火墙。打开防火墙页面后，切换到全局配置项，找到 POST 过滤的规则：Nginx 免费防火墙默认包含很多的拦截项，这些都不用管。将需要拦截的域名，输入到下图中dusays.com处，点击后面添加即可：某 Panel 面板如果使用某 Panel 面板，并使用 OpenResty 引擎，则无需安装额外的插件。该引擎自带过滤器。点击左侧网站，进入到需要过滤的网址：在网站设置页面中，切换到安全项。找到下方的 POST 参数校验「默认关闭，需要手动 ...继续阅读 (147)

byzhangxinxufromhttps://www.zhangxinxu.com/wordpress/?p=11088鑫空间-鑫生活本文欢迎分享与聚合，全文转载就不必了，尊重版权，圈子就这么大，若急用可以联系授权。一、效果抢先体验纯JS就可以实现人脸识别功能，加载模型，执行识别。眼见为实，您可以狠狠地点击这里：JS判断人脸画面区域demo本demo提供了3处交互案例，分别是无人脸，有人脸和自定义上传。例如第一张图，显示无人脸：其实，是有个小小的人脸的，我一开始也没注意，因为图片尺寸比较小，哈哈哈，如果是大尺寸图片，估计是可以识别的。第二张是我的社交网站头像，点击“识别”按钮，可以看到脸上有个黄色的框框：演示页面还支持上传本地图片进行检测，例如我选择了之前介绍LUT滤镜应用文章使用的素材截图，结果显示两个人脸，并准确定位了：二、项目及用法示意我用的是这个项目：https://github.com/WebDevSimplified/Face-Detection-JavaScript仓库比较简单，一个JS文件，face-api.min.js，然后就是模型文件。别看仓库没有那些花里胡哨的各种安装包和JSON文件，识别的效果还老好了，使用也比较简单。首先，第一步，引用JS，直连即可：第二步，加载模型，指向models文件夹的路径，代码如下所示：// 加载人脸识别模型 Promise.al ...继续阅读 (178)

可能你没有注意到，从 WordPress 6.4 版本开始，新安装的 WordPress 站点已经完全禁用附件页面。屏蔽附件页面功能可能很多就会问了，什么是附件页面，在 WordPress 6.4 版本之前，WordPress s默认会为每个上传的附件生成一个类似文章详情页的附件页面，用于展示上传的文件，如图片、文档等。对于绝大多数的网站来说，这些附件页面没有什么什么意义，但是它们确实就在那里，甚至会被搜索引擎索引，甚至还会在搜索结果中有排名，这导致了非常不好的体验。所以 6.4 版本就引入了一个名为wp_attachment_pages_enabled选项来控制页面附件是否显示：对于已有的网站，该选项在升级的时候被设置为 1，以便保持附件页面继续有效。对于新网站，该选项默认会被设为 0，这意味着附件页面将重定向到附件 URL。当禁用附件页面功能时，后台的“查看附件页面”链接也会被更改为“查看媒体文件”。「图片集」插件增加相关开关虽然我们可以通过各种方式设置该选项，比如在wp-admin/options.php查找wp_attachment_pages_enabled，然后设置为 0，但是这样设置有点伤眼睛，在一堆选项中查找并设置，也容易出错，所以我在WPJAM 的「图片集」插件的设置页面中集成了「屏蔽附件页面」功能的开关：勾选之后，就屏蔽了附件页面功能。另外我在 #WPJAM B ...继续阅读 (217)

大家好，我是煎鱼。在我们学习和平时使用 Go 时，一定会涉及到一个内置函数 panic：func panic(v any)调用该函数后会停止代码的控制流程并开始恐慌，达到扭转当前程序控制流的目的。在使用上也常常和 defer 和 recover 关联上。快速 Demo以下是一个简单的使用 Demo：func main() { panic("脑子进煎鱼了") _, err := os.Create("/tmp/file") if err != nil { log.Fatalln(err) } }输出结果：$ go run demo.go panic: 脑子进煎鱼了 goroutine 1 [running]: main.main() /Users/eddycjy/demo.go:10 +0x25 exit status 2看着都没什么问题。输出结果符合预期。一点争议由于 Go 起协程（goroutine）非常简单、方便，因此绝大部分开发者在应用程序中会经常用 goroutine 去做各种并发处理的逻辑，一看不小心。就很有可能会引发程序中的 panic，导致整个应该程序崩溃，出现事故。（见过好几起低级错误了）有一个比较常见触发的场景之一：空指针调用。时不时就能见到几个应用又诱发了。如下代码：type T struct { ...继续阅读 (117)

最近在使用 Google 搜索的时候，发现在第一页的搜索结果里，竟然出现了黑产的引流内容。我的搜索关键词”上海到南京网络延迟”，结果第一页出现了外围的引流贴，如下图所示：要知道 Google 可以靠搜索技术起家的，它的搜索结果一直都是非常准确的，这次居然出现了黑产的引流贴，看来黑产确实找到了 SEO 排名算法漏洞，并进行了有效攻击。接下来我们从搜索结果来猜猜看黑产到底是怎么做的吧。引流落地页面之前看到的广告引流，都是自己的一些页面，里面乱七八糟的内容。Google 这次出现的黑产引流页，居然是 google.com 域名下的，点进去看是地图里的一个页面。看来是黑产在 Google 自家的 Google Map 产品上留了引流内容。这里引流文本加入了色情对抗扰乱，但是人还是一眼可以看到其目的。截止本文截图，这条文本已经有 133 次查看。那么其他关键词会不会出现这个黑产的引流页面呢？试了几个地名相关的搜索，比如”广州哪里好玩”, “广州到深圳出差”, “广州到付”，第一页结果都很正常，没有出现黑产的引流页面。接下来在搜索词带上黑产页面中的部分关键词，比如上门，质量，外围等，搜索到的内容就不堪入目了。比如下面这个结果：还有这个：排名靠前的这些页面全部是 Google Map 里面的页面，页面里堆砌各种关键词，同时留下联系方式等文本。除了这类色情引流，还有其他的吗？接下来简单试试。先来尝 ...继续阅读 (289)

async-profiler 是非常主流的 Java Profiling 工具之一，且对 Linux 支持良好，适合分析运行在服务器上的 Java 应用程序在 CPU 和内存上的占用情况。本文介绍一下 async-profiler 的安装和使用方法。 ...继续阅读 (142)

TCP中的连接和断开可以说是在面试中经常被问到的问题之一，正好有空就总结一下，首先回顾一下TCP的相关知识点1. TCP的基础知识1.1 TCP的基本概念我们知道TCP是运输层的面向连接的可靠的传输协议。面向连接的，指的就是在两个进程发送数据之前，必须先相互“握手”，确保两进程可以进行连接。并且这个传输是点对点的，即一个TCP连接中只有一个发送方和接收方；可靠的，指的是在任何网络情况下，在TCP传输中数据都将完整的发送到接收方。1.2 TCP的报文段结构源端口和目的端口：和UDP一样用于多路复用/分解来自或送到上一层序号：一个报文段的序号是整个传送的字节流序列，而不是该报文段的序列确认号：主机正在等待的数据的下一个字节序号数据偏移：指TCP首部的长度，可变。默认长度为20字节窗口：用于流量控制，用于指示接收方愿意接受的字节数量标志字段：ACK：当该位为1时，确认号有效RST：该位为1时，表示TCP连接中出现异常必须强制断开连接SYC：该位为1时，开始建立连接，并且序号字段进行序列号初始值的设定FIN：该位为1时，断开连接，通信双方相互交换FIN位置为1的TCP段后断开连接2. TCP连接2.1 什么是连接(connection)和会话(Session)连接是数据传输双方的契约，在设计上，连接是一种传输数据的行为，具体来说，数据收发双方的内存中都建立一个用于维护数据传输状态的对象， ...继续阅读 (125)

最近的一个项目中，对于 CSS 的一些属性一些选择符可以大胆使用，然后很意外得撞上一个 iOS 中 Safari 的一个解析问题。一个组件这样的一段代码很简单，然而就是这样的一段简单的代码，在 iOS 中出现了让误以为不兼容[style*='100vh - 46px']这个写法。为什么说是误以为呢，因为当时有一个需要是要在移动端中去改变这个组件的高度，所以，我就想着，为什么不用属性选择符来快速实现呢，这样还可以不用去考虑写类名。于是我就写了这么一句 CSS。[style*='100vh - 46px'] { height: calc(100vh - 100px) !important; }在 Chrome 里模拟移动端看看，嗯，很 OK 么，高度改变了。然而也就只是高兴了一下，就在 iOS 中发现高度并没有改变。十分好奇，通过数据线接上手机，打开 Safari，进入开发者菜单找到 iPhone 选项，开始调试 iPhone 上的打开的这个页面。⇧⌘C，开始选择元素，然后在 iPhone 上点一下那个组件元素，快速定位到对应的元素上。然后在 DOM 中发现了一个很神奇现象。原本应该是100vh - 46px的属性值，变成了-46px + 100vh了。所以也就是为什么我的 CSS 没有作用的原因了。就因为这个原因，我刚开始都怀疑是不是*=这个属性选择符的规则还存在兼容问题，或者是 ...继续阅读 (163)

说明：XFS格式的LVM磁盘分区默认只能扩大不能缩小，需要利用xfsdump/xfsrestore工具缩小LVM分区 需求：把/data分区缩小至500GB，把空闲容量扩容到/root分区 #查看磁盘信息 fdisk -l #查看LVM lvdisplay #安装xfsdump yum -y install xfsdump #卸载/data分区 umount /data umount -l /data #强制卸载 #将/data逻辑卷缩减至500GB lvreduce -L 500G /dev/mapper/centos-data #增加/root逻辑卷的容量 lvextend -l +100%FREE /dev/mapper/centos-root #重新识别分区大小 xfs_growfs /dev/mapper/centos-root #重新挂载/data分区 mount /data 至此，Linux下缩小LVM磁盘空间完成。      » 本文链接：https://www.osyunwei.com/archives/14133.html» 订阅本站：https://www.osyunwei.com/feed» 转载请注明来源：系统运维 » Linux下缩小LVM磁盘空间查看全文 ...继续阅读 (198)

匆匆，时光从指尖溜走，匆匆，时光染白了发梢，匆匆，时光在倾听着我们匆匆的脚步。2023年，平凡而又非常不同以往，一个50多岁的IT人再一次换了工作，对那些贩卖焦虑的人来说往往被称为特例，或者被当成幸存者偏差，浮躁和无奈会蒙蔽人们的视听，让人们看不到他们不能轻易得到的东西。事实上可能并不复杂，可以扪心自问，我们真的喜欢技术么？能够从工作中获得乐趣么？工作乐趣工作的乐趣大体有三个。第一个是赚钱养家，赡... ...继续阅读 (196)

This content is password protected. To view it please enter your password below:Password: ...继续阅读 (206)

【摘要】一：背景 1. 讲故事 在dump分析的旅程中也会碰到一些让我无法解释的灵异现象，追过这个系列的朋友应该知道，上一篇我聊过 宇宙射线 导致的程序崩溃，后来我又发现了一例，而这一例恰恰是高铁的 列控连锁一体化 程序，所以更加让我确定这是由于 电离辐射 干扰了计算机的 数字信号 导致程序的bit翻转，而阅读全文 ...继续阅读 (174)

亚马逊云科技提供的免费套餐中包括Amazon CloudFront，Amazon CloudFront 是一种快速的内容分发网络（CDN）服务，旨在安全、高效地分发数据、视频、应用程序和API到全球范围内的用户，借助于亚马逊云科技的全球边缘节点网络。通过缓存内容并优化传输，它能显著提升网站和应用的加 ...继续阅读 (153)

2023 年，生成式 AI 的火爆，让越来越多的组织开始引入 AI 辅助编码。与在 2021 年发布的 GitHub Copilot 稍有差异的是，代码补全只是重多场景中的一个。 大量的企业内部在探索结合需求生成完整代码、代码审查等场景，也引入生成式 AI，来提升开发效率。 在这个背景下，我们（Thoughtworks）也开发了一系列的开源工具，以帮助更多的组织构建自己的 AI 辅助编码助手： - [AutoDev](https://github.com/unit-mesh/auto-dev)，基于 JetBrains 平台的全流程 AI 辅助编码工具。 - [Unit Eval](https://github.com/unit-mesh/unit-eval)，代码补全场景下的高质量数据集构建与生成工具。 - [Unit Minions](https://github.com/unit-mesh/unit-minions)，在需求生成、测试生成等测试场景下，基于数据蒸馏的数据集构建工具。 由于，我们设计 AutoDev 时，各类开源模型也在不断演进。在这个背景下，它的步骤是： - 构建 IDE 插件与度量体系设计。基于公开模型 API，编写和丰富 IDE 插件功能。 - 模型评估体系与微调试验。 - 围绕意图的数据工程与模型演进。 也因此，这个教程也是围绕于这三个步骤展开 ...继续阅读 (249)

kg-card-begin: markdown视频先行哔哩哔哩YouTube下面是视频内容的脚本文案原稿分享。文案原稿大家好，我是扔物线朱凯。Kotlin 的by关键字，我们平时用得挺多的，比如用by lazy来设置属性的懒加载：va ...继续阅读 (126)

接着上一篇对于Dify中类似GPTs、Agent部分的介绍，本文将重点介绍知识库等Memory方面的分析，包括如何进行提升。1 知识库1.1 创建流程第一步 提交文档目前支持两种方式的数据源提交第二步 文本分段和清洗以一种实时交互的方式展示切片信息，并提供了丰富的分段逻辑和切片清洗逻辑（下文详细描述）第三步 创建成功的引导整个创建过程和主流的处理方案基本一致，但交互更加细腻，尤其是准实时的方式展示切片效果方便对chunk不熟悉的用户有一个直观的感受。同时，提供了多种的高级设置。进入详情页面后可查看同步的数据信息，并进行后续的管理同时支持召回测试，通过搜索验证召回效果除了支持创建时候的索引模式、检索设置之外，也支持权限等配置1.2 高级设置在本章节，将重点分析知识库中的一些高级设置。分段设置系统支持进行自定义的切片逻辑；但从过往的实际经验来看，文档内容提取和切片其实是两个过程。由于不同格式数据的影响，在进行内容提取时候并不十分精准；比如图片、表格、分栏格式等处理还需要重点进行关注。另外，业界大多也任务，切片对搜索精准率的影响比重较大，中英文等切片规则可能也不一样，这些都需要在实际工程中进行验证测试，不能一概而论。索引方式系统提供了两种方式：第一种通过Embedding进行向量化，后续依赖向量数据库的近似匹配完成搜索，需要消耗一定的token；第二种是通过传统关键词搜索的方式构 ...继续阅读 (182)

简介 在 Docker 管理领域，Dockge 作为一个自托管解决方案，致力于简化管理众多 Docker Compose 文件的流程。这个工具由知名的 Uptime Kuma（一款流行的运行时间监控软件）的开发者打造，目的是提供一个既简单又直观的界面，以便于用户更高效地管理 Docker。 观看视频 ...继续阅读 (213)

ForewordPrompt的入门指南，简单使用Prompt Engineering是一种在自然语言处理领域的技术，它通过设计、优化和评估输入提示（prompt）来引导大规模语言模型（如GPT系列模型）生成期望的输出。简而言之，Prompt Engineering就是找到最佳方式向模型提问，以获得最有用、最准确的回答PromptPrompt，就是如何让AI按照你的设想去完成你的目标我们一般将给大模型的输入称为 Prompt，将大模型返回的输出称为 Completion，让大模型帮我们做补全角色扮演角色：描述LLM在这里扮演的角色是什么样的，核心就是给出来问题的背景信息和约束问题描述：说清楚要处理的是什么问题输入描述：给出具体输入给大模型的数据或者命令是什么样的输出描述：给出具体的输出格式，方便后续的程序采集和处理示例：你现在是一个初中三年级的学生（描述背景和文化水平限制）请回答一下1到9的乘法口诀表？（描述问题、输入）请输出按照如下格式输出（输出描述）1*1=11*2=21*3=3可以看到输出的格式基本正确角色扮演，通常叫做4A模型Act 角色 Action 执行，需要回答的问题 Advise 注意，背景限制 Additional 额外的补充，输入的内容选择题选择题比较简单角色：描述LLM在这里扮演的角色是什么样的，核心就是给出来问题的背景信息和约束问题描述：说清楚要处理的是什么问 ...继续阅读 (396)

ForewordDALL·E-3 由于GPT的强势，其理解能力大幅提升，绘画能力进步神速DALLE完整图片出错在画下面这副图时出现了错误简单的纠正，继续出错再次纠正，正确了SummaryDALL·E 3 确实很不错Quotehttps://zhuanlan.zhihu.com/p/669649442 ...继续阅读 (146)

需求场景之前说到的我们的公共组件平台相对于业务时一个独立的服务；发现基于RPC的服务不好用，想替换为RESTful的服务；-》 需要修改公共服务平台的代码和调用方代码保险起见需要灰度替换老的服务。需要先让流量小不重要的业务先试用，一段时间验证没有啥问题后再逐步推全。问题：出问题回滚会导致调用方部分业务功能也一起回滚。问题：不回滚，直接替换RESTfull的代码，然后基于这个代码再做修改，merge back之后可能会引起冲突（RESTful框架开放过程中进入的功能代码在开发分支没有）解决回滚成本高的问题：增加功能开关，新老逻辑并存。（为了开关导致的部署上线，可以将这个flag放在配置文件）如何实现灰度？决定灰度的对象： 时间戳。业务ID，按照区间、比例或者具体值来做灰度。比如要根据用户ID做灰度：先配置用户ID123， 456， 789的查询调用新接口，没问题后再让1000-1100之间的查询新接口；如果还是没问题我们再继续扩大范围让10%用户的查询请求调用新接口。对于复杂功能，核心功能即使不做灰度也建议通过功能开关灵活控制上下线。再不需要部署和重启系统的情况，做到快速回滚或者切换。需求分析这个需求的灰度是代码级别的灰度，平时所说的一般是系统层面（不同版本的灰度让新版本平滑上线）或者产品层面（ABTesting 给不同的功能对比用户体验）的灰度。功能性需求开关~~灰度对象~~ 灰度 ...继续阅读 (40)

迟来的2023年终总结：关于工作工作今年算运气不错吧，去年年底被裁员后，本来以为以咱的垃圾学历和技术，再加上互联网寒冬，估计要失业蛮久的。但运气看来还好，不到一个月就找到了新公司，薪资变化不大，不加班，标准的975，比之前公司感觉好了很多。好像我找工作一直都运气蛮好的，平均面试3次基本上都有一次可以过，毕业到现在也有8年多了吧，从上海到深圳，换了也有4家公司了，这是第五家了，平均2年一家公司，然后有一家是被裁员，也算是什么都经历过了。也不清楚程序员这行能干多久，有存款才有勇气。关于开发今年工作有了时间，就想着完成一些以前就想做的开发项目了，博客也算之一，所以就有了这个博客，虽然是用的开源的框架，但也弄了些自己的东西，例如分享啊，数据统计啊，评论，域名，CDN什么的，虽然没什么流量，但在网络上有了自己的一个网站还是蛮开心的。除了博客外因为今年chatgpt的普及，很多以前很费时间的技术都可以简单的开发了，例如前端页面之类的，虽然技术力有限，但还是弄了一个chrome插件游戏来玩玩，还是蛮有趣的，以后有好点子说不定还可以继续开发一些好玩的浏览器插件。关于旅游今年总算可以正常出国旅游了，5月去了上海玩3天，10月去了东京-京都-大阪玩了8天。抛开工作烦恼和国内的压力，能到国外享受旅游真的很放松，看什么都很新鲜。就是国庆旅游花费贵了些，明年应该会办理三年多次的签证，以后淡季去玩应该会便宜很 ...继续阅读 (43)

Cucumber-JVM 是一个支持 Behavior-Driven Development (BDD) 的 Java 框架。在 BDD 中，可以编写可读的描述来表达软件功能的行为，而这些描述也可以作为自动化测试。 ...继续阅读 (207)

今天做了什么： 微服务项目中认证服务器配置授权码模式，并测试通过 扩展 RedisAuthorizationCodeServices ，支持设置过期时间。 注意：OAuth2Authentication 无法从 json 反序列化，故无法使用 JSON 反序列化类，只能使用 JDK 反序列化类。 扩展 BearerTokenExtractor，支持从 request 请求的 header … ...继续阅读 (157)

众所周知现在是一个信息爆炸的时代，人们创造、生产信息与内容，同时也在消费内容。如宋星老师在之前文章里提到的，“现在把内容创造以及内容管理都玩转的企业，已经开始收割一波红利”。 也就是说，对品牌而言，内容比过去任何时候都需要被重视，与此对应结 […] ...继续阅读 (142)

上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。我之前使用Bright Data的代理，是因为突然有一天我的HuggingFace爬虫挂了。比较奇怪的是，这个爬虫在我电脑上始终正常运行，但一放到服务器上就请求失败。联想到HuggingFace被封了，而这个爬虫之前一直使用的国内代理供应商，那么原因就很明显了。因为我的电脑是24小时挂着梯子的，所以能够正常访问HuggineFace，但爬虫部署到服务器上面以后，他会自动使用配置好的国内代理。由于国内代理也受到GFW的影响，因此也会出问题。首先看一下Bright Data他们代理的基本功能，基于数据中心的隧道代理和基于住宅IP的隧道代理还有基于Sim卡的隧道代理。海外代理都是按流量收费的，确实比较贵，如下图所示。数据中心的代理IP，每GB流量收费0.1美元。住宅IP的代理IP，每GB流量收费15美元。以数据中心代理为例，我开通的是隧道代理，只需要设置一个固定的地址，爬虫每次请求自动都会使用不同的IP。如下图所示：当我们不使用代理时，访问HuggingFace会出现一直没有响应最后超时的情况。当我们在海外服务器上面使用代理访问HuggingFace时，一切正常。作为海外代理，Bright Data的隧道IP在海外服务器上面访问HuggingFace是正常的。如下图所 ...继续阅读 (176)

该方案是为某用户定制的 HBase 灾备方案，方案本身具有很好的适用性，可以复用于常规 HBase 灾备场景。用户对 HBase 的灾备工作非常重视，每周会对 HBase 进行一次全量备份，将快照上传至 S3 保存，同时，在消息队列和其他数据库中保存着两周以内的增量数据，当 HBase 宕机时，会先还原快照将数据库恢复至一周内某一时刻的全量状态，然后再从其他系统读取一周内的增量数据进行补录，直至数据追平。本文将重点讨论 HBase 基于快照的例行备份和灾后恢复操作，并给出详细的解释和操作脚本。 ...继续阅读 (154)

在上面参数里，定义我们自己定义的窗口页面CustomDialogExample，同时设置了自定义窗口的回调函数cancel和confirm，当在自定义窗口里点击对应的按钮时，就会调用外面父窗口的函数处理。要显示弹出窗口，我们需要来定义一个弹窗口的布局和显示内容，这些与普通的窗口是没有区别的，只是需要添加一个装饰器@CustomDialog。可见自定义弹窗主要有两个内容，一个是定义弹出窗口的内容和回调函数，另一个是构造一个控制对象。有了自定义窗口，还不行，需要一个事件来触发弹出这个弹式窗口。 ...继续阅读 (182)