用了很久的ZooKeeper了，稍微做个总结。ZooKeeper（以下简称ZK）是一个分布式组件，基于类似Paxos的ZAB一致性算法来实现。ZK保存的数据结构类似于一般的文件系统，只不过在ZK中文件夹也可以拥有数据，整体文件结构为一棵树型。安装ZooKeeper去官网下载压缩包，随后使用rsync同步到三台机器上，我使用如下三台机器172.19.65.196172.19.72.108172.19.72.112解压压缩包，使用cp conf/zoo_sample.cfg conf/zoo.cfg得到配置文件，在三台机器的conf/zoo.cfg中添加如下配置dataDir=/home/zookeeper/apache-zookeeper-3.8.0-bin/dataserver.1=172.19.65.196:2888:3888server.2=172.19.72.108:2888:3888server.3=172.19.72.112:2888:3888然后在三台机器的dataDir目录下创建myid文件vi /home/zookeeper/apache-zookeeper-3.8.0-bin/data/myid三台机器的myid文件中对应修改的内容如下机器内容172.19.65.1961172.19.72.1082172.19.72.1123启动ZK集群修改完毕之后使用命令依次启 ...继续阅读 (115)

创建模式模式名称工厂模式单例模式结构模式模式名称模式描述适配器模式将不兼容的组件，通过添加一个适配器兼容起来桥接模式将多种属性组合起来进行配置，而不是死板的放在一个类中去定义*组合模式树状的结构，一层一层的向下去推进装饰模式父类引用指向子类对象，一个接口对应着多个不同的实现外观模式对复杂的对象进行一层封装，只暴露出少量的自己所需要的功能享元模式通过工厂方法创建对象，这些对象内部不可变并且被所有的引用所共享，以实现对内存的节省代理模式实现对某种操作的封装，以实现一种对目标对象的代理行为模式模式名称模式描述责任链模式任务被交给职责链，每一个接受者都依次处理这个任务命令模式把操作封装起来作为一个命令，GUI上面的模块只需要调用这个命令即可以实现命令操作迭代器模式一个模块一个模块的向后递归遍历（链表）中介者模式在多个组件之间创建中介者，通过中介者这些组件才能相互联系备忘录模式对象内部有一个不可以被修改的备忘录，调用快照方法可以获取到这个备忘录的原始状态数据观察者模式发布者在发布消息时，订阅者能够收到发布者所发布的订阅者所订阅的消息状态模式将所有的状态都抽象到一个类中，通过调用这个类的方法的方式来修改其状态策略模式创建不同的策略，在对象中设置它所需要的策略，最终执行的时候会执行它所设置的策略逻辑模板方法模式对所有类都会用到的一些同样的方法，把这些方法创建在模板中，所有的类使用模板类中所创建的 ...继续阅读 (122)

在树莓派3b安装系统中我们已经讲了如何在树莓派上面安装操作系统并且如何通过SSH连接到树莓派，在这篇文章中我们将介绍一下如何通过树莓派搭建一个Samba文件共享服务。首先我们先在树莓派上安装Samba服务sudo apt-get updatesudo apt-get install samba之后我们在用户pi的home目录中创建一个用于共享的文件夹，并修改其权限为777mkdir Sharechmod 777 Share随后我们修改Samba的配置文件sudo vi /etc/samba/smb.conf在配置文件的底部添加如下配置[pi] path = /home/pi/Share public = yes writable = yes create mask = 0777 force create mode = 0777 directory mask = 0777 force directory mode = 0777 read only = no browseable = yes guest ok = yes guest only = yes配置文件修改并保存了之后，我们重启Samba服务sudo service smbd restart这样一个符合我们需要的Samba服务就启动起了。我们使用同一局域网下的一台Windows主机，打开它的文件资源管理器 ...继续阅读 (107)

本文翻译自：https://lapinozz.github.io/learning/2016/11/19/calculator-with-caordboard-and-marblesLOGIC这是什么？LOGIC是一个全部由纸板、弹珠和胶水制作而成的全功能4位计算器，它可以对从0到15的数字进行加法计算，最大的可计算数字为30，我和我的妹妹为了一向科学活动而一起从零开始制作了这个设备。在这之前，我们还没见过任何用乐高或木头之类东西制作的这类计算器，所以这次我们制作的是一个以前从未有过的全新的模型。为什么要制作？主要是因为好玩！我一直想要制作一个加法器，但是我一直都没想好要如何制作它，我之前有想过用水或者只用纸板来制作。正好我的妹妹有一个科学活动，活动需要提交一个科学项目，我就帮助她选择了一个科学项目。我无意中看到了一个视频：用多米诺骨牌制成的计算器，因此我就想我也许可以用弹珠来制作一个计算器？从这个项目可以学到什么？通过这个项目，我的妹妹已经学会了二进制计数、二进制加法、二进制十进制的互相转换、逻辑门、基本的逻辑电路等等的知识。我也学到了使用身边常见的材料来制作一个逻辑电路是多么的简单，在我的项目中我使用的都是身边最常见的东西。它看起来是什么样子的？哇，那你怎么使用它呢？将数字用二进制的方式放在输入端，有弹珠的就是1，没有弹珠的就是0。右边的位是最低有效位，在每次计算前我们需要把计 ...继续阅读 (106)

在我们买房子的时候，如果手上的现金不够，可以选择通过向银行借钱的方式来得到缺少部分的购房现金。一般来说，我们以房子本身作为抵押来向银行借钱，借到钱之后我们就可以用手上的钱向开发商购买房屋，之后只需要按月向银行还钱即可。如果我们单方面对银行进行债务违约，则银行有权利收回借贷抵押物即该套房屋。当然天下没有免费的午餐，在我们向银行借钱的时候，是需要向银行支付利息的。以中国人民银行2020年12月21日的5年期以上全国银行间同业拆借中心LPR公布价为例，该值为4.65%，其决定了2021年一整年的房贷利率。当然，商业银行在真正进行贷款发放时可能会对利率进行一定的上浮或打折。基准利率与LPRLRP是央行在最近几年刚刚推出的一个新的利率计算方式，在以前，购房的利率主要参考的是央行基准利率，基准利率的当前值为4.9%。如果你之前的利率是锚定在基准利率上的，根据中国人民银行公告〔2019〕第30号中规定的商业性个人住房贷款的加点数值应等于原合同最近的执行利率水平与2019年12月发布的相应期限LPR的差值，那么将购房贷款利率的锚从基准利率改为LPR的计算方式如下（已知2019年12月发布的LPR的值为4.8%）实际购房的房贷利率 - 4.8% + 当前LPR利率例如你在2015年买房，但是当前的利率是有折扣，我们假设是9折，则贷款的真实利率为4.9% x 0.9 = 4.41%，即最终的贷款利率是 ...继续阅读 (104)

那是一个平静的上午，我因为业务需要决定给我们的Elasticsearch（以下简称ES）集群添加几个节点，当前集群ES的版本为7.5.2，而待添加的节点都是从之前的1.5.2版本的ES集群中移出来的。当前的7.5.2集群已经有了6个数据节点，我这次的工作就是准备再添加5个新的数据节点上去。因为这5个节点都是之前1.5.2版本的ES集群的数据节点，并且在之前的集群中稳定的运行了好几年也没有出现过任何问题，所以我对它们的配置都是很放心的，这种大意的态度就为接下来的悲剧埋下了伏笔。因为这些节点在之前的集群中都没什么问题，所以我就一次性把这5个节点全部添加到了ES7集群中成为了数据节点。出现错误节点添加之后，ES集群开始进行分片的重新平衡，整个集群开始进行分片的搬迁和复制操作，我们的工作似乎很快就要完成了。很快，这种平静就被手机短信的铃声所打破了，短信提示业务突然开始出现了大量的读写失败错误！同时企业微信的告警群也开始大量告警，告警信息显示的都是CircuitBreakingException类型的异常，具体的报错信息我摘录部分如下[parent] Data too large, data for [] would be [15634611356/14.5gb], which is larger than the limit of [15300820992/14.2gb], real us ...继续阅读 (94)

最近我们搭建了一个新的Elasticsearch（以下简称ES）集群，集群中有3个master节点和6个data节点，集群使用到的ES版本为7.5.2。其中master节点JVM的堆内存设置为2GB，data节点JVM的堆内存设置为30GB，master和data节点都只用作单一的节点角色（即节点不会同时是master和data两种角色）。因为master不存储数据，所以我们给master三台负载的配置都比较低。master配置不够导致读写出错我们在操作ES集群的时候使用了elasticsearch-py这个ES的Python操作库，问题在于这个库在操作ES的时候会先根据ES的/_nodes/_all/http接口获取集群所有节点的HTTP接口地址，之后利用这些接口地址对ES进行读写。当然elasticsearch-py会在这些接口地址间做负载均衡以及错误重试等等操作，但是/_nodes/_all/http接口会同时返回master、data以及一些其它角色节点的HTTP接口地址，这就导致elasticsearch-py在后面操作集群的过程中既会读写data节点，也会读写master节点。因为我们master节点的配置很低，所以一旦在master节点上面进行读写操作，那么master节点的压力尤其是内存的压力就会比较大，经常就会出现circuit_breaking_exceptio ...继续阅读 (98)

与C、C++等手动管理内存的编程语言不同，Java程序在运行时会自动对内存中不再使用的对象进行检测，并回收这部分对象所占用的内存空间。在JDK中，JVM将堆（heap）内存分为了不同的区域块，每种区域会使用不同的垃圾收集器，每种垃圾收集器又会使用各自的垃圾收集算法。因此JVM的垃圾收集设计大致架构如下，从上至下越来越偏向于细节，本文使用自底向上的方式进行介绍堆内存堆内存分为多个区域每个区域使用了不同的垃圾收集器每种垃圾收集器使用了一个或多个垃圾收集算法垃圾收集算法检测垃圾的方式一般有引用计数法和可达性分析两种，因为引用计数法无法检测到循环引用的垃圾对象，所以现在JVM中进行垃圾检测都是使用的可达性分析方法。在检测到了垃圾对象之后，JVM就需要对这些垃圾对象进行垃圾回收（英语：Garbage Collection，缩写为GC），JVM中使用到的GC算法主要由如下三种标记-清除算法（Mark-Sweep）该算法分为标记和清除两个步骤，第一步标记是将所有活动的对象做上标记，第二部清除是将所有没有标记的对象进行回收。标记-压缩算法（Mark-Compact）标记压缩算法和标记清除算法基本上一致，只是标记清除算法过程只能单纯的把对象内存空间给释放出来，时间长了会造成内存碎片的问题。标记压缩算法在标记清除算法的基础上会对存活的对象进行移动，之后把这些对象向某一端进行移动来保证有完整的内存空闲空 ...继续阅读 (88)

最近对Elasticsearch（以下简称ES）进行了升级，升级之后把部分数据从之前的ES-1.5集群同步到了现在的ES-7.5集群，之后在新集群中进行数据查询的时候发现会有偶发性的查询非常慢的情况。新集群的大部分查询耗时都在10ms以内，但是偶尔却会出现800ms左右的超高查询耗时，本文记录了该问题的排查过程。GC的原因？首先我们怀疑是ES的GC导致了偶发性的慢查询，我们知道JVM的GC会导致Stop The World现象，在GC时节点无法处理任何逻辑导致查询行为被阻塞最终导致超长的查询耗时，而GC这种行为本身也是会偶发的，所以和我们观察到的偶尔出现查询耗时非常高的现象非常吻合。我们观察ES运行的GC日志，并未看到有延迟特别高的GC行为，而且也没有看到任何Old GC的动作，因此这些慢查询应该并不是因为JVM的GC行为导致的。顺便介绍一下，我们使用的是ES-7.5.2自带的bundled JDK，它的版本为13.0.1~ java -versionopenjdk version "13.0.1" 2019-10-15OpenJDK Runtime Environment AdoptOpenJDK (build 13.0.1+9)OpenJDK 64-Bit Server VM AdoptOpenJDK (build 13.0.1+9, mixed mode, sharing)在 ...继续阅读 (87)

公司目前所使用的Elasticsearch（以下简称ES）版本是在2015年的时候选择的，当时选择了ES的最新版本1.5.2。随着ES官方的快速发展，ES也已经推出了很多新的版本，这些新版本往往伴随着一些新特性的发布以及性能的提升，为了使用到这些新特性，我们决定将ES的版本升级到7.5.2。ES版本升级会遇到API不兼容的问题，我们的解决办法是在业务和ES之间增加一层_搜索平台_来做接口兼容。此外我们在版本升级之前还需要了解一下ES-7.5.2相对于ES-1.5.2有多少性能提升，所以我们需要针对这两个版本做一下性能测试并对结果进行对比。我们使用如下的四台负载来做性能测试添加滚动条表格内的文字不折叠换行序号节点IPCPU型号CPU核数内存硬盘操作系统1172.19.66.58Intel(R) Xeon(R) CPU E5645 @2.40GHz23079520kB14GGNU/Linux 3.10.0-957.21.3.el7.x86_642172.19.66.70Intel(R) Xeon(R) CPU E5645 @2.40GHz23079524kB14GGNU/Linux 3.10.0-957.21.3.el7.x86_643172.19.66.77Intel(R) Xeon(R) CPU E5645 @2.40GHz23079524kB14GGNU&#x ...继续阅读 (92)