【摘要】通过部署llama2系列，可以构建本地私有的知识小助手 用来输出一写周报、月报，甚至辅助数据分析都可以（想想都很轻松） 想要大模型支持特定的数据集，就需要进行专业的fine-turing 但是fine-turing工作，是需要一系列的数据工程，向量化等工作，不太便捷 PromtEngineer/lo阅读全文 ...继续阅读 (54)

【摘要】通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的，你肯定很好奇，我也想训练一个自己的专属模型（也叫炼丹～_～）。 甚至可以训练一个专属家庭版的模型（family model），非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中阅读全文 ...继续阅读 (29)

【摘要】通过使用mnist（AI界的helloworld）手写数字模型训练集，了解下AI工作的基本流程。 本例子，要基于mnist数据集（该数据集包含了【0-9】的模型训练数据集和测试数据集）来完成一个手写数字识别的小demo。 mnist数据集，图片大小是28*28的黑白。包含了6w 训练数据和1w验证数阅读全文 ...继续阅读 (44)

【摘要】webrtc (Web Real-Time Communications) 是一个实时通讯技术，也是实时音视频技术的标准和框架。 大白话讲，webrtc是一个集大成的实时音视频技术集，包含了各种客户端api、音视频编/解码lib、流媒体传输协议、回声消除、安全传输等。 对于开发者来说可以借助webr阅读全文 ...继续阅读 (42)

【摘要】安装 CRD 出现这个错误，多数是版本问题，缺少openAPIV3Schema段定义。 The CustomResourceDefinition "crontabs.stable.example.com" is invalid: * spec.versions[0].schema.openAPIV3阅读全文 ...继续阅读 (29)

【摘要】使用 kubeadm 安装好 weave 网络插件之后，查看 kubelet 输出信息发现如下错误： 4月 25 13:51:48 k8s-master kubelet[1232730]: I0425 13:51:48.124142 1232730 cni.go:334] "CNI failed t阅读全文 ...继续阅读 (24)

【摘要】进入直播领域有段时间了。 跟大多数同学一样，刚接触直播这个领域都非常好奇这个领域的宏观架构大概是什么样子的。 这里根据自己的这段时间学习，粗浅总结下分享给感兴趣的小伙伴扫扫盲。 目前直播平台有很多，抖/快、B站、斗/虎等。 直播这种高效的交互方式是各行业需要具备的能力，随着网络技术的发展也是必然趋势。阅读全文 ...继续阅读 (42)

【摘要】minikube metrics-server pod 错误 启动 minikube addons enable metrics-server 之后查看 metrics-server pod 会有如下错误 Failed to pull image "k8s.gcr.io/metrics-server阅读全文 ...继续阅读 (30)

【摘要】使用minikube 学习ingress部分的时候。一定会踩到的坑。 minikube addons enable ingress 遇到的一系列错误。 waiting for pod "app.kubernetes.io/name=ingress-nginx", current state: Pending阅读全文 ...继续阅读 (29)

【摘要】在使用minikube学习的时候，会出现你在mac上安装的minikube默认是最新版本，但是实际情况是需要安装低一些版本。可以按照k8s官方文档安装的时候指定不同安装版本，如果很慢或者无法访问直接走github安装也行。阅读全文 ...继续阅读 (34)

【摘要】万级TPS亿级流水-中台账户系统架构设计 标签：高并发 万级TPS 亿级流水 账户系统 背景 业务模型 应用层设计 数据层设计 日切对账 背景 我们需要给所有前台业务提供统一的账户系统，用来支撑所有前台产品线的用户资产管理，统一提供支持大并发万级TPS、亿级流水、数据强一致、风控安全、日切对账、财务阅读全文 ...继续阅读 (34)

【摘要】read-loadbalance master-slave(n) 读库集群负载均衡器(简单轮询)+时间间隔错峰。 github 地址：https://github.com/Plen-wang/read-loadbalance 使用场景 1.一般我们会有多个从库，需要在从库的读取上做负载均衡。 2.在阅读全文 ...继续阅读 (28)

【摘要】有两个隐藏事务提交时间点需要注意，第一个是 `autocommit=1` _Mysql session_ 级别的自动提交变量，所有 _ORM_ 框架中的事务提交控制都会受到这个字段影响，默认情况下当前语句会自动提交，但是如果是显示 _begin transaction_ 开启事务需要自行手动提交。有些时候 ORM 框架会根据一些设置或者策略，将 _autocommit_ 设置为0。阅读全文 ...继续阅读 (44)

【摘要】事故经过 排查 总结 事故经过 【2019-12-27 18:00 周五】 业务方突然找来说调用我们程序大量提示“触发限流”，但是我们没有收到任何监控报警。紧急查看了下 ServiceMesh sidecar 代理监控发现流量持续在减少，但是监控中没有任何触发限流的 http code 429 占比阅读全文 ...继续阅读 (34)

【摘要】要想db操作的性能足够高，巧妙的设计很重要，事务的操作范围要尽量的小。一般情况下我们都是使用某个orm框架来操作db，这一类框架多数的实现方式都是夸网络多次交互来开启事务上下文和执行sql操作，是个黑盒子，包括对 `autocommit` 设置的时机也会有一些差异，稍微不注意就会踩坑。 在大并发的情况下加上夸网络多次交互，就不可避免的由于网络延迟、丢包等原因导致事务的执行时间过长，出现雪崩概率会大大增加。建议在性能和并发要求比较高的场景下尽量少用orm，如果非要用尽量控制好事务的范围和执行时间。 大并发db操作的原则就是事务操作尽量少跨网络交互，一旦跨网络使用事务尽量用乐观锁来解决，少用悲观锁，尽量缩短当前 __session__ 持有锁的时间。阅读全文 ...继续阅读 (48)

【摘要】事故经过 排查 总结 事故经过 11-01 12:00 中午午饭期间，手机突然收到业务网关非200异常报警，平时也会有一些少量499或者网络抖动问题触发报警，但是很快就会恢复（目前配置的报警阈值是5%，阈值跟当时的采样窗口qps有直接关系）。 报警当时非200占比已经过10%并且在持续升高，根据历史阅读全文 ...继续阅读 (32)

【摘要】在业务快速增长中，前期只是验证模式是否可行，初期忽略程序发布重启带来的暂短停机影响。当模式实验成熟之后会逐渐放量，此时我们的发布停机带来的影响就会大很多。我们整个服务都是基于云，请求流量从 四层->七层->机器。 要想实现平滑重启大致有三种方案，一种是在流量调度的入口处理，一般的做法是 ApiGateway + CD ，发布的时候自动摘除机器，等待程序处理完现有请求再做发布处理，这样的好处就是程序不需要关心如何做平滑重启。 第二种就是程序自己完成平滑重启，保证在重启的时候 listen socket FD（文件描述符） 依然可以接受请求进来，只不过切换新老进程，但是这个方案需要程序自己去完成，有些技术栈可能实现起来不是很简单，有些语言无法控制到操作系统级别，实现起来会很阅读全文 ...继续阅读 (37)

【摘要】vim 列编辑模式 标签： vim 视窗模式 列编辑模式 vim 列编辑模式 例子：给列批量添加前缀、后缀、修改字段 vim 列编辑模式 vim 有三种编辑模式，命令模式、输入模式、视窗模式，我们常用的是前两种模式，但是视窗模式还是非常不错的，进入 vim 编辑器，模式是命令模式，可以通过 i、a阅读全文 ...继续阅读 (41)

【摘要】近期有一个需求，需要对优惠券可用商品列表加个排序，只针对面值类的券不包括折扣券。 需求是这样的，假设有一张面值券 50 块钱，可用商品列表 A 100、B 40、C 10，当用户查询当前券可用商品列表的时候优先将卡券可以直接抵扣且不需要用户在额外支付的商品排在前面。阅读全文 ...继续阅读 (42)

【摘要】分布式锁现在用的越来越多，通常用来协调多个并发任务。在一般的应用场景中存在一定的不安全用法，不安全用法会带来多个master在并行执行，业务或数据可能存在重复计算带来的副作用，在没有拿到lock的情况下扮演者master等诸如此类。 要想准确的拿到分布式锁，并且准确的捕获在分布式情况下锁的动态转移状态，需要处理网络变化带来的连锁反应。比如常见的 session expire、connectionLoss，在设置lock状态的时候我们如何保证准确拿到lock。阅读全文 ...继续阅读 (41)

【摘要】最近在陆续做机房升级相关工作，配合DBA对产线数据库链接方式做个调整，将原来直接链接读库的地址切换到统一的读负载均衡的代理 haproxy 上，方便机柜和服务器的搬迁。 切换之后线上时不时的会发生 discard connection 错误，导致程序报 500 错误，但不是每次都必现的。 开发框架: spring boot+mybatis+druid+shardingJDBC 网络架构: appserver->mysql(master) 写 appserver->haproxy->mysql(slave)/n 读阅读全文 ...继续阅读 (51)

【摘要】目录： 1.环境介绍 2.症状 3.诊断 4.结论 5.解决 6.对比java实现 废话就不多说了，本文分享下博主在5.28大促压测期间解决的一个性能问题，觉得这个还是比较有意思的，值得总结拿出来分享下。 博主所服务的部门是作为公共业务平台，公共业务平台支持上层所有业务系统（2C、UGC、直播等）。阅读全文 ...继续阅读 (34)

【摘要】最近一段时间公共业务平台在进行大面积的重构，对原来的技术栈进行迁移，逐渐往java、go、node.js等开源、自由为主的技术体系中过度。虽然这主要是替换技术框架，但也是我们应用系统进行重新设计、业务流程重新梳理的一个好机会，我们将利用这次机会来重构之前发现的一些问题。Martin Fow...阅读全文 ...继续阅读 (44)

【摘要】在通常情况下你在使用消息中间件的时候，都是未经设计的使用，你没有把应用架构和系统架构边界搞清楚。消息中间件只是一个纯粹的技术工具，当你引入的时候是站在应用架构的角度引入的。这是架构的角度，也是架构的上帝视角，这样你就不会用到最后发现越来越混乱，而且也无法结合软件模式、方法论、最佳实践来综合提升系统...阅读全文 ...继续阅读 (43)

【摘要】最近的工作我在做一个有关于消息发送和接受封装工作。大概流程是这样的，消息中间件是采用rabbitmq，为了保证消息的绝对无丢失，我们需要在发送和接受前对消息进行DB落地。在发送前我会先进行DB的插入，单表插入，所以在性能上也是能接受的，单表插入做了压测基本上是一到两毫秒的时间，加上消息的发送（有AC...阅读全文 ...继续阅读 (30)

【摘要】最近在使用log4net的时候有一个简单的需求，就是自定义个格式化输出符。这个输出符是专门用来帮我记录下业务ID、业务类型的。比如，“businessID:328593,businessType: orderID”。类似这样的输出日志。这些日志会被elk agent提取送到日志中心ES中，用来进行辅...阅读全文 ...继续阅读 (29)

【摘要】在使用git的时候，不管你的服务器是开源平台github还是私服gitlab，你都需要clone仓库到本地，这个clone的时候就需要你选择连接方式。这个连接方式决定了你与服务器交互的时候以一个什么协议进行。如果你没搞清楚这两种方式，可能你在使用的时候会很困惑，别人在push代码的时候没有提示输入账...阅读全文 ...继续阅读 (45)

【摘要】从事.NET开发到现在已经有七个年头了。慢慢的可能会很少写.NET文章了。不知不觉竟然走了这么多年，热爱.NET热爱c#。突然想对这一路的经历进行一个总结。 是时候开始下一阶段的旅途，希望这些文章可以在发挥点价值作用。 架构设计： 框架设计： 作者：王清培 出处：http://www.cnblogs阅读全文 ...继续阅读 (45)

【摘要】在你经常使用的命令当中有一个git branch –a 用来查看所有的分支，包括本地和远程的。但是时间长了你会发现有些分支在远程其实早就被删除了，但是在你本地依然可以看见这些被删除的分支。你可以通过命令，git remote show origin 来查看有关于origin的一些信息，包括分支是...阅读全文 ...继续阅读 (27)

【摘要】有一种场景是经常发生的。 大家都基于develop拉出分支进行并行开发，这里的分支可能是多到数十个。然后彼此在进行自己的逻辑编写，时间可能需要几天或者几周。在这期间你可能需要时不时的需要pull下远程develop分支上的同事的提交。这是个好的习惯，这样下去就可以避免你在一个无用的代码上进行长期的...阅读全文 ...继续阅读 (36)