作者：罗培羽游戏与web服务器的差异是个话题，近来也有争议哪个更先进。游戏服务器一般会手动抽象各种逻辑功能，而web是个更大的领域，开放的解决方案也多一些，小厂会沿用大厂的各种成熟中间件，nginx、uwsgi、celery、rabbitmq等等。两者虽说底层处理等同，但形成的逻辑处理范式是有不同的。从演进的视角，就能很容易明白。当然，这篇文章主要是给游戏后端的同学看的，对比web，了解web服务器架构的差异。最原始无论是游戏还是web服务器，如果不考虑高负载，都可以做成如下图的最简单形式，整个服务端系统就是一个进程，有三项功能。其一是接收并回应客户端请求（图中的①和②），其二是处理自身逻辑，其三是数据存储（图中的③）。虽然功能相同，但游戏与web的业务侧重点是不同的，例如请求处理部分，游戏大多是socket长连接，而web是http短链接；游戏服务器的自身逻辑很多，而web业务大多是增删改查。为了更好地理解差异，我们看下面的业务例子。下图（左）是一个常见的游戏场景，角色在地图中行走，跟怪物战斗。1、当用户登录时，服务器从数据库中加载该角色数据（例如战斗力、生命值）；2、当玩家移动方向键，服务端会收到移动的请求，然后计算角色的新坐标，再将新坐标广播给所有玩家；3、当玩家按下攻击按钮，服务端会收到攻击的请求，它会判断角色前方是否有怪物，如果有则给怪物扣血，并将攻击和伤害信息广播给所有 ...继续阅读 (6)

作者：MiAo引言记得以前刚刚入职的时候，有一次同事们在谈论’JBus’的问题，当时的我完全没听过这个组件，心想果然要学的东西还有很多呀，好奇地凑过去一看才恍然大悟，原来大家说的是这个。计算机技术诞生于英语系国家，构造出的产物多以英语命名。就像上学时代不同数学老师对希腊字母的读音不同，各地都有各地的方言，传到不同的部门有各自的部门级发音也自然正常，用的时候又不用先喊它一声要它答应，大家都听得懂就行。但是偶尔还是会好奇，在这些软件诞生之初，作者究竟想赋予其什么样的含义，它们又是怎么发音的呢。今天这篇文章，处处都是技术名词，但是不主讲技术，让我们来轻松地考古探究下，经常使用的一些组件，它们的官方读音与由来是怎么样的。操作系统类Linux[‘linэks] – “里讷克斯”Linux的读音江湖流传着好多种读法，但是Linux之父Linus Torvalds 本人是这么读的，感兴趣的可以点开这个链接听一听他本人的发音。http://www.paul.sladen.org/pronunciation/torvalds-says-linux.wavUbuntu[ʊ’bʊntʊ] – “乌布恩图”Ubuntu的名称来自非洲南部祖鲁语或科萨语，含有”人性”、”我的存在 ...继续阅读 (30)

作者：Sea Bean、苇哥背景自从OpenAI的ChatGPT横空出世以来，各类大语言模型（Large Language Model，简称LLM）以其丰富而强大的自然语言处理能力点燃了人们对AI的热情。无论是在教育、医疗、金融、法律还是娱乐行业，LLM的影响都在不断深化，帮助人们更有效地处理语言数据，提高工作效率，创造新的服务和产品。虽然LLM在通用知识领域表现如此出色，但是由于其训练语库（一般由普适知识、常识性知识，如维基百科、新闻、小说，和各种领域的专业知识组成）具有一定的局限性，无法覆盖到特定领域的知识，例如公共网络难以触达的企业内部文档资料，因此如何利用LLM打造垂直领域内的专属知识问答系统，特别是在ToB的场景，成为了一个很有应用潜力的课题。在过去的一段时间，我们的技术团队也在这个方向上不断尝试与探索，并取得了一些成果，希望借此机会把一些经验分享出来，跟大家一起交流和探讨。经典RAG流程RAG（Retrieval Augmented Generation，检索增强生成）是经典、高效的垂类大模型应用方案，就是通过自有的垂域数据库检索相关信息，然后合并成为提示模板，喂给大模型生成最终的答案。RAG对比另外两种常见的解决方案——提示词工程和微调大模型，有着其天然的优势：不需要每轮对话都带上整个知识库文本内容，每次仅需要携带跟提问相关的内容文本，效率更高，成本更少。另外，虽然现 ...继续阅读 (31)

背景笔者在网上冲浪的时候，看到了一个词，前端渲染模式。然后就产生了一个疑问，这是什么东西？在了解之后呢，才恍然大悟，原来我们每天在浏览器浏览的页面背后，在呈现给我们的过程也有一些不同的方法和策略，最终将页面展现给我们。那接下来就由笔者带大家看看这些方法和策略。渲染模式客户端渲染（CSR）CSR（Client Side Rendering），就是一种在浏览器执行JavaScript代码已生成页面并显示的方法，这种方法更贴近现代前端开发。大致流程是用户在客户端通过浏览器发起HTML网页的请求时，服务器不做任何处理直接返回原始的静态HTML文件。客户端收到后，浏览器进行解析构建、下载执行JavaScript，这个执行JavaScript过程可能还会与服务器进行数据交互，将最终得到的结果进行渲染并展示给用户。客户端渲染的优点分工明确、前后端分离。前端可以只负责页面的UI设计与用户交互，与后端负责的数据处理以及api接口开发进行了解耦，这样前后端职能会非常的清晰，更容易开发和维护。功能交互友好：因为在客户端执行代码，通过数据请求和动态渲染更新页面内容，提供更流畅的用户体验。在用户与页面交互时，浏览器只需要更新特定部分的内容，无需刷新整个页面，这对于用户来说无疑是一种很好的使用体验。服务器负载小：切换页面不需要重新加载，只需要对访问请求返回一个已有的特定的页面，其他资源加载、数据以及渲染全部都 ...继续阅读 (60)

作者：教授1、背景微信提供了多种轻量的应用生态，如公众号、小程序、小游戏等。用户可以通过微信开发者平台接入微信的生态系统，满足自己的业务需求。但是依靠微信小程序、小游戏的服务形式，只是基于C端提供服务。要想接入微信生态运行起来，还离不开S端，那么S端可以考虑私有部署、云部署等。这里重点是C端与S端的通信跟以往的基于HTTP/HTTPS、TCP/UDP协议形式有所区别，微信小游戏的接入依赖WebScoket协议进行通信。这样的话实际上S端只要能提供WebScoket协议访问即可。但是我们的业务有可能是很早期开发的，原始的S端架构仅支持TCP/UDP协议通信，如果需要接入微信小游戏实现多端混服，就可能需要大量的代码重构工作，重构后的代码还不确定是否能稳定地运行。这让S端的同学挠破脑袋~~那么，有没有一种可以不重构S端代码而又能直接接入微信小游戏的中间 “代理服务”呢？答案是 “有的”。为了解决小游戏后端服务重构问题，提高生产效率，我们设计了一套基于 WebSocket无缝代理TCP/UDP协议的转流框架。它不仅支持WebSocket–>TCP/UDP协议代理，还能利用代理性质，并规划好地域服务，它能作为边缘节点部署到用户就近的地域，这样就实现了用户就近服务，还能提高前端应用的安全访问。WebSocket代理本质上是一个无状态的服务，可以利用云原生部署，也可以基于传统部署，且 ...继续阅读 (74)

作者：生哥一、需求在我们的业务场景中，经常需要查询30天以上的数据，在存储的海量数据中，往往会报”程序错误”或响应1~2钟才有数据出来，无法满足业务需求使用 Kibana 的开发工具，对es查询语句进行测试，发现耗时集中在udid字段取唯一计数，耗时占比超过90%field:udid, 查询花费19s+, 唯一值个数：16,630,733 (约1663w+)如果仅对 udid 字段进行count 统计个数操作，处理速度很快，仅需要1秒就可完成，比 cardinality聚合快了不少。这种求唯一值计数就没办法实现了吗？或许你会说把索引按天、按小时来创建，甚至单个索引开启多个shard来提高查询速度，但这几种方法实践下来都不尽人意，速度轻微提高了些。 二、分析cardinality 是聚合的一种，可以理解成先在内存里创建出若干个桶，然后把每个桶贴上标签，把数据根据规则放入到桶中，最后对桶中数据进行二次计算归类，不管size设置多少，内存中桶的数量是一致的，为字段全部唯一值列表，这样就衍生出一个问题，是否字段唯一基数值越少，查询性能越快，反之越慢。把cardinality聚合字段从”udid”改成”game_name”。游戏名称唯一值只有19092个，但udid却有1736万个，查询速度（耗时）却相差了20倍之多。f ...继续阅读 (66)

作者: 小波、苇哥一、简介ChatGPT是一款基于GPT-3.5的人工智能聊天机器人，可以通过聊天对话的形式，为用户提供各种信息、答案、建议和娱乐等服务。用户可以随时与ChatGPT进行聊天，并获取实时的回复。ChatGPT的智能程度非常高，能够理解语义、语境和用户情感，从而更好地为用户提供服务。对于企业内来说，如何快速接入ChatGPT让企业内全员使用是个难题，本文旨在提供2种不同思路给企业内提供服务二、企业服务如何接入chatGPTChatGPT通过上述能力瞬间风靡全网，这让人不禁有一个大胆的想法，将ChatGPT整合到我们工作常用的沟通工具上来提高我们的工作效率。2.1 飞书聊天机器人接入🔄上下文保留：私聊对话中自动继续同一话题讨论📝富文本卡片：支持富文本卡片回复，信息更丰富多彩💬多人群聊对话：群聊@机器人快速回复，高效连贯🌐 多token负载均衡：优化生产级别的高调用场景后端统一化配置了多个openAI key,轮询使用，确保可用性key可用性检查,及时移除已经失效的key2.2 通过飞书网页应用接入机器人接入虽然大家使用方便，接入成本较低，但是因为机器人的一些限制，体验在和原版比较起来会有一些瑕疵。因此我们也实现了另一种服务方式，就是web版接入。web版可以提供接近官方原生交互方式的体验，同时对比机器人不支 ...继续阅读 (81)

1 背景在线上业务中，为了降低大文件的回源压力和硬盘IO压力，提升CDN的下载体验，通常会开启分片缓存。我们自建CDN基于nginx ngx_http_slice_module模块和trafficserver cache_range_requests插件实现分片缓存，可阅读该篇文章了解一波自建CDN实战经验合集之一种实现分片缓存方式的探讨。然而，有一天”文件错误”的业务打点在某一区域突然增多！ 真的有问题吗？会不会是自然量上升引起的“错误”正相关？会不会是节点刷新任务异常？关子就不卖了，毕竟标题就写了，下面分享下我们团队排查分析的历程，和解决方案。2 异常存在，及时止损“错误反馈”一般和自然量呈正相关，比如当天请求量增大很多，虽然错误比例波动不大，但异常绝对值会有增加。我们从环比带宽排除了该因素。难道是节点刷新任务异常？相应监控无告警，期间无刷新任务，也排除该因素。那真的有问题吗？日志是不会说谎的，查找出对应的URL，指定对应的节点请求，文件确实错误，且能复现多个异常上报的URL，那么证明这个节点存在异常。在验证其他CDN节点响应正常后，立马进行调度调整，剔除异常响应点，及时止损，保障CDN的整体服务。3 原因分析，临时处理先从下图简单了解下自建CDN的架构：在对比正常响应的CURL请求和异常响应的CURL请求时，发现HTTP响应头-Content-Leng ...继续阅读 (59)

选对微服务框架很重要作者：许仙前言​ 随着业务的发展，很多程序应用变成一个 Monolithic-Applications（巨石应用）。同时由于维护的团队人员都比较分散，工程大，导致开发调试效率低，上线困难（代码合并相互依赖），成为阻塞业务发展的一个重要因素。​ 于是行业创建了微服务框架，它主要解决两个问题：随着项目迭代应用越来越庞大，难以维护；跨团队或跨部门协作开发项目导致效率低下的问题；什么是微前端​ 微前端（Micro Frontends）是一种类似于微服务的架构，是一种由独立交付的多个前端应用组成整体的架构风格，将前端应用分解成一些更小、更简单的能够独立开发、测试、部署的应用，而在用户看来仍然是内聚的单个产品。​ Techniques, strategies and recipes for building amodern web appwithmultiple teamsthat canship features independently–Micro Frontends​ 多个团队通过独立发布功能的方式共同构建现代Web应用程序的技术、策略和方法​ 看完概念可能还是对微前端的理解有些模糊，简单来说，如果有一个内容和应用功能丰富的前端项目，而这个项目随着时间和需求的推移，项目会变得不再简单而是越来越庞大，不太容易能在项目中添加新的功能，往往会牵一发而动全身，开 ...继续阅读 (56)

作者：coffeekai1.背景在游戏后端数据库的选择中，MySQL可以说占据了很大一部分，Mongodb的使用就相对少了一些。我们项目中也只是有个别的项目是在使用着Mongodb数据库作为后端的数据库，但也不是全部都是Mongodb数据库，只是在某个场景需要使用到，因此我们对于Mongodb数据库的版本要求和性能要求并不是很高。对于滚服模式的小型生态的项目来说，一台机器上的区服都共用一个Mongodb数据库，而且机器上区服迭代的速度相对也比较快，并且本身它们也不是一种集群，而是一个个独立的后端程序，因此不适合使用比较复杂的集群模式，而比较适合主从这种简单的模式，能保证主库异常的时候从库可以快速拿来进行恢复。 但随着项目的发展，有项目在某个场景下实现了登录的集群，也使用了比较高版本的Mongodb数据库，并且这个版本的数据库又没办法使用主从模式，因此目前需要考虑使用另外两种模式中的一个来替代主从模式实现数据的备份，同时也是为了未来如果有大世界的项目需要使用到Mongodb集群而做一些技术的储备和相关的探究。2.选择mongodb可以支持的集群方式有三种，主从模式，副本集模式以及分片模式。只不过4.X之后主从模式已经没有了，因此目前的选择只能有副本集和分片两种。那么这两种模式哪种会更符合我们的需求呢？那么这面先简单介绍下这两种模式。副本集模式：mongodb副本集是一种在多台机器同步 ...继续阅读 (77)

作者：老李1 缘起近期看到安全应急响应中心发的《网警课堂 | 短信验证码真重要，可别轻易告诉人！》，从社交、游戏、医院、银行等方面，让我们再一次意识到了短信验证码的权限之大、重要性之高。上一次让我们有类似感受的，还要追溯到2020年信息安全老骆驼写的《一部手机失窃而揭露的黑色产业链—完整修订版》。没有读过这个这个故事的朋友，可以先阅读一波。这个与我们生活息息相关的短信验证码，最直接的是来自于我们的SIM卡（由于eSIM卡目前普及程度较低，本文只讨论实体SIM卡）。现在是2022年11月了，如果我们的SIM卡被别人获取了，可能会给我们带来怎样的影响呢？带着这个问题，我们进行了一波小规模测试，在此也跟大家分享一下我们的测试情况。2 实测短信验证码涉及的范围太广，本次我们只测试了用短信验证码访问部分常用的APP和部分常见的手机云空间的情况。2.1 准备阶段情景模拟：有人偷了我的手机，发现我手机有锁屏，他取出了我的SIM卡，安装到他自己的手机上，发现我的SIM卡没加锁，可以拿我的SIM卡打电话、发短信、收短信验证码。那么，需要准备的有陌生手机 （可借同事的手机）陌生网络 （可使用蜂窝网络）正常在用的SIM卡简化版本：找同事借一个手机作为测试机，自己的手机使用蜂窝网络开热点提供网络给测试机进行测试。2.2 常见APP测试我们对常用的支付、社交、办公、影音、餐饮、网购等APP做了个测试，大体来 ...继续阅读 (98)

作者：教授一、事件过程我们关注到某个游戏服在凌晨的时候发生了2次偶然的全服掉线，游戏进程 CPU 使用率忽高忽低。日志里报请求 SDK 登录域名有大量超时。从现象入手，检查了网络、机器各方面性能，未发现异常。初步怀疑是 SDK 域名请求质量问题，联系 SDK 运维同事一起排查，先对域名请求进行优化，待观察。此后不久，问题再次出现了，现象仍然是全服掉线，而且研发提供了关键信息，程序日志不只是报 SDK 域名超时，很多 HTTP 的请求都超时了，其他的线程逻辑同样也出现了处理超时，整个进程像被 Hang 住。这下子，终于明白了什么了… 我们早在 2015 年时，有个项目使用 Skynet 框架出现过类似的问题，一开始也是莫名其妙的掉线，进程异常。最终发现原来是 skynet 底层设计的一个 Bug。在 Skynet 的底层，当使用域名而不是 IP 时，由于调用了系统 APIgetaddrinfo，有可能阻塞住整个 Socket 线程（不仅仅是阻塞当前服务，而是阻塞整个 Skynet 节点的网络消息处理，而使用了类似httpc这样的模块以域名形式向外请求时，一定要关注这个问题。玩家在登陆时 服务端需要请求第三方 HTTP 接口，极大可能触发拥塞，导致玩家无法登陆或者被卡掉线的问题发生。有了关键信息，处理起来就顺畅多了（多亏了多年来的知识传承），由于主要是进程用了系统getaddrinfo ...继续阅读 (55)

作者：小波一、背景蓝海系统，作为运维技术中心的鼎力之作。公司内部越来越多同事离不开该系统，对系统的依赖度越来越大。与此同时，蓝海也迎来了新的挑战。蓝海，目前只能通过浏览器来进行访问。同事在没有携带电脑的情况下，很难登录蓝海系统(通过手机端打开浏览器进行访问，效果也不理想)。因此，越来越多同事反馈蓝海能否出一个移动端的APP呢？我们秉承着运维服务化的理念，积极响应以及服务同事。对蓝海移动端APP化进行立项以及技术性研究。二、技术选型在研究移动端技术选型时，发现移动端目前有三种主流的做法Native App（原生开发APP开发模式）Web APP（HTML5 APP 框架开发模型）Hybrid APP（混合模式移动应用）原生APP 开发的优点可轻易调用手机所有硬件实现功能速度更快、性能高、整体用户体验最好质量安全性很高原生APP开发的缺点开发周期长以及维护成本高(比如 ios 和 android 需 2 端开发 2 个app)学习成本高(ios 必须会 swift, android 必须会 Java)WebAPP 开发的优点项目独立，维护更容易，兼容度多平台开发周期短，学习成本低更新发版更容易WebAPP 开发的缺点体验不好，对设备和网络要求高，经常卡顿，性能差无法调用系统硬件混合APP开发的优点维护容易，能调用部分系统硬件，兼容多平台开发周期短，学习成本低混合APP开发的缺点可能需要 ...继续阅读 (64)

作者：小波1 摘要图数据库领域时最近几年大数据领域热度颇高的领域，自 2013 年开始，图数据库的发展就一起绝尘。与传统关系数据库不同，图数据技术主要关注数据间关系查询能力，是表示和查询关联关系的最佳方式。AntV 团队在图数据库领域沉浸多年，因此本文主要结合的 AntV 的框架在实际项目中的实践阐述图可视化技术在图数据库领域的应用。2 背景简介随着移动互联网的普及及 5G 时代的到来，数据库的数据量将会越来越多。面对海量数据，尤其是非结构化数据的存储，传统的关系型数据库已经无法满足分析的需求，分布式图数据库能够很清晰地揭示各类复杂关系，尤其是针对错综复杂的业务逻辑，其优势更为明显。2.1 应用场景图数据库的发展和大数据的发展有着密切的联系。大数据之所以受到广泛关注，其本质在于对海量数据的统计、汇总、分析，可以从中发现一些隐含的规律。以真实项目(数据库主从拓扑)为例，其主体是数据库实例。数据库实例之间可能存在主从关系，主主关系。通过图数据库展示时，整个数据拓扑关系会一目了然。当数据库主从关系过多，靠人工对数据进行一一排列时会容易出现问题，甚至会梳理错误。在很多场景中，相比于数据本身，其实我们更加关注数据背后所表达的一些信息，以及信息之间的关联。图数据库模式能够更加直观，自然的展示这种关联，对于用户来说，和数据的交互方式，使用数据的方式，通过图的方式也要更加直接。目前，我们在真实的项 ...继续阅读 (52)

在刚开始接触容器的时候，不知道大家有没遇到过这样的困惑：“我创建的 MySQL 容器怎么直接对外了？”，“为什么我添加的防火墙拦截规则没有用？”，“我就重载了一下防火墙，容器怎么访问不了了？”……实际上以上这些都跟容器与防火墙的配合机制有关，只要我们弄清楚数据包在防火墙中是怎么个处理方式，上面的问题就迎刃而解了，下面我们就以 DOCKER 与 IPTABLES 为例子来详细分析一下整个的过程。IPTABLES首先我们先来简单了解一下什么是 IPTABLES。在 Linux 生态系统中，iptables 是使用最广泛的防火墙工具之一，它位于用户态，通过 getsockopt/setsockopt 等 IPC 方式与内核协议栈中的Netfilter框架进行交互。规则真正触发执行在内核态，但规则本身不会被存储，所以当机器重启的时候，内核中的规则会消失，因此需要依赖用户态的工具重新写入到内核之中。Netfilter HooksNetfilter 中提供了 5 个 hook 点。包经过协议栈时会触发内核模块注册在这里的处理函数 。触发哪个 hook 取决于包的方向（是发送还是接收）、包的目的地址、以及包在上一个 hook 点是被丢弃还是拒绝等等。下面几个 hook 是内核协议栈中已经定义好的：NF_IP_PRE_ROUTING：接收到的包进入协议栈后立即触发此 hoo ...继续阅读 (69)

无论哪个规模的团队，在开发项目前，难免会通过多次会议讨论来确定最适合他们项目的编程语言。拿现在热门的语言来看，也难免会在近年来大火并且优点很多的golang以及老牌一直很常用的python之间纠结。这篇文章，则从多个角度对比两种开发语言，希望能给正在纠结项目语言的你做参考，确定最适合你的语言简要介绍golangGolang, 也就是我们常说的 Go，是由 Google 开发的一种计算机编程语言。Golang 是于 2007 年在 Google 开始开发的，2009 年面世。Go 语言的三位主要开发人员分别是 Google 的 Robert Geriesemer，Rob Pike 和 Ken Thompson。这几位一直以来的目标是创建一种语法上与 C 语言相似，又能像 C++ 一样消除「多余的垃圾」的语言。以致于 Go 语言包含现代多种语言的特性，如方法和运算符的重载、指针运算、类型继承。最终，造就了一个带有轻量并强大库以及拥有无敌的性能和速度的静态类型语言。pythonPython 是一种多用途的编程语言，换句话来说它几乎可以做任何事情。Python 是由一位荷兰程序员 Guido van Rossum 编写，于 1991 年首次发布。Python 最重要的一方面是它是一种高级编程语言，这意味着它非常易于学习和使用。这实际上是其背后的核心思想──将可读性放在首位。Pyhon提供了 ...继续阅读 (53)

1 概述基于一栋楼的5000+终端网络架构方案，又来了！7年前我们准备设计企业网络架构的时候，毫不犹豫地选择了最先进的思科，因为思科对大学生培训渗透很深，让我们早期就对前沿网络技术架构有了比较深的认知。今天，我们自己的一栋楼又来了，在需要重新做一套企业网络架构的时候，我们毫不犹豫地选择了华为，当然不是看中了华为设备的性价比高，也不是看中了华为的用户体验和售后服务好，而只是支持国产，为祖国的高端建设添砖加瓦。2 新大楼建设2021年元旦，我们也在为我们新大楼的高端建设紧急地添砖加瓦中，希望以全新的网络面貌迎接大家入住。组网时间有限，但是搬家这事势在必行。所以，加油奋斗完成目标吧。2.1 核心架构新楼网络架构上级给的需求比较高大上，“行业级别的企业网络架构”，虽然有点夸张，不过基于一栋楼的网络架构还是很具参考性，然后最关键点就是网络设备型号全部思科换华为。然后根据诉求，拆分成几个核心需求点：1. 核心设备高可用2. 基于独立帐号的入网认证系统3. 无线无缝漫游系统，支持wifi64. IP跟随帐号5. 网络出口高可用6. 办公点专线互联经多次讨论，设计了这份核心设备网络架构图：下面从这些点来谈谈我们这次思科换华为的企业网络解决方案实践。2.2 核心交换机之前是两台cisco 45xx系列来充当我们的核心交换机角色，对cisco的vss (Virtual Switching Superv ...继续阅读 (57)

背景近日，Kubernetes官方发布公告，宣布自 v1.20 起放弃对 Docker 的支持，届时用户将收到 Docker 弃用警告，并需要改用其他容器运行时。但 Docker 作为容器镜像构建工具的作用将不受影响，用其构建的容器镜像将一如既往地在集群中与所有容器运行时正常运转。在这里，日常使用docker和k8s的大家，是不是会有这样的疑问：现有打包的景象要怎么迁移？会不会出现不兼容？对以后开发和工作会有怎么样的影响？在这里，小编可以很肯定的回答大家，不会有什么影响，该用docker的地方还是可以用docker，现有的镜像也不需要迁移，日后的开发工作流也不会发生很大的改变Kubernetes调度容器的架构按照1.20的changelog原文Docker support in the kubelet is now deprecated and will be removed in a future release. The kubelet uses a module called “dockershim” which implements CRI support for Docker and it has seen maintenance issues in the Kubernetes community原文说的是kubelet是通过一个叫做docker ...继续阅读 (80)

作者：叶苇秋高气爽的这天，老大又找到了埋头写脚本的小伟…老大：小伟，我们的 CMDB 服务要上线了，你准备一下部署，这周把地址发出来。小伟：好的老大！保证完成任务！传统部署篇——刀耕火种的脚本部署在接到任务后，小伟心想，我都部署过了这么多的项目了，再部署个CMDB也不在话下。心中就画好了部署的蓝图：接着小伟有条不絮的按照以往套路来 申请机器、改配置文件、复制粘贴脚本，改脚本… 吭吭哧哧的一天过去了，CMDB服务也部署起来了，地址也发出来了，并且改造后的脚本也足够方便，还能一键启停。一天后，小伟向老大交差了，CMDB也正式进入了服务…过了两天，运行CMDB的机器承受了这个年纪不该承受的压力，运维建议停机加一下配置老大：之前申请机器的时候没考虑性能压力的吗？现在升级一下配置中途中断服务体验也忒差了吧。小伟（羞愧到）：也确实是自己考虑没到位，我这就去找方法！小伟记得之前留意到一个现象，有些项目占用资源不多，有些资源占用比较多，但初始都申请配置一样的机器，就显得不很均衡。于是小伟的脑海里面出现了这样一个构想：要是我有很多机器组成的机器群组，每个机器都有不多不少的资源，然后上面能同时不冲突的运行很多组项目，这个项目要是占用资源多，就给他多分一点，哪个少就少分一点，多台机器组成互相备份，一台机器宕机了不影响其他业务…有了这个想法的小伟就差自己造轮 ...继续阅读 (49)

作者：xiaobiao1 需求分析​在日常业务中QC经常遇到一些难以模拟的使用场景，如PM有一个需求是在网络不友好(俗称弱网)环境下用户也能否正常使用或者是否会自动切入预定备用线路，但往往手里没有线上场景可以实际测试，QC也很难通过在测试环境下模拟线上用户进行操作使用。所以基于以上情况，为解决无法弱网评估的痛点，实现研发团队对业务的弱网兼容测试，故设计了此套系统，此系统设计可能并不是特别完善，仅作抛砖引玉之用。2 系统详解2.1 架构说明整套系统角色主要分成三个：主控机：负责统一判断和发送指令的机器，如旗下策略机还有几台，是否空闲，用户账户有效期是否超时了（超时要及时删除会话回收账号），根据用户需求发送对应指令等。弱网策略机：作为最重要承上启下的角色，通过主控机命令在机器上模拟弱网环境，并在机器上架设VPN服务使得用户能够登陆。用户：通过VPN账密连接弱网策略机，实现模拟这台机的弱网环境对终端进行测试。2.2 netem 与 tcnetem是Linux 2.6及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中，模拟出复杂的互联网传输性能，诸如低带宽、传输延迟、丢包等等情况。使用 Linux 2.6(或以上)版本内核的很多发行版Linux都开启了该内核功能，比如Fedora、Ubuntu、Redhat、OpenSuse、CentOS、Debian等等。t ...继续阅读 (51)

Dshield是一个轻量型的DDos防护工具，它在受到如CC、压测工具等拒绝服务攻击时，能进行比较有效的防御。实际上它并不具备阻截能力，它是基于IPtables防火墙，利用类似于SS命令过滤出可疑IP，与IPtables防火墙实现联动。在发生恶意拒绝服务攻击时，本工具会实时分析连接来源的企图，并自动将其加入iptables防火墙的DROP链表中进行阻截。同时将攻击IP记录数据库中，当达到预定时间后，工具自动从IPtables防火墙中解封对应IP。在基本测试过程中，应付单IP并发连接攻击、cc攻击等效果明显。但它并不适合于真正的大流量攻击，只要攻击流量不超过服务器的最高带宽一般不会造成服务宕机，能对抗轻量DDOS。它也许是在软件级别上安装最方便和最简单的一个解决方案。本工具完全由python开发，程序简单易读，方便后期修改。本工具经过了4次更新，原名叫“DDoS-Defender”，本版本V4.0.0中新增了基于web可视化的图形界面,代码层基本上全部进行了重构。由于面向web可视化，所以底层架构上采用了influxDB + grafana的结合，你可以不需要安装任何额外的http服务来支持它的运行，因为grafana工具已集成了一套http服务，且图形是可自定义配置的。使用起来相当容易。保证你会喜欢上它！程序结构Dshield/conf 配置文件Dshield/data     存 ...继续阅读 (66)

概述 “运筹‘维’幄之中 洞悉千里之外”[做运维，要有呈现！ 尤其是在这个“万物均互联，一切皆数据”的新时代。不管是对过程、还是结果，呈现是一个永不过时的命题。在庞大复杂的业务环境中，如何把复杂的工作流可视化，可视化能力就是呈现的关键了。可视化不仅是提升运维效率的一个手段，更是运维管理的一个长期战略。]人总得有那么个理想才足以支撑着现实，前进的步伐才愈发有动力。曾幻想着以后的工作环境会有这么一幕，凡是有空间的地方都布满了显示器，放眼望去，显示屏里那妖娆多姿的“红黄蓝绿橙”呈现的是众多服务器的监控数据。整个架势看起来特别牛的样子。特别是以下这个光头哥就像在控制着全部的流量，多潇洒！（当然不是做运维做到没头发滴。。。哈哈）这个画风在外行人看来，还是颇有傲娇范的。（反正你不懂，看起来就是高大上）灵感源于“看电视”随着我们网络和流量越来越复杂，对外的情况越来越多，在网络报障时候，从最原始的ping和mtr情况到smokeping、cacti监控，然后到zabbix监控图，虽然一直在进步，但始终感觉不够专业。怎么做的更专业点呢，过年时候看到央视新闻联播的“据”说过年，春节期间的迁徙地图，有点焕然一新的感觉：灵感来了！我们虽然没有那么多显示器，但是内容还是可以做好的。我们从软实力来开始装饰我们的监控图，为什么是说“装饰”呢，我们现在大部分依赖的是zabbix监控网络流量和服务器情况， ...继续阅读 (59)

大神教你DIY高性能运维堡垒体系致运维——运维军团告诉你如何走过七年之痒（PS：感谢读者们的一直支持，后续干货文章会持续在公众号更新发布，欢迎大家关注！）  ...继续阅读 (56)

本插件能实现在受到cc、压测工具等拒绝服务攻击时，进行比较有效的防御。实际上，它并不具备阻截能力，它是基于IPtables 防火墙，利用 netstat+过滤规则，与 IPtables防火墙实现联动。在发生恶意拒绝服务攻击时，本软件会实时分析连接来源的企图。当连接IP 有明显的非正常连接时，插件自动将其加入iptables 防火墙条目进行阻截。同时将攻击IP 记录到计划解封文件里，当达到预定时间后，插件自动从IPtables防火墙中解封对应IP。在基本测试过程中，应付单 IP 并发连接攻击、cc攻击等效果明显。但它并不适合于随机伪造 IP 的恶意攻击，但能对抗轻量DDOS。DDoS-Defender-v3.0-For-Python 版：===============================================1. 增加TTL封锁模块，可针对伪造IP源的半连接攻击，如果你是1G的网络，将有1G的防御能力。2. 开发环境是python v2.6.5，安装本工具要求你的python系统版本为v2.6.x或v2.7.x。3. 暂时只兼容Centos、Ubuntu系列操作系统。===============================================程序主要目录介绍：/usr/local/DDos/sbin     #主要程序运行文件夹/usr/loc ...继续阅读 (192)

1 概述ATS推送刷新目录，这个是我们梦寐以求的功能，之前都是强制他们加版本号来控制版本，但是如果是对商用来说，刷新目录这个功能肯定是必须的。最近看到豪哥的博客里面写到了可以参考regex revalidate插件来做这个功能，在github上面找到了源码https://github.com/apache/trafficserver/tree/master/plugins/experimental/regex_revalidate但是里面没有任何配置文件和说明文件，估计开发者都比较忙，我们也需要努力做出点共享啊。这次为广大ats初学者带来小小的使用帮助，算是对ATS的开源奉献出自己一份薄力吧（向作者致敬）。2 分析思路把源码下载下来之后，进行模块编译：Source codetsxs-c regex_revalidate.c-I/data/src/trafficserver-4.2.1/lib/ts-o regex_revalidate.o-i编译好之后进行配置，都知道ats的插件是在plugin.config这里定义，但是格式怎么写呢，我们参考源码，看看有没什么头绪。先打开debug模式：找到TSDebug函数，前缀是LOG_PREFIX，他的定义是regex_revalidate，所以我们在records.config里面配置：Source codeCONFIG proxy.co ...继续阅读 (93)

接到同事报障, 程序又crash了, 但是找不到core, 而且是应该产生core的, 系统肯定哪里又有bug了.先从系统层面大概都巡查了一下:1.  找到别的程序的pid号,然后cat /proc/pid/limits  |grep core,返回Max core file size        0            unlimited            bytes, 有大问题, Soft Limit值居然是0, 继续找原因.2.  用程序用户执行ulimit -c, 返回unlimited, 系统设置没问题.3.  sysctl -a |grep core_ , 查看core_pattern返回core.%p.%e , 没有目录存在与否和权限的问题.4.  ssh XX.XX.XX.XX “ulimit -c ” , 远程登陆执行命令, 返回unlimited, 排除了我之前说的怪物世界不打core问题.基本问题都查了一下, 貌似没问题,  但确实没打core, 问题在哪呢? 纠结. 又重复查了下还是没找到问题, 但是有些服务器和程序又反馈是正常的…. (省略一些无用功), 之前的文章说提到, 先ulimit -c unlimited ,然后重启sshd, 这样ssh过来的连接也默认有这个参数了, 也就是说, ulimit值为0 , ...继续阅读 (71)

关于dnsmasq这个小软件, 网络上的介绍都是说可以增加dns缓存, 加快网页浏览速度, 我认为这个是微不足道的, 他可以做的更多, 而且很好用, 能简单地解决我们的一些问题.最开始用这个软件时候是为了解决没越狱的iphone改hosts的问题,  简单地在服务器上做好hosts,然后安装启动dnsmasq就搭建好了, 防火墙开启53解析端口白名单, 然后在手机上指定dns到这个服务器就可以达到”改hosts”的功能了.  这个功能在手机开发时候肯定是很常见的需求了.另外一个小功能是改mx记录的”hosts”, 因为如果需要改一个域名的mx记录, 通过改hosts是行不通的, 必须得搭建一个dns服务器, 里面的mx-host选项可以很简单地做到.但是dnsmasq能做的远不止快速搭建一个dns服务器这么简单, 因为他解决了我们一个需要解析快速高可用的场合.当我们在/etc/resolv.conf里面写入几个dns服务器的时候, 可以达到一定的故障转移功能, 但是通过抓包可以看到, 当第一个dns服务器没有反应的时候默认需要3秒时间才超时,  有时候也会发生直接用最后一个dns服务器去解析,然后解析失败了就返回失败的情况. 虽然默认超时时间我们可以通过在resolv.conf配置文件里面加入options timeout:1 选项改 ...继续阅读 (84)

适用范围适用于linux平台对用户或者程序的资源限制, 或主动限制, 或被动来解决问题.价值分析ulimit值从系统层就对程序或者用户对系统资源的利用, 以前关于这些值出过一些问题, 这些值值得关注, 这次我来总结一下以前关于这个出现的问题, 并改变以前的方式, 动态修改程序的ulimit值. 不需要再重启程序了.问题回顾:关于打core问题接触这个问题是2011年接触怪物世界的时候, 都知道ulimit -c unlimited用来启用core生成, 然后用kernel.core_pattern = core-%e来控制生成的格式之类的. 但是这里有个问题可能被很多人忽略了: ulimit -c unlimited位置问题.ulimit -c unlimited , 我们一般是在/etc/profile里面修改添加. 之前在bash远程ssh审核那里也讲过, 远程执行命令的时候是不会加载/etc/profile的. 这就导致在关键时候程序挂了, 才发现core选项没开启. 这个是指远程开启程序的情况, 因为我们当初是通过ssh ip “command”方式开启程序.当时问题排查时候当然没那么顺畅, 测试了很久, 最终用set和ulimit -a列举系统参数变量时候发现了ulimit -c的值其实是0. 然后是想办法解决问题, 这个事件是在bash远程ssh审核之前发生的, 所以当 ...继续阅读 (94)

一直以来都尽量用开源思路解决问题, 我们部分办公网网关也是.之前有写过怎么利用iptables禁止QQ号码登录问题, 时隔一年, 量有点大, 匹配的规则达到一千多条, 性能问题就开始突显了. 先给大家复习一下原创的怎么根据QQ号码进行登录管制方法.string模块有个hex-string选项, 可以针对十六进制的数据进行处理, 我们只要找到QQ登录时候的”特征码”进行控制就可以了. 经过多个版本的多次抓包, 我们已经掌握了我们需要的特征码,(当时是用的tcpdump和smartsniff,之后发现wireshark已经提供了QQ协议)不过跟wireshark提供的特征码不一样, 不过能实现我们的需求即可. 没去多纠结了.下面是多个版本的特征码(少匹配长度测试有时候会出问题):00020101000065 00010101000066 00010101000065 00010101000064然后直接调用即可:-i eth1 -m string –hex-string “|00020101000065|” –algo bm -j  DROP现在全部禁止登录了,要开白名单怎么办呢,我们只需要允许QQ号码的十六进制即可,很方便吧.echo “obase=16;396162545″|bc | a ...继续阅读 (75)

关于阵列恢复的一些小经验，用于备忘：服务器宕机，联系IDC的技术帮忙接上显示器观察下。出现以下报错：(这里介绍一下生产环境，机器是R410用的是perc 6i阵列卡做了4个硬盘的raid 10阵列卡提供的raid 10模式是12、34号硬盘各自组raid 1，然后2个raid 1组raid 0）看到硬盘报错已经有可能是阵列问题，之前忽略这台服务器的阵列监控。然后只能重启了。重启果然报错：There are offline or missing virtual drives…进去阵列管理界面发现3、4号硬盘离线了。3、4号物理硬盘离线，虚拟磁盘挂了，当然阵列也崩溃了。(务必要养成自动备份的习惯，有备份遇到这情况就算阵列不能恢复也可以减少数据丢失)接下来就要分析怎么处理。按目前情况阵列只有3个原因出问题：1、硬盘数据线故障 2、阵列卡故障 3、真的2块硬盘故障了原因很简单，如果只是数据线或者阵列卡故障就好搞了。如果是同时挂了2块硬盘就只好回档或者找专业的数据恢复公司了。然后是同时进行回档准备与阵列修复，回档准备这里就不提了。阵列修复：1、先替换数据线一枚，接口要按稳，错误依旧，数据线原因可以排除掉2、替换阵列卡，然后进去阵列管理（题外话：阵列信息是保存于硬盘，所以放心换阵列卡，当然替换之后需要从硬盘恢复阵列信息）看到这个界面感觉到希望了。PD Count ：4，认出4块物理 ...继续阅读 (82)