老文章（https://cpp.cloudcpp.com/1778.html）提到的MySQL新建用户和数据库并授权到了MySQL8.0不再适用。新命令如本文所示，包括MySQL在Docker下的导出和导入。测试环境：Debian11和Mysql 8.0一、新建数据库create database cpp;二、创建新账号cpp和密码nihaoshijie。create user 'cpp'@'%' identified by 'nihaoshijie';三、授权新账号cpp拥有访问数据库cpp的权限。GRANT all privileges on `cpp`.* TO 'cpp'@'%';四、刷新权限并查看权限flush privileges; show grants for 'cpp'@'%';五、如何删除用户drop user 'cpp'@'%';六、MySQL8 容器导出数据docker exec -it mysql_server【docker容器名称/ID】 mysqldump -uroot -p123456【数据库密码】 test_db【数据库名称】 > /opt/sql_bak/test_db.sql【导出表格路径】七、MySQL8 容器导入数据docker exec -i mysql_server【docker容器名称/ID】 mysqltest_db_copy【 ...继续阅读 (27)

AWS25刀，AWS100刀，AWS抵扣码，AWS优惠码，出AWS码te少量AWS25刀，AWS100刀，AWS抵扣码，AWS优惠码，出AWS码te少量AWS25刀，AWS100刀，AWS抵扣码，AWS优惠码，出AWS码te少量aws 25$ credit codea如题所示，出几个AWS 25$， 25刀 码子。一共三个批次：2023-6-31 可吃2个2023-12-31 可吃2个2024-6-31 可吃4个最晚到期日期：2024-6-30.QQ：85754970TG：@cpplaOnline Shop: http://my.cloudcpp.com 亚马逊将开启史上最大规模裁员，上万人将被辞退。 地主家也没余粮了，相对应的也大幅度削减了营销费用。且吃且珍惜。mark: 2022-11-15, by: cpp.cloudcpp.com ...继续阅读 (33)

me域名续费昂贵，年年上涨，再也续费不起来。于是迁移到新的二级域名cpp.cloudcpp.com青山不改绿水长流！期待2022下次新的改版！ 旧的记忆：C/C++程序员之家，新的开始：星辰瀚海。 ...继续阅读 (14)

当前连接数ch7.nauu.com :) SELECT * FROM system.metrics WHERE metric LIKE '%Connection'; SELECT * FROM system.metrics WHERE metric LIKE '%Connection' ┌─metric────────────────┬─value─┬─description─────────────────────────────────────────────────────────┐ │ TCPConnection │ 2 │ Number of connections to TCP server (clients with native interface) │ │ HTTPConnection │ 1 │ Number of connections to HTTP server │ │ InterserverConnection │ 0 │ Number of connections from other replicas to fetch parts │ └───────────────────────┴───────┴───── ...继续阅读 (35)

ClickHouse zk依赖优化ClickHouse 集群严重依赖zookeeper，clickhouse集群服务会在zk上存储大量的信息，例如数据库表metadata、blocksr、replicas等信息，znode节点和数据量/数据表呈线性相关。ClickHouse把zk当做三种服务的结合，协调服务，日志服务、数据表catalog service。同时clickhouse在启动时还会对存在本地表的schema信息和存在zk上的schema信息做校验，如果两者存在差异则启动异常。当前我们没有能力针对clickhouse做源码定制化，只能通过一些优化手段，让zk不至于成为整个系统的瓶颈。第一原则是clickhouse依赖的zk不要和其他组件公用，其次是zk的各种参数调优。线上我们有个ClickHouse集群依赖的zk和其他组件公用，并且该zk还数据还存在机械盘上，严重影响到了ClickHouse集群的性能。ClickHouse从老的公用zookeeper中迁移到新的zookeeper的一些流程：新部署一个zookeeper组件，把zk组件的dataDir和dataLogDir存放固盘，如果条件允许的话这两个目录最好不要存放在同一个固盘;从老Zookeeper中获取最新的snapshot，并且传输到新zookeeper中myid最大的三台机器上(假设zk节点为5);增大新zook ...继续阅读 (33)

甲骨文 重装系统 Debian9 Debian10，转载一篇文章备用。初始系统选择Ubuntu 16或者Ubuntu 18安装依赖#Debian/Ubuntu: apt-get install -y xz-utils openssl gawk file #RedHat/CentOS: yum install -y xz openssl gawk file #默认账号 root ，密码为: MoeClub.org一键安装Debian甲骨文网络是可以自动获取到IP的 所以脚本不用设置IP、网关、和子网掩码省了一步！但韩国区有个隐形的雷！如果不设置韩国区友好的源，DD时间会超长！！代码中-p你的密码改成你自己用的root密码等DD完成即可使用自己设置的密码ssh连接非韩国区UBUNTU16可以直接使用下面代码正常速度DDbash <(wget --no-check-certificate -qO- 'https://moeclub.org/attachment/LinuxShell/InstallNET.sh') -d 9 -v 64 -a -firmware -p 你的密码如要DD韩国区请使用下面代码 即可正常速度DDbash <(wget --no-check-certificate -qO- 'https://moeclub.org/attachment/LinuxShell ...继续阅读 (30)

Flask超高并发，Flask多进程gevent ，Flask非gunicorn gevent多进程。Flask超高性能解决方案，Flask多进程gevent ，Flask非gunicorn gevent多进程。Flask并发，高性能，Flask多进程gevent ，Flask非gunicorn gevent多进程。转载一篇文章，实测效果不错。转载自：https://cpp.la/439.htmlpython多进程gevent，Flask gevent multiprocess WSGI，Flask gevent 多进程WSGI，Flask多进程gevent。题外话：Flask，Instagram据说扛住了上亿日活，以前是Django。其是一个非常优秀的web service 框架，简洁灵活，可以利用大量的第三方组件和模块来快速开发。如今，Instagram 的总注册用户达到 30 亿，月活用户超过 7 亿 （作为对比，微信最新披露的月活跃用户为 9.38 亿）。而令人吃惊的是，这么高的访问量背后，竟完全是由以速度“慢”著称的 Python + Django 支撑。时至今日，即使已经拥有超过 30 亿的注册用户。Instagram 仍然是 Python 和 Django 的重度使用者。Instagram 的工程师 Hui Ding 说到： 『一直到用户 ID 已经超过了 32bit ...继续阅读 (24)

Nginx反代m3u8加速流媒体1、安装nginx，确保开启http_sub_module替换模块（替换域名）2、加入m3u8类型，mime.types文件中增加 application/x-mpegURL m3u8; application/vna.apple.mpegurl m3u8; video/mp2t ts;3、加入反代规则# 适用任何符合指定后缀的请求 location ~* \.(m3u8|ts|aac)$ { proxy_cache off; # 禁用代理缓存 expires -1; # 禁用页面缓存 proxy_pass http://example.com; # 反代目标 URL sub_filter 'http://example.com/' 'http://$host/'; # 替换 m3u8 文件里的资源链接 sub_filter_last_modified off; # 删除原始响应里的浏览器缓存值 sub_filter_once off; # 替换所有匹配内容 sub_filter_types *; # ...继续阅读 (26)

virsh操作虚拟机virsh define vm0.xml //导入虚拟机配置 virsh create vm0.xml //临时启动虚拟机，关机后将从列表删除 virsh start vm0 //开启vm0 virsh list --all // 显示所有虚拟机状态 virsh shutdown vm0 //正常关机 virsh destroy vm0 //强制关闭（转为停止状态） virsh undefine vm1 //删除虚拟机配置 virsh dumpxml vm0 //显示虚拟机xml配置 virsh console vm0 //进入虚拟机控制台（可以查看开机过程的问题） virsh reboot vm-name //重启虚拟机 virsh autostart vm-name //虚拟机随宿主机启动修改磁盘大小# 查看键像信息 qemu-img info my-image.qcow2 # 修改大小为50g qemu-img resize t.qcow2 50G #增加大小1G qemu-img resize t.qcow2 +1G ...继续阅读 (32)

Hive on tez的insert union 子目录的问题【使用tez插入，mr疫情无法查询到数据】hive tez insert union all问题问题描述在hive中使用tez模式时，发现tez的输出结果在对应表目录中，生成了子目录，造成未配置tez的hive客户端对该表进行读取时，无法获取到数据。检查表的输出目录，在分区目录下发现了两个子目录:1和2：/user/hive/test1/20170920000000/1/user/hive/test1/20170920000000/2原因查看对应的sql，发现存在insert union操作，查看往上信息，发现tez对于insert union操作会进行优化，通过并行加快速度，为防止有相同文件输出，所以对并行的输出各自生成成了一个子目录，在子目录中存放结果。如果此时全部hive客户端引擎及相关都设定为tez，则无问题。如果有客户端还在使用mr引擎，则会出现读取不到数据的情况。而在hive中，对于表目录存放信息有如下策略：在Hive默认设置中，hive只能读取对应表目录下的文件，1）如果表目录中同时存在目录和文件则使用hive进行读取时，会报目录非文件的错误2）表目录中只有目录hive不会进行深层递归查询，只会读取到对应查询目录，会查询结果为空3）表目录中只有文件则可以正常查询Hive on tez 中对insert un ...继续阅读 (26)

Docker教程总结九：(swarm节点标签与服务约束即强制指定容器节点)多节点 Swarm 集群下，可能节点的配置不同（比如 CPU、内存等），部署着不同类型的服务（比如 Web服务、Job服务等），当这些服务以 Service 或者 Stack 的形式部署到集群，默认情况下会随机分配到各个节点。不同类型的服务对服务器需求的资源是不同的，为了更合理的利用服务器资源，我们可能希望某些服务能够部署到指定的服务器上。另外一种场景，Swarm 集群中的节点跨机房，为了内部服务间通信更快，我们可能希望关联比较密切的服务能够部署到同一机房的节点上。那么，如何做到呢？很简单，先给节点添加标签，然后服务发布时添加限制条件即可！Node Label 管理示例集群信息：docker@node1:~$ docker node ls ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION axr4zun8u1es8ytizjpt3zlnw * node1 Ready Active Leader 18.0 ...继续阅读 (34)

异常：nginx post 405 not allowed，nginx默认是不允许对静态文件执行post出现原因：Apache、IIS、Nginx等绝大多数web服务器,都不允许静态文件响应POST请求,否则会返回“HTTP/1.1 405 Method not allowed”错误解决方案：error_page 405 = $uri;即可正常响应！ ...继续阅读 (14)

docker化了lnmp/lamp：https://lnmp.org/，lnmp docker一键部署镜像命令：docker create -ti --name lamp -p 80:80 -p 443:443 -v /data/lamp/mysql/var:/usr/local/mysql/var -v /data/lamp/apache/conf:/usr/local/apache/conf -v /data/lamp/wwwroot:/home/wwwroot -v /data/lamp/logs:/home/logs -v /data/lamp/ssl:/root/ssl $base_lnmp_images参数：mysql/var：数据库目录apache/conf：apache配置目录/home/wwwroot：网站文件目录/home/logs：日志目录/root/ssl：ssl证书目录$base_lnmp_images为基础镜像 ...继续阅读 (27)

Docker教程总结四：docker中批量操作所有的容器命令主要利用强大的文本分析工具awk命令来实现。docker中启动所有的容器命令docker start $(docker ps -a | awk '{ print $1}' | tail -n +2)docker中关闭所有的容器命令docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2)docker中删除所有的容器命令docker rm $(docker ps -a | awk '{ print $1}' | tail -n +2)docker中删除所有的镜像docker rmi $(docker images | awk '{print $3}' |tail -n +2) ...继续阅读 (39)

timeout超时控制通过设置时钟信号给函数添加超时终端功能, 不适用于通过 os.system() 调用外部程序的情形.import signal import functools class TimeoutError(Exception): pass def timeout(seconds, error_message='Function call timed out'): def decorated(func): def _handle_timeout(signum, frame): raise TimeoutError(error_message) def wrapper(*args, **kwargs): signal.signal(signal.SIGALRM, _handle_timeout) signal.alarm(seconds) try: result = func(*args, **kwargs) finally: signal.alarm(0) return result return functools.wraps(func)(wrapper) return decorated @time ...继续阅读 (24)

python高度健壮性的异常和超时问题爬虫/Python这类型程序典型特征是意外多，无法确保每次请求都是稳定的返回统一的结果，要提高健壮性，能对错误数据or超时or程序死锁等都能进行处理，才能确保程序几个月不停止。一、基础try&except;异常处理try&except;的语句作用不仅仅是要让其捕获异常更重要的是让其忽略异常，因为爬虫中的绝大多数异常可能重新请求就不存在，因此，发现异常的时候将其任务队列进行修复其实是个最省力的好办法。其次被try包住的语句即使出错也不会导致整个程序的退出，相信我，你绝对不希望计划跑一个周末的程序在半夜停止了。try: pass #可能出错的语句 except Exception,e: pass #保留错误的url，留待下次重跑 print e finally: #无论是否处理了异常都继续运行 print time.ctime()二、请求函数的超时处理2.1 单请求类型：import requests requests.get(url,timeout=60)2.2 会话保持类型：import requesocks session = requesocks.session() response = session.get(URL,headers=headers,timeout=10)三、sele ...继续阅读 (22)

在使用sudo dpkg -i 安装deb包后，会出现依赖包关系而不能正常安装软件，这个时候先更新下源然后解决依赖关系后重装即可。[ubuntu dpkg异常]# 更新 sudo apt-get update # 解决依赖关系 sudo apt-get -f install # 重新安装 sudo dpkg -i xxx.deb ...继续阅读 (22)

后台运行python程序(gui and not gui)依赖说明：xvfb：虚拟设备，即一个虚拟的X服务器环境 [主要适用于Run Gui program on Server OS]pyvirtualdisplay：a python wrapper for Xvfb, Xephyr and Xvnc依赖安装：sudo apt-get install xvfb pip install pyvirtualdisplay示例代码：#!/usr/bin/env python from pyvirtualdisplay import Display from selenium import webdriver display = Display(visible=0, size=(800, 600)) display.start() # now Firefox will run in a virtual display. # you will not see the browser. browser = webdriver.Firefox() browser.get('http://www.cplusplus.me') print browser.title browser.quit() display.stop()Copyright：www.cplusplus.me Share、 ...继续阅读 (32)

资源有限的情况下，冷备的方案一、确保数据安全性硬盘用raid10 & 异地推送。可利用工具将google drive挂载到linux目录下。shell for ftp 传送到ftp服务器二、冷备脚本，防止出现rm -rf path的致命错误。#!/bin/bash # 要备份的数据路径 WEB_DATA=/backup # 定义备份数据的名字和旧备份数据的名字 WebBakName=Web_$(date +%Y%m%d).tar.gz # 删除本地3天前的数据 rm -rf /root/Web_$(date -d -3day +%Y%m%d).tar.gz # 压缩备份数据 tar -zcf /root/$WebBakName $WEB_DATA ...继续阅读 (24)

这里不是传统意义上的热备方案，因为GCE流量太贵【0.23美元/GB】，只能做定时“热备”。一、利用linux rsync热备。首先安装：# ubuntu/debian apt install rsync # centos yum install rsync二、rsync 同步命令，更高级的用法请--help：# /data/为要备份的本地目录 # /backup/gce/为要备份至服务器的哪个目录 rsync -avu --progress --delete /data/ root@$ip:/backup/gce/三、利用脚本自动备份，依赖库expect(yum install expect / apt install expect)。#!/bin/expect set timeout -1 spawn rsync -avu --progress --delete /data/ root@$ip:/backup/gce/ expect "(yes/no)?" { send "yes\r" expect "password:" send "$password\r" } "password:" {send "$password\r"} expect eof exit四、crontab定时热备：# 每天凌晨三点定时备份，同时记录日志 0 3 * * * expect ...继续阅读 (33)

DenyHosts是Python语言写的一个程序，它会分析sshd的日志文件（/var/log/secure），当发现重 复的攻击时就会记录IP到/etc/hosts.deny文件，从而达到自动屏IP的功能。首先安装epel扩展源：sudo yum -y install epel-release安装denyhosts：# 搜索yum源 sudo yum search denyhosts # 安装服务 sudo yum -y install denyhosts配置文件详解：# 多久后解禁，为空则永不解禁 PURGE_DENY = # 允许无效用户失败次数 DENY_THRESHOLD_INVALID = 5 # 允许普通用户登录失败次数 DENY_THRESHOLD_VALID = 5 # 允许root用户登录失败次数 DENY_THRESHOLD_ROOT = 2 ...继续阅读 (51)

本篇介绍在两台服务器之间如何操作配置开启GRE隧道：一、# 服务器A网卡信息： inet 199.99.88.77 netmask 255.255.255.0 broadcast 199.99.88.255 # 服务器B网卡信息： inet 144.33.22.11 netmask 255.255.255.0 broadcast 144.33.22.255二、# 分别在A和B服务器开启IP_GRE模块 # 服务器A： [root@A ~]# modprobe ip_gre [root@A ~]# lsmod | grep gre ip_gre 22843 0 ip_tunnel 25163 1 ip_gre gre 12950 1 ip_gre # 服务器B： [root@B ~]# modprobe ip_gre [root@B ~]# lsmod | grep gre ip_gre 22843 0 ip_tunnel 25163 1 ip_gre gre 12950 1 ip_gre三、# 服务器A： [root@A ~]# ip tunnel add gre ...继续阅读 (36)

Selenium+PhantomJS（系列八：CSS选择器） PhantomJS主要是通过JavaScript和CoffeeScript控制WebKit的CSS选择器、可缩放矢量图形SVG和HTTP网络等各个模块。 我们可以利用CSS选择器进行一些复杂的值选取操作。 querySelector示例一： var content = page.evaluate(function () { var element = document.querySelector('#elem'); return element.textContent; }); console.log(content); querySelector示例二： elements = document.querySelectorAll("p"); console.log("elements " + elements.length); console.log(window.getComputedStyle(elements[0])); console.log(window.getComputedStyle(elements[0]).length); console.log(window.getComputedStyle(elements[0]).getPropertyValue("background-color")); ...继续阅读 (34)

Selenium+PhantomJS（系列七：OCR的优化技巧）Phantomjs可以选择元素区域截图，然后可以利用OCR做验证码识别，或做一些图形图像分析，等等。OCR引擎推荐tesseract。中文识别库下载：https://codeload.github.com/tesseract-ocr/tessdata/zip/master，另外tesseract支持字库训练，可以方便的训练出适合某种场景的识别库出来。这里简单说下OCR的优化。优化技巧一：1、网页按照比例放大后，再截图：driver.execute_script("document.body.style.zoom='500%'")2、元素坐标同时需要按照比例放大：img = img.crop((int(left)*5, int(top)*5, int(right)*5, int(bottom)*5))优化技巧二：利用Image库，对识别图片按行，按字体位移进行切割，识别率能达到%95左右！ ...继续阅读 (41)

Selenium+PhantomJS系列教程：Selenium+PhantomJS（系列一：设置User-Agent）Selenium+PhantomJS（系列二：模拟登录淘宝）Selenium+PhantomJS（系列三：模拟登录知乎）Selenium+PhantomJS（系列四：模拟登录微博）Selenium+PhantomJS（系列五：selenium的等待）Selenium+PhantomJS（系列六：元素区域截图，OCR）Selenium+PhantomJS（系列六：元素区域截图，OCR），针对元素区域截图，然后可以利用ocr做验证码识别，或做一些图形图像分析，等等。import base64 import sys import pyocr from StringIO import StringIO from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities from PIL import Image driver = webdriver.Remote( command_executor='http://10.10.10.140:8910', desired_capabilities=Desire ...继续阅读 (25)

问题：Docker运行时，安装firewalld后异常？Docker无法访问网络firewalld？docker与firewalld引发异常？解决方案：CentOS-7 中介绍了 firewalld，firewall的底层是使用iptables进行数据过滤，建立在iptables之上，这可能会与 Docker 产生冲突。当firewalld启动或者重启的时候，将会从 iptables 中移除DOCKER的规则，从而影响了 Docker 的正常工作。当你使用的是 Systemd 的时候，firewalld会在 Docker 之前启动，但是如果你在 Docker 启动之后再启动 或者重启firewalld，你就需要重启 Docker 进程了。 ...继续阅读 (26)

mongodb数据库帮助(常用操作)# #mongodb db的一些操作： # db.AddUser(username,password) 添加用户 db.changeUserPassword(username,password); 修改密码  db.auth(usrename,password) 设置数据库连接验证 db.cloneDataBase(fromhost) 从目标服务器克隆一个数据库 db.commandHelp(name) returns the help for the command db.copyDatabase(fromdb,todb,fromhost) 复制数据库fromdb---源数据库名称，todb---目标数据库名称，fromhost---源数据库服务器地址 db.createCollection(name,{size:3333,capped:333,max:88888}) 创建一个数据集，相当于一个表 db.currentOp() 取消当前库的当前操作 db.dropDataBase() 删除当前数据库 db.eval(func,args) run code server-side d ...继续阅读 (34)

mongodb数据库操作(备份，还原，导出，导入)一、备份mongodb数据库：mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径如果没有用户谁，可以去掉-u和-p。如果导出本机的数据库，可以去掉-h。如果是默认端口，可以去掉--port。如果想导出所有数据库，可以去掉-d。二、还原mongodb数据库：mongorestore -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 --drop 文件存在路径注意：--drop的意思是，先删除所有的记录，然后恢复。三、导出mongodb数据库：mongoexport -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -c 表名 -f 字段 -q 条件导出 --csv -o 文件名-f 导出指字段，以字号分割，-f name,email,age导出name,email,age这三个字段-q 可以根查询条件导出，-q '{ "uid" : "100" }' 导出uid为100的数据--csv 表示导出的文件格式为csv的，这个比较有用，因为大部分的关系型数据库都是支持csv，在这里有共同点四、导入mongodb数据库：1、还原整表导出的非csv文件mongoimport -h IP --port 端口 -u 用户名 -p 密码 -d 数据 ...继续阅读 (28)

centos内核升级缓慢，Ubuntu16已经更新到最新的4.4！！！不过也得益于软件的依赖和稳定性，centos7还在用3.10内核。记录下centos7更换内核的过程，同时开启谷歌最新TCP BBR拥塞控制算法。一、升级系统yum update -y yum upgrade -y二、安装elrepo并升级内核rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm yum --enablerepo=elrepo-kernel install kernel-ml -y输出如下，会输出最新的内核（现在最新为4.10）安装成功：Transaction Summary ================================================================================ Install 1 Package Total download size: 39 M Installed size: 169 M Downloading packages: kernel-ml-4.9.0-1.el7.elrepo.x86_64.rpm ...继续阅读 (36)

docker export和save导入导出的区别， 更安全的方案先commit容器为镜像，然后save导出，这样导出的容器保留有层次结构。 export&importsave;&load;导出对象容器镜像导入对象tar 包tar 包导出对象镜像镜像镜像层数一层多层 操作对象操作的对象不同, export 和 import 是用来导入导出容器用的, 而 save 和 load 是用来导入导出镜像用的.例如: 你需要把A机器上的甲容器迁移到B机器, 且甲容器中有重要的数据需要随之一起迁移的, 就可以使用export 和 import参数来导入和导出例如: 你的服务器不能 pull 下来某个镜像, 但是你有一台海外的机器, 你可以在海外的那台机器上把需要的镜像 pull 下来, 然后把该镜像通过save命令导出为一个 tar 包, 再将 tar 包拉回到本地导入所以, 从功能定位上, 你就记住save 和 load参数是用来迁移镜像的这个场景就行了, 另外的export 和 import当然就是用来迁容器的导出对象在导出对象这一点,export和save导出的文件形式都是一样的, 两者都是导出为一个 tar 包导入对象在导入上,import和load通过 tar 包导入的都是一个镜像导入的镜像层数最大的区别就在这里, 通过export 和 import导出的容器形成镜像时, 该镜像只有 ...继续阅读 (29)