国内的安全专家最近发现一种新的钓鱼攻击，“几乎无法检测”，即便平时十分谨慎的用户也可能无法逃过欺骗。黑客可利用Chrome、Firefox和Opera浏览器中的已知漏洞，将虚假的域名伪装成苹果、谷歌或者亚马逊网站，以窃取用户的登录凭证、金融凭证或其他敏感信息。防钓鱼的最佳方式是什么？一般来讲，我们会在页面加载出来后检查地址栏，看看地址是否由有效的HTTPS连接提供。对吧？那么，在继续深入之前，我们来看看这个页面。页面是由发现这一攻击的中国安全研究员Xudong Zheng创建的，点击去看看。如果你的浏览器显示的地址是“apple.com”，并有SSL安全认证的，但是页面内容却来自另一个服务器（如上图所示），那么你的浏览器就易遭受“同形异义字攻击”。Wordfence的安全专家们也创建了另一个PoC网站，展示了同一个漏洞；这个网站仿冒的是“epic.com”的域。用Chrome、Firefox来访问，看看是不是很神奇？同形异义字攻击自2001年以来就已为人所知，但是浏览器厂商修复该问题的过程却很艰难。这种欺骗攻击就是网址看起来是合法的，但实际上不是，因为其中的一个字符或者多个字符已经被Unicode字符代替了。许多Unicode字符，代表的是国际化的域名中的希腊、斯拉夫、亚美尼亚字母，看起来跟拉丁字母一样，但是计算机却会把他们处理成完全不一样网的网址。比如说，斯拉夫字母“а” （U+ ...继续阅读 (89)

针对MySQL 5.5和5.6版本的Riddle漏洞会经由中间人攻击泄露用户名密码信息。请尽快更新到5.7版本。Riddle漏洞存在于DBMS Oracle MySQL中，攻击者可以利用漏洞和中间人身份窃取用户名和密码。“Riddle是一个在Oracle MySQL 5.5和5.6客户端数据库中发现的高危安全漏洞。允许攻击者在中间人位置使用Riddle漏洞破坏MySQL客户端和服务器之间的SSL配置连接。”漏洞描述写道。“此漏洞是一个非常危险的漏洞，因为首先它会影响MySQL – 非常流行的SQL数据库 – 其次会影响SSL连接，根据SSL的定义，它理应是安全的。”Riddle漏洞的编号为CVE-2017-3305，当MySQL 5.5和5.6向服务器发送数据，包括用户名密码时，攻击者可以捕获它们。针对5.5.49、5.6.30版本的安全更新并没有完全修复漏洞。专家注意到，5.7版本之后以及MariaDB系统没有受到漏洞影响。安全研究员Pali Rohár称，导致Riddle漏洞的原因是之前存在于MySQL数据库中的BACKRONYM漏洞没有被修复。Backronym漏洞能在中间人攻击时用来泄露密码，即使流量经过加密。“针对稳定版本的MySQL 5.5.49和5.6.30的安全更新中添加了在验证过程完成后对安全参数的验证。”“由于动作是验证完成后做出的，因此利用Riddle进行中间 ...继续阅读 (90)

2017.04.18日消息，又见猝死！有消息传出昨日上午脉脉科技一程序员因加班而过劳猝死。随着互联网的高速发展，其迅速、便捷、高技术的优势获得认可，但也正因为发展的迅速、竞争的激烈，需要高效的内容和科技的迭代，工作压力和工作量都不可谓不大。互联网行业工作人员因过度加班而死亡的案例不在少数，此前的一篇《过度加班致猝死，互联网行业之殇》文章，令互联网行业从业人员一阵默哀。此次的涉事公司脉脉科技，以其同名软件“脉脉”而广为人知。脉脉作为专业的行业交流平台，是一款利用科学算法为职场人打通二度人脉、打破行业壁垒、降低社交门槛、实现各行各业交流合作的职场社交APP。 ...继续阅读 (88)

试题内容如下：1、显示/test目录下的所有目录2、将文件/etc/a 下中除了 b文件外的所有文件压缩打包放到/home/a下，名字为a.gz3、给一个脚本赋予执行权限的命令及选项4、umask022代表什么意思5、如何查看test进程所打开的所有文件6、获取eth0网卡上80端口的数据包信息7、删除 /a/b下的所有文件及目录8、常用的网络管理工具（5种以上）9、ftp、https、smtp、pops、ssh的端口号10、如何在windows server 2003/2008上开启支持内存3-4G11、请用iptables控制来自192.168.1.2主机的80端口请求12、请用shell脚本创建一个组class、一组用户，用户名为stdX X从01-30，并归属class组13、在mysql客户端查询工具中，如何获取当前的所有连接进程信息14、如何删除已满的数据库日志信息 企业简介：大智慧（gw.com.cn），成立于2000年，属于互联网金融行业，2011年在上交所上市。 ...继续阅读 (83)

Compute Service Nova 是 OpenStack 最核心的服务，负责维护和管理云环境的计算资源。OpenStack 作为 IaaS 的云操作系统，虚拟机生命周期管理也就是通过 Nova 来实现的。在上图中可以看到，Nova 处于 Openstak 架构的中心，其他组件都为 Nova 提供支持：Glance 为 VM 提供 imageCinder 和 Swift 分别为 VM 提供块存储和对象存储Neutron 为 VM 提供网络连接Nova 架构如下Nova 的架构比较复杂，包含很多组件。这些组件以子服务（后台 deamon 进程）的形式运行，可以分为以下几类：APInova-api接收和响应客户的 API 调用。 除了提供 OpenStack 自己的API，nova-api 还支持 Amazon EC2 API。 也就是说，如果客户以前使用 Amazon EC2，并且用 EC2 的 API 开发了些工具来管理虚机，那么如果现在要换成 OpenStack，这些工具可以无缝迁移到 OpenStack，因为 nova-api 兼容 EC2 API，无需做任何修改。Compute Corenova-scheduler虚机调度服务，负责决定在哪个计算节点上运行虚机nova-compute管理虚机的核心服务，通过调用 Hypervisor API 实现虚机生命周期管理Hype ...继续阅读 (89)

其实利用Word宏作为分发恶意程序的方式是如今的常规途经，所以很多人选择禁用宏，然而如果说禁用宏都没用，这样的恶意Word文档危害性就不可同日而语了。近日，McAfee和FireEye的安全研究人员发现有人在网络上利用Microsoft Office的0-day漏洞悄悄地在他人电脑上执行代码并安装恶意软件，不需要用到宏，这个漏洞目前尚未得到修复。漏洞概述研究员表示，他们在一封邮件中发现了恶意Word文档附件，该文件包含OLE2link对象。一旦打开文件，文件中的利用代码就会执行，随后连接到一台由攻击者所控制的远程服务器，并从服务器上下载伪装成RFT文档的HTML应用文件（HTA）。HTA文件自动执行，攻击者就能实现目标设备之上的任意代码执行了，随后开始从”其他知名恶意软件家族“下载额外的payload，这些payload感染目标PC，并关闭该恶意Word文件。所有Windows和Office版本都受影响据研究人员所说，这种0-day攻击能够绕过绝大部分微软的exploit缓解机制，与以往的Word漏洞利用不同， 它不需要用户开启Word宏。下图是抓到的交流包：.hta伪装成了普通的RTF文件来躲避安全产品，但从下图中文件靠后的部分还是可以发现恶意VB脚本McAfee表示该漏洞影响到了所有Windows操作系统之上的所有Office版本，就算是被认为是最安全的微软操作系统的Windo ...继续阅读 (87)

Redis 字符串数据类型的相关命令用于管理 redis 字符串值，基本语法如下：语法[root@tiejiangSRC2 ~]# redis-cli 127.0.0.1:6379> COMMAND KEY_NAME实例redis 127.0.0.1:6379> SET runoobkey redis OK redis 127.0.0.1:6379> GET runoobkey"redis"在以上实例中我们使用了 SET 和 GET 命令，键为 runoobkey。Redis 字符串命令下表列出了常用的 redis 字符串命令：序号命令及描述1SET key value设置指定 key 的值2GET key获取指定 key 的值。3GETRANGE key start end返回 key 中字符串值的子字符4GETSET key value将给定 key 的值设为 value ，并返回 key 的旧值(old value)。5GETBIT key offset对 key 所储存的字符串值，获取指定偏移量上的位(bit)。6MGET key1 [key2..]获取所有(一个或多个)给定 key 的值。7SETBIT key offset value对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)。8SETEX key seconds value将值 ...继续阅读 (87)

Redis 字符串数据类型的相关命令用于管理 redis 字符串值，基本语法如下：语法redis 127.0.0.1:6379> COMMAND KEY_NAME实例redis 127.0.0.1:6379> SET runoobkey redis OK redis 127.0.0.1:6379> GET runoobkey "redis"在以上实例中我们使用了 SET 和 GET 命令，键为 runoobkey。Redis 字符串命令下表列出了常用的 redis 字符串命令：序号命令及描述1SET key value设置指定 key 的值2GET key获取指定 key 的值。3GETRANGE key start end返回 key 中字符串值的子字符4GETSET key value将给定 key 的值设为 value ，并返回 key 的旧值(old value)。5GETBIT key offset对 key 所储存的字符串值，获取指定偏移量上的位(bit)。6MGET key1 [key2..]获取所有(一个或多个)给定 key 的值。7SETBIT key offset value对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)。8SETEX key seconds value将值 value 关联到 key ，并将 key 的过期时间设为 seco ...继续阅读 (86)

Redis 键命令用于管理 redis 的键。语法Redis 键命令的基本语法如下：[root@tiejiangSRC2 ~]# redis-cli 127.0.0.1:6379> COMMAND KEY_NAME实例[root@tiejiangSRC2 ~]# redis-cli 127.0.0.1:6379> SET tiejiangkey redis OK 127.0.0.1:6379> DEL tiejiangkey (integer) 1在以上实例中 DEL 是一个命令， runoobkey 是一个键。 如果键被删除成功，命令执行后输出 (integer) 1，否则将输出(integer) 0Redis keys 命令下表给出了与 Redis 键相关的基本命令：序号命令及描述1DEL key该命令用于在 key 存在时删除 key。2DUMP key序列化给定 key ，并返回被序列化的值。3EXISTS key检查给定 key 是否存在。4EXPIRE key seconds为给定 key 设置过期时间。5EXPIREAT key timestampEXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。 不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳(unix times ...继续阅读 (90)

Redis 命令用于在 redis 服务上执行操作。要在 redis 服务上执行命令需要一个 redis 客户端。Redis 客户端在我们之前下载的的 redis 的安装包中。语法Redis 客户端的基本语法为：[root@tiejiangSRC2 ~]# redis-cli实例以下实例讲解了如何启动 redis 客户端：启动 redis 客户端，打开终端并输入命令 redis-cli。该命令会连接本地的 redis 服务。[root@tiejiangSRC2 ~]# redis-cli 127.0.0.1:6379> 127.0.0.1:6379> PING PONG在以上实例中我们连接到本地的 redis 服务并执行 PING 命令，该命令用于检测 redis 服务是否启动。在远程服务上执行命令如果需要在远程 redis 服务上执行命令，同样我们使用的也是 redis-cli 命令。语法[root@tiejiangSRC2 ~]# redis-cli -h host -p port -a password实例以下实例演示了如何连接到主机为 127.0.0.1，端口为 6379 ，密码为 mypass 的 redis 服务上。[root@tiejiangSRC2 ~]# redis-cli -h 127.0.0.1 -p 6379 -a "myp ...继续阅读 (78)

近期，德国安全团队@codewhitesec发现了Java AMF3的多个功能实现漏洞，美国CERT/CC也发出了安全预警。攻击者可以远程通过欺骗或控制服务连接方式，在AMF3反序列动作时执行任意代码。部分受影响产品的补丁已经发布。AMF3实际上是Adobe Action Message Format的最新版本，是用于对ActionScript对象图形序列化的压缩二进制格式。AMF首次出现是在2001年的Flash Player 6之中，而AMF3则伴随Flash Player 9出现。序列化是指，一个对象转为字节流的过程，以便将对象存储或传输到内存或文件中。而序列化的数据释放的过程就是反序列化——这个过程如果处理不到位就会出现重大安全问题。CERT/CC的安全公告提到了3个漏洞，第一个漏洞可让攻击者欺骗或控制RMI（Remote Method Invocation）服务器来执行代码。第二个漏洞则可被攻击者利用实现任意代码执行——该漏洞影响到了Flamingo，Apache的Flex BlazeDS和GraniteDS。XXE漏洞也影响到了这些产品，另外还有WebORB。详情如下：漏洞概述Java AMF3功能存在不安全的反序列化和XML外部实体注入漏洞，导致多个应用程序产品受到影响，漏洞概要参见KB-CERTVU#307983，详细技术分析参见codewhitesec博客。漏洞描 ...继续阅读 (118)

只要借用一下电脑，便可轻松拿到密码……“女神，借用电脑一看可否？”前有Mimikatz，今有mimipenguin，近日国外安全研究员huntergregal发布了工具mimipenguin，一款Linux下的密码抓取神器，可以说弥补了Linux下密码抓取的空缺。项目地址https://github.com/huntergregal/mimipenguin使用实例需求：ROOT权限以下环境测试通过Kali 4.3.0 (rolling) x64 (gdm3)Ubuntu Desktop 12.04 LTS x64 (Gnome Keyring 3.18.3-0ubuntu2)Ubuntu Desktop 16.04 LTS x64 (Gnome Keyring 3.18.3-0ubuntu2)XUbuntu Desktop 16.04 x64 (Gnome Keyring 3.18.3-0ubuntu2)VSFTPd 3.0.3-8+b1 (Active FTP client connections)Apache2 2.4.25-3 (Active/Old HTTP BASIC AUTH Sessions)openssh-server 1:7.3p1-1 (Active SSH connections sudo usage) ...继续阅读 (79)

Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset(sorted set：有序集合)。String（字符串）string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。string类型是Redis最基本的数据类型，一个键最大能存储512MB。实例redis 127.0.0.1:6379> SET name "runoob" OK redis 127.0.0.1:6379> GET name "runoob"在以上实例中我们使用了 Redis 的 SET 和 GET 命令。键为 name，对应的值为 runoob。注意：一个键最大能存储512MB。Hash（哈希）Redis hash 是一个键值对集合。Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。实例127.0.0.1:6379> HMSET user:1 username runoob password runoob points 200 OK 127.0.0.1:6379> HGETALL user:1 1) "username" 2) "r ...继续阅读 (82)

Redis 的配置文件位于 Redis 安装目录下，文件名为 redis.conf。你可以通过 CONFIG 命令查看或设置配置项。语法Redis CONFIG 命令格式如下：redis 127.0.0.1:6379> CONFIG GET CONFIG_SETTING_NAME实例redis 127.0.0.1:6379> CONFIG GET loglevel 1) "loglevel" 2) "notice"使用 * 号获取所有配置项：实例redis 127.0.0.1:6379> CONFIG GET * 1) "dbfilename" 2) "dump.rdb" 3) "requirepass" 4) "" 5) "masterauth" 6) "" 7) "unixsocket" 8) "" 9) "logfile" 10) "" 11) "pidfile" 12) "/var/run/redis.pid" 13) "maxmemory" 14) "0" 15) "maxmemory-samples" 16) "3" 17) "timeout" 18) "0" 19) "tcp-keepalive" 20) "0" 21) "auto-aof-rewrite-percentage" 22) "100" ...继续阅读 (87)

0×01前言系列回顾DDOS攻击是每个需要对外提供服务的公司最大的威胁之一，尤其是新兴的互联网公司与电信运行商对此尤其看重，每个公司的网络安全组都必须具备一定的防御DDOS攻击的能力，不仅仅是会使用各个品牌的安全设备，更重要的是要有防御DDOS攻击的明确思路以及正确的方法，这样才能保证自己的公司不被黑客破坏、勒索。任何需要通过网络提供服务的业务系统，不论是处于经济原因还是其他方面，都应该对DDoS攻击防护的投资进行考虑。大型企业、政府组织以及服务提供商都需要保护其基础业务系统（包括Web、DNS、Mail、交换机、路由器或是防火墙）免受DDoS攻击的侵害，保证其业务系统运行的连续性。虽然DDoS防护需要增加运营成本，但是从投资回报率上进行分析，可以发现这部分的投资是值得的。接下来我将详细讲解一下在企业层面和运营商层面防御主流DDOS攻击的思路。0×02 企业层面的防御在企业层面上防御DDOS攻击目的比较明确，就是保障自身的服务在攻击过程中不受明显的破坏，但由于 企业自身能力有限，有时候必须求助电信运营商帮助才能清洗较大流量。SYN FLOOD的防御Random Drop：随机丢包的方式，这种是最简单但是效果 也最不理想的方法， 会对用户的体验造成很大影响，如果在垃圾流量比例较高时 ， 会使大量用户无法获得服务，这种方法 不推荐只有在万不得已情况下 （例如 服务器濒临死机）才能使用。 ...继续阅读 (86)

0×01 故事起因系列回顾前两天以为freebuf上的网友stream（年龄、性别不详）私信我说他在阿里云上的服务器被NTP攻击了，流量超过10G，希望我帮忙一起分析一下，复现一下攻击。我这当代雷锋当然非常乐意了，于是我就和stream联系（勾搭）上了，今天我就详细讲一下我们一起复现NTP反射攻击的过程。0×02 分析攻击数据stream大兄弟把当时抓到的包发给了我，数据包不大只有31.4M当我打开数据包看了下时间才知道这数据包可不小啊！只有0.011秒就抓了67598个包，粗略计算一下67598*482/0.011=2 962 021 454字节，将近3G/s也就是24Gbps，对我来说这样的流量已经很大了。借助whireshark查看了一下源IP的情况，并排列了一下每个IP的发包数量，但是whireshark居然没有统计IP地址个数的地方，也可能是我没找到，于是我就另存为到一个txt文件中，查看行号计算数量，发现总共有3307个源IP（哈哈！这可都是宝贝啊！），然后把这些IP地址都转换个格式存起来，留着下个阶段复现的时候用。0×03 攻击复现原本以为知道了IP了复现起来很简单呢，其实过程并不顺利（还是自己没经验）。我先选了发包最多的那个IP测试一下，看看到底能不能返回monlist数据。果然能返回monlist包，返回了大约100个482字节的包，我靠！这尼玛放大倍数非常让人兴 ...继续阅读 (75)

Window 下安装下载地址：https://github.com/MSOpenTech/redis/releases。Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择，这里我们下载 Redis-x64-xxx.zip压缩包到 C 盘，解压后，将文件夹重新命名为 redis。打开一个 cmd 窗口 使用cd命令切换目录到 C:\redis 运行 redis-server.exe redis.windows.conf 。如果想方便的话，可以把 redis 的路径加到系统的环境变量里，这样就省得再输路径了，后面的那个 redis.windows.conf 可以省略，如果省略，会启用默认的。输入之后，会显示如下界面：这时候另启一个cmd窗口，原来的不要关闭，不然就无法访问服务端了。切换到redis目录下运行 redis-cli.exe -h 127.0.0.1 -p 6379 。设置键值对 set myKey abc取出键值对 get myKeyLinux 下安装下载地址：http://redis.io/download，下载最新文档版本。本教程使用的最新文档版本为 2.8.17，下载并安装：$ wget http://download.redis.io/releases/redis-2.8.17.tar.gz $ tar xzf redis-2.8.17.t ...继续阅读 (85)

最近碰到一个案例，某服务在更换网卡后，邮件停在队列无法发出！最后排查，发现是在DNS询中，绑定了旧的网卡导致！下面将过程分享给大家：接到用户报障后，查看服务都正常，但在事件日志中看到如下错误信息：使用Get-NetworkConnectionInfo,查看网卡GUID如下:然后使用Get-TransportServe查看，看到ExternalDNSAdapterGuid/InternalDNSAdapterGuid两项都对应同一个GUID，但上面网卡的GUID不一样：使用SET更改ExternalDNSAdapterGuid/ InternalDNSAdapterGuid两项的为现在可用网卡的GUID：Get-TransportService ex1301 | Set-TransportService -InternalDNSAdapterGuid 2e2a5d59-1c0e-43ad-b1b2-ed5573899a98Get-TransportService ex1301 | Set-TransportService -ExternalDNSAdapterGuid 2e2a5d59-1c0e-43ad-b1b2-ed5573899a98或是进到服务器配置里，内部DNS查询/外部DNS查询的网卡改为当前正在使用网卡！修改完后，即恢复正常！Exchange 2010/2013默认使用 ...继续阅读 (82)

写在开头：这个功能是小白在学Python中做的小玩意儿。慎用，万一你朋友不小心说了句你不爱听的话，撤回了你没看见，大家还是好朋友；万一你看到了，那友情就打折扣了，这可不好。您也别做啥不合法的事，小白还得准备考研二战～上篇文章[初学python--微信防撤回功能改进（一个用处不大的功能）]中，使用Python的itchat库实现了好友聊天消息防撤回：实现原理，备份两分钟之内的消息，通过撤回通知的信息找到被撤回消息的ID，然后提取发送到文件助手，并保存相关的附件，只能保存在PC，手机没法直接查看；对储存的超时消息进行清理。只有简单的exe，没有界面，也没有Mac和Linux版(穷屌用不上Mac(⋟﹏⋞)，怎么开发)。各位跟我一样的小白，看完这两篇文章，我觉得你应该学会以下内容（不管是看书，上网查资料）：字符串及其相关常用函数；元组、列表、字典等数据结构及其常用相关函数的使用；正则表达式及其re库的相关函数；time库的常用函数；文件/文件夹的增删改查(os 和 shutil)；itchat库的使用。一定要把基础打牢，不要像我一样求快。最后，欢迎学完这些知识后来重构我的代码或者自己写出来，大家一起学习。这次的版本中添加了：1.群聊消息的撤回备份2.保存的附件并不是零散的堆放在程序文件附近，统一存放在cache中，撤回的消息的附件放在revocation中。3.实现了发送指令到文件助手可以 ...继续阅读 (82)

写操作的流程首先我们来看一下数据库在进行写操作时到底做了哪些事，主要有下面五个过程。1.客户端向服务端发送写操作（数据在客户端的内存中） 2.数据库服务端接收到写请求的数据（数据在服务端的内存中） 3.服务端调用write(2) 这个系统调用，将数据往磁盘上写（数据在系统内存的缓冲区中） 4.操作系统将缓冲区中的数据转移到磁盘控制器上（数据在磁盘缓存中） 5.磁盘控制器将数据写到磁盘的物理介质中（数据真正落到磁盘上）下面我们结合上面的5个流程看一下各种级别的故障1. 当数据库系统故障时，这时候系统内核还是OK的，那么此时只要我们执行完了第3步，那么数据就是安全的，因为后续操作系统会来完成后面几步，保证数据最终会落到磁盘上。 2. 当系统断电，这时候上面5项中提到的所有缓存都会失效，并且数据库和操作系统都会停止工作。所以只有当数据在完成第5步后，机器断电才能保证数据不丢失，在上述四步中的数据都会丢失。 通过上面5步的了解，可能我们会希望搞清下面一些问题： •数据库多长时间调用一次write(2)，将数据写到内核缓冲区 •内核多长时间会将系统缓冲区中的数据写到磁盘控制器 •磁盘控制器又在什么时候把缓存中的数据写到物理介质上对于第一个问题，通常数据库层面会进行全面控制。而对第二个问题，操作系统有其默认的策略，但是我们也可以通过POS ...继续阅读 (94)

前记公司内部使用的是MapR版本的Hadoop生态系统，因而从MapR的官网看到了这篇文文章：An In-Depth Look at the HBase Architecture，原本想翻译全文，然而如果翻译就需要各种咬文嚼字，太麻烦，因而本文大部分使用了自己的语言，并且加入了其他资源的参考理解以及本人自己读源码时对其的理解，属于半翻译、半原创吧。HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：其中HMaster节点用于：管理HRegionServer，实现其负载均衡。 管理和分配HRegion，比如在HRegion split时分配新的HRegion；在HRegionServer退出时迁移其内的HRegion到其他HRegionServer上。 实现DDL操作（Data Definition Language，namespace和table的增删改，column familiy的增删改等）。 管理namespace和table的元数据（实际存储在HDFS上）。 权限控制（ACL）。HRegionServer节点用于：存放和管理本 ...继续阅读 (96)

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。Hbase表的特点大：一个表可以有数十亿行，上百万列；无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；面向列：面向列（族）的存储和权限控制，列（族）独立检索；稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；数据类型单一：Hbase中的数据都是字符串，没有类型。Hbase数据模型Hbase逻辑视图Hbase基本概念RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加Version Numb ...继续阅读 (85)

3月12日下午在阿里巴巴西溪园区，举行了MongoDB杭州用户交流会。微软MSDN特邀讲师徐雷分享《基于MongoDB的政府云平台高并发高可用HA架构实践 》，从自身实践出发，讲述了政府云平台分层、技术栈选型、物理架构、API架构及DB数据库架构的设计思路和方法。以下内容根据现场分享和演讲PPT整理而成。学习MongoDB的重要性目前，几乎所有国内外的互联网大公司都在用MongoDB，学习企业需要的技术很重要。MongoDB优点相比较关系型数据库而言，MongDB有两个明显的优点：灵活的数据模型和便于横向扩展。灵活的数据模型：作为一位网站开发者，最痛苦的就是需求变更，MongDB可以接受字段的不断修改，非常灵活。便于横向扩展：如果有海量数据存储，这时可以做Sharding，非常容易，这个是MongDB本身已经支持的。传统的关系型数据库在这一块比较难实现，因为它会由很多固有的设计缺陷导致。但传统关系型数据库的分片思想和MongDB分片思想其实很像，从算法的角度来说，没有太大区别，比如基于范围进行分片，这两个是通用的。高并发与高可用架构关键点程序员一般追求高并发，对于高并发这个关键词容易产生兴奋点。作为架构师设计一个架构，如果要支持某个级别的并发，一定要注意：不是用Redis就是高并发，不是用MongDB就是高并发。高并发高可用架构关键点包含：多线程、分布式通信RPC、集群、负载均衡、 ...继续阅读 (95)

真真是遇到一个好玩的python库，可以玩好几天。上上篇文章中使用itchat对消息进行实时备份和自动回复，同时兼顾防撤回功能，但是有个知友说了：你这防撤回功能代价太大了，要把所有的消息都备份一遍。确实，我也觉得这么做太傻*。想了想看能不能有什么好一点的办法，最起码别这么笨重。为什么说这是个用处不大的功能，文末再说。这个功能实现也很简单（实话.mp3->我就不会写难的），120行代码就可以实现。大家可以拿来练练手。老规矩，使用的库itchat、re、time、shutil、os实现思路，将接收到的消息都存进一个字典(msg_dict)，接收到撤回通知时，提取撤回消息的id，从字典中进行比对，然后发送、保存。那么字典能放得下那么多消息吗？当接收到新消息时，执行函数对字典中超过两分钟的消息进行清理（两分钟内消息不会很多）。对于四种消息：图片、语音、附件、视频 这些不像文字一样、没法直观看见消息内容。于是收到消息后，将这些消息内容下载缓存，超过两分钟进行删除。同时，如果撤回这些消息的话，便将相应的消息内容保存到另一文件夹中，并发送消息到文件助手进行通知。文件助手的通知PC保存的文件（图片、视频、附件、语音）：这个过程中踩到的坑：1. 对于字典：在使用for item in msg_dict.keys() 进行遍历时，不能进行增删操作，否则报错2. 注意做好异常处理和细节处理3.if it ...继续阅读 (91)

前言：微信聊天的时候，一疏忽竟然错过了什么，对方撤回了一条消息，一位小妹妹给你发了一张不可描述的照片，下一秒她又后悔选择了撤回。那么到哪去寻找撤回的消息呢？难道我们就不能做点什么？就在昨天，我的一位好友壳子@ZKeeer使用itchat库做了小脚本写了一篇文章：初学python--微信防撤回功能改进（一个用处不大的功能） - 知乎专栏，在得到壳子的授权之后，我对他的代码进行了修改，并把代码包装成了可执行的exe文件用来造福更多有需要的朋友们。这个工具暂时我们教叫它：wMsgwMsg能实现什么？每当有好友撤回聊天信息的时候，文件传输助手会给你发送撤回的信息的内容，当前可以复原的信息包括：文字、图片、语音等。wMsg如何使用？为了让更多的朋友使用，我这里已经包装成了可执行exe文件，你需要用电脑下载该文件wMsg.exe，由于会产生中间文件，所以建议把wMsg.exe移动到一个新建文件夹：比如我在桌面新建了wMsg文件夹，并把下载的wMsg.exe移动到了该文件夹。wMsg下载地址：http://down.51cto.com/data/2292498双击wMsg.exe，会弹出一个二维码；用你的微信扫描二维码点击确定登陆即可，下面如果有朋友发消息给你并撤回你就会收到文件传输助手的通知了。注意有的朋友问我，一次登陆是否可以永久有效，登陆之后会有一个wMsg.exe进程，如果你关电脑或者手 ...继续阅读 (93)

一、Ansible基本架构Ansible 是一个模型驱动的配置管理器，支持多节点发布、远程任务执行。默认使用 SSH 进行远程连接。无需在被管理节点上安装附加软件，可使用各种编程语言进行扩展。上图为ansible的基本架构，从上图可以了解到其由以下部分组成：核心：ansible核心模块（Core Modules）：这些都是ansible自带的模块扩展模块（Custom Modules）：如果核心模块不足以完成某种功能，可以添加扩展模块插件（Plugins）：完成模块功能的补充剧本（Playbooks）：ansible的任务配置文件，将多个任务定义在剧本中，由ansible自动执行连接插件（Connectior Plugins）：ansible基于连接插件连接到各个主机上，虽然ansible是使用ssh连接到各个主机的，但是它还支持其他的连接方法，所以需要有连接插件主机群（Host Inventory）：定义ansible管理的主机二、ansible工作原理1、管理端支持local 、ssh、zeromq 三种方式连接被管理端，默认使用基于ssh的连接－－－这部分对应基本架构图中的连接模块；2、可以按应用类型等方式进行Host Inventory（主机群）分类，管理节点通过各类模块实现相应的操作－－－单个模块，单条命令的批量执行，我们可以称之为ad-hoc；3、管理节点可以通过pla ...继续阅读 (99)

由于近来网络攻击、数据泄漏事件频发，各行各业希望借助道德黑客的能力帮助其保护网络安全的需求日盛。因此，白帽黑客、渗透测试人员以及信息安全分析师成为当今IT行业最高薪的人群之一也就不足为奇了。如今，市场对道德黑客的需求日增，但是如果你想从事这一行业却又技能欠缺的话，我想你需要一个好的课程来提升自身的能力。好消息是，现在就有这样一组在线学习课程，可供各个阶段的道德黑客使用。它将指导你完成作为一名道德黑客必须具备的各项技能。该课程共45小时，包含384场深度讲座，通常需要花费1275美元。但是你可以选择8合1的在线培训课程，仅售39美元（96%折扣后价格）。8合1在线培训课程内容包括：1. 2017道德黑客“Boot Camp（新兵训练营）”这一课程将教会你关于主动和被动侦查、扫描和枚举、社会工程基础知识、网络映射等知识，以及使用黑客工具（如Maltego、FOCA、Harvester、Recon-ng、Nmap以及masscan）进行真实演练。课程完成后，你将能够像黑客一样思考且完全能够应对道德黑客认证考试。2. A—Z道德黑客课程这一课程将从基础知识循循善尽至高级黑客技术。顾名思义，从A到Z就是会让你亲身实践各种阶段的黑客技术，如SQL注入、网络钓鱼、跨站点脚本、电子邮件攻击等，让你学会如何使用Metasploit、键盘记录器、WireShark等工具。课程完成后，你将有能力获得一份 ...继续阅读 (83)

Apache Struts是美国阿帕奇（Apache）软件基金会负责维护的一个开源项目，是一套用于创建企业级Java Web应用的开源MVC框架。本月初，Strust2漏洞爆出一个RCE远程代码执行漏洞（S2-045）可致远程代码执行。而时隔两周，又出现一个相似的远程代码执行漏洞。漏洞编号CVE-2017-5638漏洞简介使用恶意的Content-Disposition值或者使用不合适的Content-Length头就可能导致远程命令执行。该漏洞与S2-045 (CVE-2017-5638)相似，但使用了不同的攻击向量。触发漏洞需要满足的条件：JakartaStreamMultipartRequest已开启。也就是说，Struts2需要通过Jakarta stream parser配置（非默认）。在Struts2配置文件中检查上传的文件大小根据Content-Length头的声明要大于Struts2默认允许的2GB大小文件名中包含OGNL payloadPoCPOST /doUpload.action HTTP/1.1 Host: localhost:8080 Content-Length: 10000000 Content-Type: multipart/form-data; boundary=----WebKitFormBoundaryAnmUgTEhFhOZpr9z Conn ...继续阅读 (95)

前言一直以来，Google都在致力于为各种设备和环境中的用户提供全面的保护，其中就包括设法让用户免受潜在有害应用程序（PHAs）的侵害，因此，我们就有机会观察针对我们的生态系统的各种类型的威胁。例如，我们的安全团队最近发现了一个针对我们的广告和Android系统的新型PHA家族，我们将其命名为Chamois。同时，我们也迅速为用户提供了相应的防护措施。Chamois是一个Android PHA家族，它们能够：通过广告弹窗中的欺骗性图像生成无效流量通过在后台自动安装应用来进行人工应用推广通过发送高级文本消息进行电话欺诈下载和执行其他插件扰乱广告生态系统我们是在日常的广告流量质量评估中检测到Chamois的。我们针对基于Chamois的恶意应用程序进行了细致的分析，发现它们可以通过多种方法来规避检测，并试图通过显示欺骗性图像来诱骗用户点击广告。有时，这还会诱骗用户下载其他发送短信欺诈的应用程序。因此，我们果断通过Verify Apps阻止了Chamois应用系列，同时将试图扰乱我们的广告系统的不良分子清除了出去。正是由于我们在处理广告诈骗应用程式方面已经积累了大量经验，因此我们的小组才能立即采取行动，迅速为广告客户和Android使用者提供了及时的保护。由于这种恶意应用程式并不会显示在手机的应用程式清单中，因此大部分用户都觉察不到这个恶意程序的存在，更别提卸载它了。这时Google的V ...继续阅读 (80)

从前有座山，山上有座庙，庙里有个老和尚和小和尚……这个简短无尽的儿童故事是很多人都知晓的，整个故事从开头就定义了空间的概念，让我们能够清楚的知道老和尚和小和尚在山上的庙里，网络空间同样如此。如果说GPS绘制出了世界的地图，那么网络空间搜索引擎就是整个互联网的地图。自从互联网诞生的那一刻，网络空间也由混沌之初快速扩张。在互联网中各种网络设备物物相连，因此互联网基础上的延伸和扩展，用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信，形成万物互联的物联网（IOT，Internet of things）。通过网络空间搜索引擎，我们可以快速的知道，全世界大约有多少网络摄像头，有多少服务器，有多少服务器采用Apache等。网络空间搜索引擎的作用就是将互联网上公开的网络资产收集和整理，以此方便人们进行查阅和利用。最佳设计奖：Shodan简介全球最早的开放式网络空间应该非shodan莫属，也是目前最为知名的一个网络空间搜索引擎。Shodan于2009年诞生，每个月Shodan都会在大约5亿个服务器上日夜不停地搜集信息，shodan主要是针对服务器、网络摄像头、交换机、路由器等网络基础设备做扫描。特点Shodan能够成为全球最为出色的网络空间搜索引擎并非浪得虚名。为了方便开发人员更好的接入shodan的API接口，shodan开发了11个代码库，分别为Python，Ruby，PHP，C#，G ...继续阅读 (87)