free命令可以显示Linux系统中空闲的、已用的物理内存及swap内存,及被内核使用的buffer。在Linux系统监控的工具中，free命令是最经常使用的命令之一。1．命令格式：free [参数]2．命令功能：free 命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。共享内存将被忽略3．命令参数：-b 　以Byte为单位显示内存使用情况。  -k 　以KB为单位显示内存使用情况。  -m 　以MB为单位显示内存使用情况。 -g   以GB为单位显示内存使用情况。  -o 　不显示缓冲区调节列。  -s<间隔秒数> 　持续观察内存使用状况。  -t 　显示内存总和列。  -V 　显示版本信息。4．使用实例：实例1：显示内存使用情况命令：free free -g free -m输出：[root@SF1150 service]# free              total       used       free     shared    buffers     cached Mem:      32940112   30841684    2098428          0    4545340   11363424 -/+ buffers/cache:   14932920   18007192 ...继续阅读 (17)

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。下面详细介绍它的使用方法。top是一个动态显示过程,即可以通过用户按键来不断刷新当前状态.如果在前台执行该命令,它将独占前台,直到用户终止该程序为止.比较准确的说,top命令提供了实时的对系统处理器的状态监视.它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序；而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.1．命令格式：top [参数]2．命令功能：显示当前系统正在执行的进程的相关信息，包括进程ID、内存占用率、CPU占用率等3．命令参数：-b 批处理 -c 显示完整的治命令 -I 忽略失效过程 -s 保密模式 -S 累积模式 -i<时间> 设置间隔时间 -u<用户名> 指定用户名 -p<进程号> 指定进程 -n<次数> 循环显示的次数4．使用实例：实例1：显示进程信息命令：top输出：[root@TG1704 log]# top top - 14:06:23 up 70 days, 16:44,  2 users,  load average: 1.25, 1.32, 1.35 Tasks: 206 total,   1 r ...继续阅读 (33)

Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照，就是执行ps命令的那个时刻的那些进程，如果想要动态的显示进程信息，就可以使用top命令。要对进程进行监测和控制，首先必须要了解当前进程的情况，也就是需要查看当前进程，而 ps 命令就是最基本同时也是非常强大的进程查看命令。使用该命令可以确定有哪些进程正在运行和运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等。总之大部分信息都是可以通过执行该命令得到的。ps 为我们提供了进程的一次性的查看，它所提供的查看结果并不动态连续的；如果想对进程时间监控，应该用 top 工具。kill 命令用于杀死进程。linux上进程有5种状态:1. 运行(正在运行或在运行队列中等待)2. 中断(休眠中, 受阻, 在等待某个条件的形成或接受到信号)3. 不可中断(收到信号不唤醒和不可运行, 进程必须等待直到有中断发生)4. 僵死(进程已终止, 但进程描述符存在, 直到父进程调用wait4()系统调用后释放)5. 停止(进程收到SIGSTOP, SIGSTP, SIGTIN, SIGTOU信号后停止运行运行)ps工具标识进程的5种状态码:D 不可中断 uninterruptible sleep (usually IO)R 运行 runnable (on ...继续阅读 (20)

每次一回家，看到各种亲戚就觉得不敢和他们说话，不敢提钱，不敢提工作，原因是什么呢？当然是怕他们问工资多少。程序员的工资虽然不少，但是也不想这样被问来问去的，起码咱是读书人啊……不过后来我在开发之余的一次休假中，一下明白了，皮裤原理啊……故事的发生是这样的，有一次，我去同学家吃饭。他有个亲戚从老家来看病，住在他家。同学管亲戚喊老舅，我们也都跟着喊舅。老舅长老舅短的一喊，亲戚高兴了，把我们都当成亲外甥了，挨个问我们一月挣多少钱。老家的风俗很淳朴，淳朴到根本不会把你当外人。有个在部委工作的，我们亲切地叫他毛部。毛部说一个月拿四千块。老舅眉头一皱：不可能！老舅说在诳他。毛部只好说，还有点补贴。老舅问补贴多少。毛部说几百块。老舅：不止吧？毛部笑了：有时候也发点降温费、过节费什么的。老舅：加起来多少钱？毛部：六七千吧。老舅：肯定还有，绝对不止这个数。那神情好像毛部的工资是他亲手定的。毛部：要算加班费的话，八九千吧。老舅点点头：这还差不多，我就不信你才拿四千。实际上，毛部所有收入加起来，一月不到五千。接下来，问一个干IT的同学。他月入大概两万。我们怕他刺激到老舅。IT同学滑头，他说：老舅，你觉得我一个月能拿多少。老舅：你也不会少了。IT同学会意了：比毛部少一点，但没少太多，一个月七八千的样子。老舅点点头：嗯，你说的是实话。那次经验让我明白一点：在回答别人问题的时候。不一定要告诉他真实的答案。很多 ...继续阅读 (13)

在大多数情况下，我们习惯于使用Delete键、垃圾箱或rm命令从我们的计算机中删除文件，但这不是永久安全地从硬盘中（或任何存储介质）删除文件的方法。该文件只是对用户隐藏，它驻留在硬盘上的某个地方。它有可能被数据窃贼、执法取证或其它方式来恢复。假设文件包含密级或机密内容，例如安全系统的用户名和密码，具有必要知识和技能的攻击者可以轻松地恢复删除文件的副本并访问这些用户凭证（你可以猜测到这种情况的后果）。在本文中，我们将解释一些命令行工具，用于永久并安全地删除 Linux 中的文件。1、 shred – 覆盖文件来隐藏内容shred会覆盖文件来隐藏它的内容，并且也可以选择删除它。$ shred -zvu -n 5 passwords.list在下面的命令中，选项有：-z - 用零覆盖以隐藏碎片 -v - 显示操作进度 -u - 在覆盖后截断并删除文件 -n - 指定覆盖文件内容的次数（默认值为3）shred – 覆盖文件来隐藏它的内容你可以在shred的帮助页中找到更多的用法选项和信息：$ man shred2、 wipe – 在 Linux 中安全删除文件wipe命令可以安全地擦除磁盘中的文件，从而不可能恢复删除的文件或目录内容。首先，你需要安装wipe工具，运行以下适当的命令：$ sudo apt-get install wipe [Debian 及其衍生版] $ sud ...继续阅读 (19)

Linux系统中的wc(Word Count)命令的功能为统计指定文件中的字节数、字数、行数，并将统计结果显示输出。1．命令格式：wc [选项]文件...2．命令功能：统计指定文件中的字节数、字数、行数，并将统计结果显示输出。该命令统计指定文件中的字节数、字数、行数。如果没有给出文件名，则从标准输入读取。wc同时也给出所指定文件的总统计数。3．命令参数：-c 统计字节数。 -l 统计行数。 -m 统计字符数。这个标志不能与 -c 标志一起使用。 -w 统计字数。一个字被定义为由空白、跳格或换行字符分隔的字符串。 -L 打印最长行的长度。 -help 显示帮助信息 --version 显示版本信息4．使用实例：实例1：查看文件的字节数、字数、行数命令：wc test.txt输出：[root@localhost test]# cat test.txt hnlinux peida.cnblogs.com ubuntu ubuntu linux redhat Redhat linuxmint [root@localhost test]# wc test.txt 7  8 70 test.txt [root@localhost test]# wc -l test.txt 7 test.txt [root@localhost test]# wc -c tes ...继续阅读 (11)

伯乐在线小编注：本文是作者的旧文呵呵，题图是一队困在坑中的鸭子：）作为一个搬砖的，我经常被困着。今天高考，想起15年前的今天（哦，那时候是七月高考），恩，考完了，还不错，然而15年后还是搬砖：）0. 承上启下之前那篇文章写出来以后我就觉得会有很多不同的意见，哈哈，那只代表我个人的意见啊，欢迎讨论。先说说之前那一篇，我举例子举的OA系统，并不是说OA一定要这么设计，只是一种夸张的手法，为了说明后面的完全脱离了业务场景来进行技术架构的设计就是过度设计，并不是说OA系统太简单所以不能这么设计，另外，写PHP效率低也只是打个比方，并非贬低全世界最好的语言，很多人拿这两个来喷，实在没必要。好了，说今天这一篇的正题了，上一篇写了整体架构设计中的过度设计，这篇来说说高可用吧。1. 迷信架构可以解决高可用，但并没有银弹高可用，我知道一旦带上这个词，不管写什么都会有人有不同意见，我说说我认为的高可用下的坑吧。我想很多人理解的高可用就是单台机器挂掉了整个服务不会挂掉，所以写代码的时候使用集群的思想去写代码，比如做成无状态的服务，保证在集群使用的时候无状态，单机故障不影响服务，从而达到高可用的效果。由这种思想搭建起来的系统很可能长成下面这个样子，我想很多人都看到过这种架构模式吧。首先，这种架构模式本身并没什么问题，而且也确实很好，有服务发现，有集群，单台机器挂掉了还有其他机器可使用，在搜索系统，推荐系 ...继续阅读 (18)

这个系列是坑系列，会说一些在系统设计，系统架构上的坑，这些都是我想到哪说到哪，有像这篇一样比较宏观的坑，后面的文章也会有到具体技术细节的（比如某个函数，某个系统调用）坑，总之，到处都是坑，这些坑有些是我经历过的，有些是听说的，你也可以留言说说你遇到的坑。这一篇，我们从重构这个场景来看看系统架构的设计中过度设计这个坑。首先，我们这里说的「重构」，和《重构:改善既有代码的设计》这本书中的重构不太一样，这是本好书，它主要说的是代码级别的重构，这种重构是需要在编码的时候时时刻刻进行的，更多的是一种编程思想的训练，而我们这篇的重构主要是说系统设计的重构。0. 关于架构师在说之前先聊聊架构师这个职位吧，这个职位最近两年特别特别火，哪个公司没个架构师好像都不好意思跟人打招呼，各位架构师打上这个标签后头上就顶了一个光环了，本人也认识各个公司的一些架构师，我认识的架构师分成几种：系统架构师，这种技术能力是最强的，这也是一般人眼中的架构师了，这种架构师一般属于领域架构师，对某个领域的技术有比较深入的了解业务架构师，我只是用了这个名字而已啊，有些地方的业务架构师其实和上面的系统架构师没什么两样，但有些业务架构师有些脱离了技术了，基本上变成了一个项目经理的角色，各种沟通，我觉得不应该算架构师了。PPT架构师，这个顾名思义，这是”最高级”的架构师了，只要PPT做得酷炫就OK了，这是我 ...继续阅读 (25)

Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep的工作方式是这样的，它在一个或多个文件中搜索字符串模板。如果模板包括空格，则必须被引用，模板后的所有字符串被看作文件名。搜索的结果被送到标准输出，不影响原文件内容。grep可用于shell脚本，因为grep通过返回一个状态值来说明搜索的状态，如果模板搜索成功，则返回0，如果搜索不成功，则返回1，如果搜索的文件不存在，则返回2。我们利用这些返回值就可进行一些自动化的文本处理工作。1．命令格式：grep [option] pattern file2．命令功能：用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活。3．命令参数：-a   --text   #不要忽略二进制的数据。    -A<显示行数>   --after-context=<显示行数>   #除了显示符合范本样式的那一列之外，并显示该行之后的内容。    -b   --byte-offset   #在显示符合样式的那一行之前，标示出该行第一个字符的编号。    -B<显示行数>   --before-context=&l ...继续阅读 (23)

领域驱动设计和服务自演进能力是内功。前言《微服务的团队应对之道》提到，微服务帮助企业提升其响应力，而企业需要从DevOps、服务构建、团队和文化四点入手，应对微服务带来的复杂度和各种挑战，从而真正获益。如果说运维能力是微服务的加油站，服务则是其核心。企业想要实施微服务架构，经常问到的第一个问题是，怎么拆？如何从单体到服务化的结构？第二个问题是拆完后业务变了增加了怎么办？另外，我们想要改变的系统往往已经成功上线，并有着活跃的用户。那么对其拆分还需要考虑现有的系统运行，如何以安全最快最低成本的方式拆分也是在这个过程中需要回答的问题。本文会针对以上问题，介绍我们团队在服务拆分和演进过程中的实践和经验总结。我们项目架构的演化历程该项目始于2009年，到现在已有7年的时间。在这7年中覆盖的业务线不断扩大，从工单、差旅、计费、文件、报表、增值业务等；业务流程从部分节点到用户端的全线延伸；7年间打造多个产品，架构经历了多次调整，从单体架构、RPC、服务化、规模化到微服务。主要架构变迁如下图所示：在这7年架构演进路上，我们遇到的主要挑战如下：如何拆？即如何正确理解业务，将单体结构拆分为服务化架构？拆完后业务变了增加了怎么办？即在业务需求不断发展变化的前提下，如何持续快速地演进？如何安全地持续地拆？即如何在不影响当下系统运行状态的前提下，持续安全地演进？如何保证拆对了？拆完了怎么保证不被破坏？问题1 ...继续阅读 (13)

简介当你工作的时候，肯定会浏览一些与工作无关的东西，别说你没有过。这时被老板发现就太尴尬了。当然，我也可以马上切换桌面，但这种举动太可疑了，而且有的时候我根本没注意到老板来了。为了表现得不是那么刻意，我做了个人脸识别程序，老板过来的时候自动隐藏桌面内容。具体来说，我用Keras来实现面部识别的神经网络，用网络摄像头来判断他是否正在接近，然后切换画面。任务这个程序的目的是在发现老板接近时自动切换电脑桌面。场景如下：老板和我的座位之间隔着 6、7 米，他离开座位后大概 4、5 秒钟到达我的工位。因此必须在这个时间内切换好桌面，时间紧迫！策略可能你们会有很多办法，以下是我的个人对策。首先，让电脑用深度学习的技术记住老板的脸；然后在我的工位安装一个网络摄像头，一旦捕捉到老板的脸就迅速切换桌面。我认为这是个很完美的策略，姑且称它为Boss Sensor（老板识别器）吧。系统架构Boss Sensor 的系统架构如下所示。网络摄像头捕捉实时画面。学习模型对捕捉画面的面部进行检测和识别。识别出老板的面部后，切换桌面。这个过程用到了如下技术：捕捉面部画面面部识别切换桌面让我们一步一步分解一下。捕捉面部画面首先，用网络摄像头捕捉画面。我用的是BUFFALO BSW20KM11BK。你也可以用电脑软件自带的摄像头，但是考虑到接下来的步骤，最好是可以直接获得图像。由于接下来需要进行面部识别，所以需要对图 ...继续阅读 (17)

cal命令可以用来显示公历（阳历）日历。公历是现在国际通用的历法，又称格列历，通称阳历。“阳历”又名“太阳历”，系以地球绕行太阳一周为一年，为西方各国所通用，故又名“西历”。1．命令格式：cal [参数][月份][年份]2．命令功能：用于查看日历等时间信息，如只有一个参数，则表示年份(1-9999)，如有两个参数，则表示月份和年份3．命令参数：-1 显示一个月的月历 -3 显示系统前一个月，当前月，下一个月的月历 -s  显示星期天为一个星期的第一天，默认的格式 -m 显示星期一为一个星期的第一天 -j  显示在当年中的第几天（一年日期按天算，从1月1号算起，默认显示当前月在一年中的天数） -y  显示当前年份的日历4．使用实例：实例1：显示当前月份日历命令：cal输出：[root@localhost ~]# cal    十二月 2012      日 一 二 三 四 五 六                    1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31[root@localhost ~]#实例2：显示指定月份的日历命令：cal 9 2012输出：[root@localhost ~]# cal 9 2012      ...继续阅读 (18)

在linux环境中，不管是编程还是其他维护，时间是必不可少的，也经常会用到时间的运算，熟练运用date命令来表示自己想要表示的时间，肯定可以给自己的工作带来诸多方便。1．命令格式：date [参数]... [+格式]2．命令功能：date 可以用来显示或设定系统的日期与时间。3．命令参数：必要参数:%H 小时(以00-23来表示)。  %I 小时(以01-12来表示)。  %K 小时(以0-23来表示)。  %l 小时(以0-12来表示)。  %M 分钟(以00-59来表示)。  %P AM或PM。  %r 时间(含时分秒，小时以12小时AM/PM来表示)。  %s 总秒数。起算时间为1970-01-01 00:00:00 UTC。  %S 秒(以本地的惯用法来表示)。  %T 时间(含时分秒，小时以24小时制来表示)。  %X 时间(以本地的惯用法来表示)。  %Z 市区。  %a 星期的缩写。  %A 星期的完整名称。  %b 月份英文名的缩写。  %B 月份的完整英文名称。  %c 日期与时间。只输入date指令也会显示同样的结果。  %d 日期(以01-31来表示)。  %D 日期(含年月日)。  %j 该年中的第几天。  %m 月份(以01-12来表示)。  %U 该年中的周数。  %w 该周的天数，0代表周日，1代表周一，异词 ...继续阅读 (21)

diff 命令是 linux上非常重要的工具，用于比较文件的内容，特别是比较两个版本不同的文件以找到改动的地方。diff在命令行中打印每一个行的改动。最新版本的diff还支持二进制文件。diff程序的输出被称为补丁 (patch)，因为Linux系统中还有一个patch程序，可以根据diff的输出将a.c的文件内容更新为b.c。diff是svn、cvs、git等版本控制工具不可或缺的一部分。1．命令格式：diff[参数][文件1或目录1][文件2或目录2]2．命令功能：diff命令能比较单个文件或者目录内容。如果指定比较的是文件，则只有当输入为文本文件时才有效。以逐行的方式，比较文本文件的异同处。如果指定比较的是目录的的时候，diff 命令会比较两个目录下名字相同的文本文件。列出不同的二进制文件、公共子目录和只在一个目录出现的文件。3．命令参数：- 　指定要显示多少行的文本。此参数必须与-c或-u参数一并使用。 　-a或--text 　diff预设只会逐行比较文本文件。 -b或--ignore-space-change 　不检查空格字符的不同。 -B或--ignore-blank-lines 　不检查空白行。 -c 　显示全部内文，并标出不同之处。 -C或--context 　与执行"-c-"指令相同。 -d或--minimal 　使用不同的演算法，以较小的单位来做比较 ...继续阅读 (22)

ln是linux中又一个非常重要命令，它的功能是为某一个文件在另外一个位置建立一个同步的链接.当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后在 其它的目录下用ln命令链接（link）它就可以，不必重复的占用磁盘空间。1．命令格式：ln [参数][源文件或目录][目标文件或目录]2．命令功能：Linux文件系统中，有所谓的链接(link)，我们可以将其视为档案的别名，而链接又可分为两种 : 硬链接(hard link)与软链接(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中，而软链接却可以跨越不同的文件系统。软链接：1.软链接，以路径的形式存在。类似于Windows操作系统中的快捷方式2.软链接可以 跨文件系统 ，硬链接不可以3.软链接可以对一个不存在的文件名进行链接4.软链接可以对目录进行链接硬链接:1.硬链接，以文件副本的形式存在。但不占用实际空间。2.不允许给目录创建硬链接3.硬链接只有在同一个文件系统中才能创建这里有两点要注意：第一，ln命令会保持每一处链接文件的同步性，也就是说，不论你改动了哪一处，其它的文件都会发生相同的变化；第二，ln的链接又分软链接和硬链接 ...继续阅读 (35)

测试优先或测试驱动开发（TDD）是你在编写程序前先编写测试的软件开发方法。你编写程序来通过测试，扩展测试或增加测试然后再扩展程序功能来通过这些测试。你先花费时间建立一系列的测试，然后你可以在每次程序修改时自动运行测试。这是为了确保每时每刻程序都能够运行并通过测试。你周期性地重构你的程序来提高它的结构并让它易读易改。外界宣称测试优先式开发提高了测试覆盖率，并且在不改变现有功能基础上，能够更简单的改变程序。测试的作用就像文档一样，你有了一个关于程序应该做什么的详细又抽象的描述。几个月前，我谨慎的决定体验测试优先式开发。作为一个退休的程序员，我编写的是我私人的项目，而不是一个有文档说明的客户端。所以我在此所说的话或许仅仅适用于没有严格程序文档的情况。起初，我发现这个方法（测试驱动开发）很有用。但我开始实现一个 GUI 时，编写测试很困难，而且我认为编写测试所花费的时间并不值得。然后，我并没有完全（或许是不纯粹地）按照TDD的要求去实现，所以我没有对所有东西做自动化测试，有时在编写测试前就实现了一些东西。但是，我并不是因为编写 GUI 自动化测试的（众所周知的）困难而放弃 TDD 。我放弃是因为我认为它在编程中鼓励保守主义，它鼓励你设计能通过测试的决策，而不是符合用户的正确决策，它使你专注于细节而不是架构，并且它并不能适用于主要的一类程序问题——那些由意外的数据引起的问题。因为你想确保你总 ...继续阅读 (23)

虚拟机保护已经是现代保护壳不可缺少的一环，虽然逆向方也发展出各种插件帮助分析，但只针对特定某款，通用性的方法却不多见。我总在想，既然虚拟机的结构是固定的，如果有一款工具能够记录指令流，那么按图索骥，也许能发展出一套通用的分析方法来。其实OD（OllyDbg）就有记录指令流的功能，叫跟踪（trace），也许是效果不好或者操作不便，用的人甚至知道的人不多。先介绍下怎么用。OD的跟踪功能原理很简单，就是每一步都自动下单步断点，然后记录断下来的指令信息。这项功能涉及到几项设置，第一项是缓存大小，不难想象，跟踪得到的这一些列的指令记录是需要占地方存储的，占多大可以设置，位置在调试选项（Debugging options）->跟踪（Trace），如图1。图1第一项就是缓存的大小，内存允许的话，自然是多多益善，毕竟缓存越大，允许记录的信息越多。第二项是记录的内容，跟踪会自动记录地址模块等信息，此外可以选择是否记录指令、ESP和标志位的信息。设置位置紧接着缓存大小，见图2，可以按需勾选，本文只需要记录指令即可。最后一项是在调试（DEBUG）菜单中打开Trace。图2现在Trace已经设置完毕了，按下Ctrl+F12，查看Trace窗口，应该已经开始记录执行过的指令。否则请检查前述设置和操作是否正确。那么，虚拟机保护要怎么入手分析呢？前面我提到，虚拟机是有固定结构的，既然要分析，那对应的找到这 ...继续阅读 (44)

多年来，Google Brain 团队致力于智能的机器学习来改善人们的生活。为此，无论是在纯理论研究的领域，还是将研究成果投入实际应用，探索从未停止。近期，Google Brain 团队负责人 Jeff Dean 对2016年在各领域取得的重大进展进行了总结。理论研究成果：发表 27 篇论文2016 年，Google Brain 团队参与了 ICML、NIPS 和 ICLR 等国际顶级机器学习会议，并在这些会议上发表了 27 篇论文。除机器学习领域的专业会议以外，还有很多论文被其他领域的会议所接受，例如自然语言处理领域的 ACL 和 CoNNL 大会、语音领域的 ICASSP 大会等。Google Brain 还向深度学习研究会议 ICLR 2017 提交了 34 篇论文，以在即将到来的大会中进行研究讨论。自然语言理解：翻译精准度提升 85%让计算机更好地理解人类语言，一直是 Google Brain 团队的一个研究重点。早在 2014 年，Google Brain 的三位研究员通过相关论文展示了神经网络技术被运用在机器翻译中的可能性，2015 年的研究还表明这种技术也能被运用到图像翻译、句子成分分析和解决集合运算问题等方面。在 2016 年，通过与 Google 翻译团队的紧密合作，一种端对端的学习系统被运用到了 Google 翻译中，大幅提高了翻译准确率，其中一些语言对的准确率 ...继续阅读 (23)

在大型企业中，由于业务复杂、数据量大、数据格式不同、数据交互格式繁杂，并非所有的操作都能通过交互界面进行处理。而有一些操作需要定期读取大批量的数据，然后进行一系列的后续处理。这样的过程就是“批处理”。批处理应用通常有以下特点：数据量大，从数万到数百万甚至上亿不等；整个过程全部自动化，并预留一定接口进行自定义配置；这样的应用通常是周期性运行，比如按日、周、月运行；对数据处理的准确性要求高，并且需要容错机制、回滚机制、完善的日志监控等。什么是Spring batchSpring batch是一个轻量级的全面的批处理框架，它专为大型企业而设计，帮助开发健壮的批处理应用。Spring batch为处理大批量数据提供了很多必要的可重用功能，比如日志追踪、事务管理、job执行统计、重启job和资源管理等。同时它也提供了优化和分片技术用于实现高性能的批处理任务。它的核心功能包括：事务管理基于块的处理过程声明式的输入/输出操作启动、终止、重启任务重试/跳过任务基于Web的管理员接口笔者所在的部门属于国外某大型金融公司的CRM部门，在日常工作中我们经常需要开发一些批处理应用，对Spring Batch有着丰富的使用经验。近段时间笔者特意总结了这些经验。使用Spring Batch 3.0以及Spring Boot在使用Spring Batch时推荐使用最新的Spring Batch 3.0版本。相比 ...继续阅读 (17)

需求出现年会将近，而年会抽奖环节必不可少，但是抽奖系统却还没有。所以某一天，PM走过来说：小伙，手头的需求修完成了吧！在年会开始之前必须做出一个抽奖系统。这个系统很简单，后台可以设置总金额，然后每个用户可以获得的金额范围，金额派完则显示很遗憾没有中奖，还要设置抽奖活动时间。需求分析一看这东西，就觉得非常简单。最简单的一个方案，活动时间放在一个数据表，总金额和已经使用金额存放在一个表，已经派送的日志一个表。后台提供一个接口，客户端手动点击按钮，则发送一个请求。账号体系直接使用微信的oauth，接口首先判断活动有没有开始，如果开始则随机一个金额，然后判断如果派送该金额会不会超预算，如果不超预算，则调用微信的现金接口发放零钱。并发问题这个简单方案存在一个致命的问题，就是并发下，可能导致超预算的问题。如果采用加锁的方式，面对1000多员工同时请求，系统100%瘫痪。（因为抽奖系统的服务器是最普通的1核1G 1M带宽的服务器）那么不加锁的情况，又能如何避免并发造成的派送超过预算的问题呢？ 一个简单的办法，把分配派送金额的操作从并行变成串行。那么就需要异步的编程方法。最简单的处理方法，把任务写入mysql，然后启动一个独立的进程来一个任务一个任务的串行处理。异步的话，客户端如何知道服务器已经处理了呢？最简单就是采用轮询的方法了，客户端每隔几秒就请求服务器一次。性能问题由于抽奖是短时间大量用户请 ...继续阅读 (24)

Linux du命令也是查看使用空间的，但是与df命令不同的是Linux du命令是对文件和目录磁盘使用的空间的查看，还是和df命令有一些区别的.1．命令格式：du [选项][文件]2．命令功能：显示每个文件和目录的磁盘使用空间。3．命令参数：-a或-all  显示目录中个别文件的大小。    -b或-bytes  显示目录或文件大小时，以byte为单位。    -c或--total  除了显示个别目录或文件的大小外，同时也显示所有目录或文件的总和。  -k或--kilobytes  以KB(1024bytes)为单位输出。 -m或--megabytes  以MB为单位输出。    -s或--summarize  仅显示总计，只列出最后加总的值。 -h或--human-readable  以K，M，G为单位，提高信息的可读性。 -x或--one-file-xystem  以一开始处理时的文件系统为准，若遇上其它不同的文件系统目录则略过。  -L<符号链接>或--dereference<符号链接> 显示选项中所指定符号链接的源文件大小。    -S或--separate-dirs   显示个别目录的大小时，并不含其子目录的大小。  -X<文件>或--exclude-from=<文件>  在<文件>指定目录 ...继续阅读 (30)

本系列：面试被问设计模式？不要怕看这里：单例模式面试被问设计模式？不要怕看这里：工厂模式上一篇中，我给大家详细讲解了一下工厂模式以及面试中可能会被问到的关键点，我们先来温习温习。工厂模式的关键点：一、工厂模式分为简单工厂，工厂和抽象工厂二、三种工厂的实现是越来越复杂的三、简单工厂通过构造时传入的标识来生产产品，不同产品都在同一个工厂中生产，这种判断会随着产品的增加而增加，给扩展和维护带来麻烦四、工厂模式无法解决产品族和产品等级结构的问题五、抽象工厂模式中，一个工厂生产多个产品，它们是一个产品族，不同的产品族的产品派生于不同的抽象产品（或产品接口）。另外，如果面试官问你在项目中有没有用过，千万千万不要再举连接数据库的例子了，真的。。。好了，温习完了以后，我们下面来讲讲今天的内容，观察者模式。单例，工厂，观察者，我认为是设计模式三杰，为何这么说，因为这三种设计模式使用频率最高，变化最多，而且覆盖面最广，当然，也是面试中最容易被问到的。当然，像装饰，建造，策略这几个也是经常会用到的，后面文章中我会一一展开讨论。从这里开始，我们在介绍设计模式之前，需要强调一下角色。实际上从上篇工厂模式中，就已经有角色的概念。大家想想，工厂模式中有哪些角色？没错，就是工厂角色和产品角色。同样，在观察者模式中，也有两个角色，就是观察者和被观察者。在理解设计模式的时候，首先要有个概念，就是每个角色都对应这一个类 ...继续阅读 (15)

对垃圾回收进行分析前，我们先来了解一些基本概念基本概念内存管理：内存管理对于编程语言至关重要。汇编允许你操作所有东西，或者说要求你必须全权处理所有细节更合适。C 语言中虽然标准库函数提供一些内存管理支持，但是对于之前调用 malloc 申请的内存，还是依赖于你亲自 free 掉。从C++、Python、Swift 和 Java 开始，才在不同程度上支持内存管理。内存压缩：对内存碎片进行压缩。（和win10的那个“内存压缩”不太一样啦）win10内存压缩：物理内存已经见底，将一部分不常使用的内存数据打包压缩起来，等到有程序需要访问那些数据的时候，再解压缩出来。引用与指针：引用被创建的同时必须被初始化（指针则可以在任何时候被初始化）。不能有NULL 引用，引用必须与合法的存储单元关联（指针则可以是NULL）。一旦引用被初始化，就不能改变引用的关系（指针则可以随时改变所指的对象）。引用只是某块内存的别名。实际上“引用”可以做的任何事情“指针”也都能够做，为什么还要“引用” 这东西？ 答案是“用适当的工具做恰如其分的工作”。比如说，某人需要一份证明，本来在文件上盖 上公章的印子就行了，如果把取公章的钥匙交给他，那么他就获得了不该有的权利。（什么情况下，就用什么对策）为什么还要说“只有指针，没有引用是一个重要改变？”？答案是虽然引用在某些情况下好用，但他也会导致致命错误。如下：char *p ...继续阅读 (16)

linux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。1．命令格式：df [选项] [文件]2．命令功能：显示指定磁盘文件的可用空间。如果没有文件名被指定，则所有当前被挂载的文件系统的可用空间将被显示。默认情况下，磁盘空间将以 1KB 为单位进行显示，除非环境变量 POSIXLY_CORRECT 被指定，那样将以512字节为单位进行显示3．命令参数：必要参数：-a 全部文件系统列表 -h 方便阅读方式显示 -H 等于“-h”，但是计算式，1K=1000，而不是1K=1024 -i 显示inode信息 -k 区块为1024字节 -l 只显示本地文件系统 -m 区块为1048576字节 --no-sync 忽略 sync 命令 -P 输出格式为POSIX --sync 在取得磁盘信息前，先执行sync命令 -T 文件系统类型选择参数：--block-size=<区块大小> 指定区块大小 -t<文件系统类型> 只显示选定文件系统的磁盘信息 -x<文件系统类型> 不显示选定文件系统的磁盘信息 --help 显示帮助信息 --version 显示版本信息4．使用实例：实例1：显示磁盘使用情况命令：df输出：[root@CT1190 l ...继续阅读 (22)

队列多种多样，不同之处在于消息生产者、消费的数量不同；在于是基于预先分配的buffer有界队列，还是基于List的无界队列；在于是否支持优先级；在于是无锁非阻塞，还是有锁；在于严格遵守FIFO，公平还是非公平等等。更多细节参见Dmitry Vyukov的文章。众所周知，更多特定的队列需求，势必需要更加有效的算法。本文中，只考虑队列最常见的版本，多个生产者对多个消费者，无界并发队列，因此不考虑优先级。我猜队列想必是研究人员最喜欢的数据结构，因为它简单，但却比栈复杂，因为它有两端而非一端。正是因为有两端，那么一个有趣的问题就出来了：如何在多线程环境下管理它们呢？各种版本的队列算法纷纷发表，想要做一个全面的描述是不可能的了。我提炼其中一些最流行的算法简要介绍一下，首先从经典队列开始。经典队列经典队列是一个带有两端，即头和尾的列表。从头部读取数据，从尾部写入数据。一个标准的简单队列下面的代码拷贝自《无锁数据结构：简介》struct Node { Node * m_pNext ; }; class queue { Node * m_pHead ; Node * m_pTail ; public: queue(): m_pHead( NULL ), m_pTail( NULL ) {} void enqueue( Node ...继续阅读 (26)

减少文件大小有两个明显的好处，一是可以减少存储空间，二是通过网络传输文件时，可以减少传输的时间。gzip是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令，既方便又好用。gzip不仅可以用来压缩大的、较少使用的文件以节省磁盘空间，还可以和tar命令一起构成Linux操作系统中比较流行的压缩文件格式。据统计，gzip命令对文本文件有60%～70%的压缩率。1．命令格式：gzip[参数][文件或者目录]2．命令功能：gzip是个使用广泛的压缩程序，文件经它压缩过后，其名称后面会多出”.gz”的扩展名。3．命令参数：-a或--ascii 　使用ASCII文字模式。  -c或--stdout或--to-stdout 　把压缩后的文件输出到标准输出设备，不去更动原始文件。  -d或--decompress或----uncompress 　解开压缩文件。  -f或--force 　强行压缩文件。不理会文件名称或硬连接是否存在以及该文件是否为符号连接。  -h或--help 　在线帮助。  -l或--list 　列出压缩文件的相关信息。  -L或--license 　显示版本与版权信息。  -n或--no-name 　压缩文件时，不保存原来的文件名称及时间戳记。  -N或--name 　压缩文件时，保存原来的文件名称及时间戳记。  -q或-- ...继续阅读 (19)

现如今，大多数的开发人员都听说过机器学习，但是当他们试图寻找捷径来学习这些技术时，却有很多人都对机器学习中的一些抽象概念望而却步，诸如回归、无监督学习、概率密度函数和其他许多定义。如果诉诸于书本，代表著作有《An Introduction to Statistical Learning with Applications in R》与《Machine Learning for Hackers》，其中的实例是用 R 语言实现的。然而，R 实际上跟 Java、C#、Scala 等用于开发日常应用的编程语言不同。这也是本文采用Smile来介绍机器学习的原因，Smile 是关于机器学习的一个库，它可以在 Java 与 Scala 中使用，而这两种语言对大多数开发者来说至少是不陌生的。第一部分“机器学习的整体框架”包含了学习下文应用实例要用到的所有重要概念。“应用实例”这一部分参考了《Machine Learning for Hackers》这本书的例子。另外，《Machine Learning in Action》这本书将用于验证。第二部分“应用实例”包含了各种机器学习 (ML) 应用实例，以 Smile 作为 ML 库。注意在本文中，“新”定义会添加超链接，以备读者了解该主题的更多相关内容，但是完成这些实例，并不需要阅读全部的内容。最后，我想感谢以下这些人:Haifeng Li： 感谢他 ...继续阅读 (53)

最近被朋友们拉入了几个技术社群，有微信群，也有QQ群，尤其对一些年轻的朋友，大家乐此不疲的问题居然是 PHP 是最好的语言么？我们推崇“敢于质疑且独立思考的自由精神“，所以对“PHP 是最好的语言么？“这一问题，也是从疑问开始的。什么是最好？《现代汉语词典（第5版）》第1823页对“最好“一词给出的解释如下：最：（1）程度副词，表示某种属性超过所有同类的人或事物 （2）指（在同类事物中）居首位的，没有能比得上的。最好：最为适当。与时俱进一下，再看看百度百科的解释：最好，拼音zuì hǎo，意思是表示最理想的选择；最大的希望。最好是否具有相对性呢？有这样一句名言：怯懦是你最大的敌人，勇敢则是你最好的朋友。——弗兰克最好是指语言的自身么？是指图灵完备性么？是语言自省等特性么？最好相对于的主体是你自己，还是某个群体，抑或全部人群？当我们讨论“PHP 是最好的语言“时候，我们是否明确了“最好“的适用范围，争议往往就是从边界的不明确处产生的。默认的，很多朋友可能是基于“PHP对所有程序员，是最好的语言“这一观点的。科学在于证伪，如果PHP是最好的语言，那么会引出什么样的结论呢？如果…… 那么…..反证法经常会在论述中使用，这里也可以粗浅的尝试一下：如果 PHP 最好的话， 能不能 用 PHP 写个 操作系统呢？遗憾，原谅我的孤陋寡闻，操作系统一般都是C写的，甚至连C++都没有使用。那么 C ...继续阅读 (30)

伯乐在线转注：正文中的引用部分为其他创业者的失败经验分享，引用部分下方的评论部分，为作者点评。用户最关心的来我网站的用户最主要的需求是能方便、简单、快捷的记账，并能统计分析出想要的数据来，而不会特别在乎是否有留言板功能。通过这件事明白了做为个人或一个小的团队，应该时刻提醒自己，产品的核心是什么，这个产品功能可以非常的简单，但这个功能，才会给用户带来价值。实则上，软件不需要去适应所有的情况，有时候，它不能干某些事情才恰恰凸显它的价值。比如微博，不能发超过140个字符的内容，但它给用户带来了价值。我之前犯的错误就是没有集中精力把核心的东西（记账）做好，不应该做记事，至少还不到做记事的时候，不应该做无关紧要的一些功能。现在想想那会应该做的事应该是把记账的用户体验不断完善，做手机客户端，记账分享等等。评：在创业初期，时间是非常有限的，而如果把过多的时间放在一些无关紧要的事情上，损失的不仅仅是时间。一定要分析清楚，用户真正需要的是什么，把这些核心东西做完美，而不是使劲的加功能，没有任何意义。随着时间的流逝，最后用户真正使用的功能也就那么几个。我的想法很简单：1、你提了很多好的建议，我按你的建议修改了，完善了。2、折腾好后，你会不会掏腰包购买？若不购买我就不折腾了。所以很多网络免费用户提的意见，我都没采纳，就当耳边风了。付费用户提的任何一个问题，我都会积极相应，甚至是一个问题，我了解后，会耗费 ...继续阅读 (24)

实习期间的主要工作还是研究 WEB 安全，编程语言是 Python，常用到正则表达式，对 HTTP 的协议也非常清晰。刚过来的时候，研究的主要是 SQL 注入，因为之前没有搞过安全，所有费了好长一段时间学习 SQL 注入的基本知识。这篇文章并不是什么很深入的技术文章，或许应该叫它‘ SQL注入扫盲 ’。关于 SQL InjectionSQL Injection 就是通过把恶意的 SQL 命令插入到 Web 表单让服务器执行，最终达到欺骗服务器或数据库执行恶意的 SQL 命令。学习 SQL 注入，首先要搭一个靶机环境，我使用的是OWASP BWA，感兴趣的可以去官网下载一个安装，除了 SQL 注入，很多靶机环境都可以在 BWA 中找到，它专门为OWASP ZAP渗透工具设计的。$id = $_GET['id']; $getid = "SELECT first_name, last_name FROM users WHERE user_id = '$id'"; $result = mysql_query($getid) or die('<pre>' . mysql_error() . '</pre>' ); $num = mysql_numrows($result);这是一个很简单的 PHP代码，从前台获得id的值，交给数据库来执行，把结果返回给前台。比如我们在 ...继续阅读 (19)