背景只要存在数据库，就会有后台批量处理数据的需求，比如数据表备份、定期清理、数据替换、数据迁移，对于批量处理来说，往往会涉及大量的查询、过滤、归类、聚合计算，在批量脚本中直接查询数据库往往性能太低，甚至会因为一个大型的SQL导致数据库锁表出现线上事故，因此一般采用先导出到文件，在文件上计算然后再导入，比如：1、使用mysql -e “select * from table” > output.txt的方式，执行SQL，将结果导出到文件中；2、针对文件，使用各种方式进行聚合、过滤、替换等计算，最后产出成需要使用的格式；3、发布产出的文件，或者使用load data命令导入到数据库；由于只是一次性的批量查询数据库导出到文件，然后针对文件进行计算，而不是每次都查询数据库，大量节省了网络的IO耗费，从而提升处理的速度。然而得到了导出的文件之后，如果文件过大，或者计算逻辑复杂比如大量的调用了耗费CPU的正则匹配、聚合计算，那么单线程的处理会耗费大量的时间，这时候就可以引入并发处理，使得机器的CPU、内存、IO、网络等资源全部充分利用起来，大幅度降低处理时间。引入多线程，拆分输入文件为多个，每个小文件启动一个处理线程HADOOP的MAP-REDUCE的做法，是先将文件split成小分片文件，然后针对每个分片做计算，最后将每个分片的结果聚合在一起，然而由于HADOO ...继续阅读 (68)

在做ETL（下载、转换、导入）开发的时候，经常会遇到从MySQL中导出数据，经过计算后再导入到MySQL的场景。那么有一个很难绕过的问题，如果源MySQL的字段中，包含了\t、\n特殊字符，该怎么办？因为导出文件时，默认是按照\t分割字段、\n分割行，现在字段中出现了\t和\n，这不是乱了吗？同时导入文件时，load data可以指定fields和lines的分隔符，默认情况都是\t和\n，可是现在字段中有\t和\n，这不乱了吗？最直观想到的办法，是导出的时候，在select语句中，使用mysql的replace函数，将\t和\n替换成普通字符串，使用程序处理，load到库里之后，在使用replace替换。但是如果数据量很大的话，替换\t和\n很不现实。其实，这个问题真的是个问题吗？答案是：根本不用考虑\t和\n1）MySQL的select导出时，会自动把\t和\n转义成\\t和\\n；2）在shell、Python的代码中，按行读取，程序遇到\\n，会自动略过的；3）在shell、Python的代码中，按\t分割，程序遇到\\t，会自动略过的；4）load data导入数据的时候，遇到了\\t和\\n，也当成普通字符处理；做一个测试就知道了：1、准备好数据库、数据表、测试数据CREATE DATABASE `test` /*!40100 DEFAULT CHARACTER SET ...继续阅读 (121)

局限于Java的testng在eclipse中非常强大的手动单测方法这个框框，我试图一直给eclipse安装PHP的测试框架，却发现一直出问题，最后才发觉，PHPUnit的单测思想是直接的脚本测试PHP文件，避免手工的操作。测试本来就应该自动化，不是吗？所以我接受了PHPUnit的命令行测试方法，而不是在eclipse中手动的右键运行测试。PHPUnit官网：https://phpunit.de/使用方法在文档中很明确，加以补充：1、将PHP的安装目录，加入到Windows的PATH环境变量中2、任意的建立一个PHP的二进制文件可执行目录，比如c:\bin3、将c:\bin加入到Windows的PATH环境变量中4、下载 https://phar.phpunit.de/phpunit.phar 并将文件保存到 C:\bin\phpunit.phar5、打开命令行（例如，按 Windows+R » 输入 cmd » ENTER)6、建立外包覆批处理脚本（最后得到 C:\bin\phpunit.cmd）：C:\Users\username> cd C:\bin C:\bin> echo @php "%~dp0phpunit.phar" %* > phpunit.cmd C:\bin> exit7、新开一个命令行窗口，确认一下可以在任意路径下执行 PHPUnit： ...继续阅读 (107)

在类Unix系统的Bash环境下，怎样检查文件是否存在呢？Shell中的test命令，可以用来检测文件的类型或者比较数值是否相等，该命令也能用来检查文件是否存在。可以用如下的命令来进行检查：test -e filename [ -e filename ] test -f filename [ -f filename ]下面的命令，则使用Shell的条件表达式，判断/etc/hosts文件是否存在：[ -f /etc/hosts ] && echo "Found" || echo "Not found"该组合命令会输出以下内容：Found更常见的用法，则是将test命令放置在if..else..fi条件判断的条件表达式，然后在其中写上不同的分支逻辑#!/bin/bash file="/etc/hosts" if [ -f "$file" ] then echo "$file found." else echo "$file not found." fi检测文件属性的相关操作符如果文件存在，并且具有相应的属性，如下的操作符都会返回true：-b FILE FILE exists and is block special -c FILE FILE exists and is character ...继续阅读 (85)

如果项目复杂，进行单元测试是保证降低出错率的好方法，Python提供的unittest可以很方便的实现单元测试，从而可以替换掉繁琐杂乱的main函数测试的方法，将测试用例、测试方法进行统一的管理和维护。本文给出一个实例，很简单，看一下就明白了。首先给出一个要测试的Python模块，代码如下：# coding:utf8 ''' 日期常用类 @author: www.crazyant.net ''' def get_date_year_month(pm_date): """获取参数pm_date对应的年份和月份 """ if not pm_date: raise Exception("get_curr_year_month: pm_date can not be None") # get date's yyyymmddHHMMSS pattern str_date = str(pm_date).replace("-", "").replace(" ", "").replace(":", "") year = str_date[:4] month = str_date[4:6] return year, month然后就可以编写测试脚本，代码如下：# coding: utf8 """ ...继续阅读 (91)

如果项目中有需要后台执行的任务，但是主要的逻辑都在Java代码中，那么我采用的方式是单独建立一个maven模块打成jar包，然后在linux后台通过命令执行Jar包的Main函数：java -classpath backtask.jar "net.crazyant.RunWebService"于是就有个前提，得将maven模块打包成jar包，原本很简单的事情，却出现了很多问题。原始打包方式：使用maven-assembly-pluginPOM配置片段为：<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> </plugin> <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>2.2.1</version> ...继续阅读 (83)

Java线程会议如下三种方式结束，结束后就处于死亡状态1、run()或者call()方法执行完成，线程正常结束；2、线程抛出一个未捕获的Exception或Error；3、直接调用该线程的stop()方法来结束该线程； 注意：当主线程结束时，其他线程不受任何影响，并不会随之结束。一旦子线程启动起来后，它就拥有和主线程相同的地位，不会受到主线程结束的影响。为了测试某个线程是否已经死亡，可以调用线程对象的isAlive()方法，当线程处于就绪、运行、阻塞三种状态时，该方法将返回true；当线程处于新建、死亡两种状态时，该方法就返回false。如下对线程死亡情况的1和2进行测试。主线程的代码如下：public class ThreadTest { public static void main(String[] args) throws InterruptedException { Thread t = new Thread(new RunTask()); t.start(); while (true) { Thread.sleep(1000); System.out.println("主线程：子线程状态为" + t.isAlive()); ...继续阅读 (88)

最近收到线上Tomcat线程数目超出的报警，于是想要分析下问题的原因：首先进入线上，使用ps -aux命令，查看jvm进程，可以得到运行tomcat的jdk的地址：/home/work/app/.jdk/bin/java于是就知道了jdk的jstack、jps等命令的目录，然后找到jvm进程/home/work/app/.jdk/bin/jps 29145 Jps 208 Bootstrap得到了jvm的tomcat进程是208；把堆栈导出，下载到本地：jstack -l 208 > log.txt下载后，发现线程堆栈中，有大量的这样的日志："pool-103-thread-1" prio=10 tid=0x00007f038001e000 nid=0x759d waiting on condition [0x00007f022e5e4000] java.lang.Thread.State: WAITING (parking) at sun.misc.Unsafe.park(Native Method) - parking to wait for <0x00000000912fab28> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject) at java. ...继续阅读 (118)

两个并发事务想要对同一个KEY的数据进行更新，但是如果这个KEY的数据行还不存在的话，那么select .. for update当然不能锁住这行记录，想当然的想到，可不可以先insert一下，然后在悲观锁呢？那么引入了一个新的问题，如果两个并发事务同时insert的话，就会插入重复的数据，如果insert的unique key重复的话，第二个线程会报错的，有没有更优雅的方法？答案是MySQL innodb的INSERT … ON DUPLICATE KEY UPDATE语法；用法见官网文档：https://dev.mysql.com/doc/refman/5.7/en/insert-on-duplicate.htmlIf you specifyON DUPLICATE KEY UPDATE, and a row is inserted that would cause a duplicate value in aUNIQUEindex orPRIMARY KEY, MySQL performs anUPDATEof the old row. For example, if columnais declared asUNIQUEand contains the value1, the following two statements have similar effec ...继续阅读 (86)

本文演示了编写代码使得出现”java.lang.OutOfMemoryError: Java heap space”异常，分析GC日志得出OOM的原因，同时对堆转储文件进行分析，以查看把Heap塞满的罪魁祸首；实例代码这段代码来自《深入理解Java虚拟机-JVM高级特性与最佳实践》一书：package jvmtest; import java.util.ArrayList; import java.util.List; /** * VM Args：-Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError * * @author zzm */ public class HeapOOM { static class OOMObject { } public static void main(String[] args) { Listlist = new ArrayList(); while (true) { list.add(new OOMObject()); } } }在eclipse运行该代码时，需要设置堆size的最小值和最大值，同时使用-XX:+PrintGCDe ...继续阅读 (87)

本文的代码，从https://github.com/cleverdeng/pinyin.py升级得来，针对原文的代码，做了以下升级：1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音； 2、修复：如果为英文字母，则直接输出； 3、修复：如果分隔符为空字符串，仍然能正常输出； 4、升级：可以指定词典的文件路径代码很简单，直接读取了一个词典（字符和英文的映射），然后挨个替换中文中的拼音即可；#!/usr/bin/env python # -*- coding:utf-8 -*- """ 原版代码：https://github.com/cleverdeng/pinyin.py 新增功能： 1、可以传入参数firstcode：如果为true，只取汉子的第一个拼音字母；如果为false，则会输出全部拼音； 2、修复：如果为英文字母，则直接输出； 3、修复：如果分隔符为空字符串，仍然能正常输出； 4、升级：可以指定词典的文件路径 """ __version__ = '0.9' __all__ = ["PinYin"] import os.path class PinYin(object): def __init__(self): self.word_dict = { ...继续阅读 (113)

阅读java的class文件，最常用的方法是jdk自带的javap命令，但是在eclipse有Bytecode visualizer插件，也可以很好地实现阅读；直接阅读class文件，能够了解一下代码如何执行的内幕，以下面这个代码为例package test; import java.util.List; public class Test { public void test() { String a = "x" + "y" + 1; String b = "xy1"; System.out.println(a == b); } public static void main(String[] args) { Test t = new Test(); t.test(); } }test()方法很多人都知道返回true，但是为什么会这样呢？很多人可能说不清楚。我们分别用两种方法阅读一下它们的字节码；该文件首先需要被编译，得到了Test.class文件1、使用javap命令阅读进入Test.class目录，然后使用javap -v Test.class > out将字节码文件读取后存入out文件，然后用notepad++打开out文件：test()函数的样子：从字节码可以看到，编译器已经自动的将变量a的值合并在一起，成为了xy1，因此相当于xy1两 ...继续阅读 (114)

Java的Sevice层会有很多void类型的方法，比如save*、update*，这类方法只是做一些更新，不会有返回值，其单测不能根据方法的返回值来编写，只能采用特殊方法；本方法环境：Mockito、testng被测试的方法：@Override public void updateRuleName(Long ruleId, String newRuleName, Long ucId) { Assert.notNull(ruleId, "规则ID不能为Null"); Assert.notNull(newRuleName, "规则名称不能为Null"); Assert.notNull(ucId, "操作人的UCID不能为Null"); String cleanNewRuleName = StringUtils.trim(newRuleName); if (StringUtils.isBlank(cleanNewRuleName)) { throw new IllegalArgumentException("新的规则名称不能为空"); } // 查询规则对象 Rule rule = query ...继续阅读 (89)

《解忧杂货店》看完后感觉非常的温情，围绕一个孤儿院相关的人，叙述了各自不同的悲剧喜剧故事，情节离奇又前后吻合，第一次体验了东野圭吾的严密逻辑。每个人都有烦恼，相对于局中人来说，问题都难以解决，比如他们的遭遇：父母生意失败跑路、男朋友快离世却坚持让自己参加奥运会、太缺钱以至于很想去酒店坐台、继承鲜鱼店和成为歌手梦想的冲突；他们很幸运，能有一个杂货店的老头和未来的人，给了他们最直击人心痛快淋漓的解答。但是对现实中的我们来说，没有人会有这种机遇，会遇到各种抉择、烦恼、困苦，但是我想说，其实大部分的选择，不同的道路都有其理由，毕竟人生没有什么绝对的对与错，对大部分的事情来说，自己往往都会有倾向的答案，然后收集不同的资料、看法，修正自己的答案甚至重新选择；有时候向他人的询问，往往是验证自己的答案，或者想听到相反的想法从而从反面印证自己的答案；不能做一个笨的人，要做一个深入思考的人，就像雄志一样，不要敷衍不要抱怨不要应付，要沉下心来，忘记自己，深入的思考，探究问题的答案和解决方法。 您可能也喜欢：《超体》中的哲学读书破万卷，代码如有神程序员做开发，前台、后台、测试哪个累？做设计就像创世界个人博客SEO第一步-提交自己的网站无觅 ...继续阅读 (86)

为什么有了事务这东西，还需要乐观锁悲观锁？事务是粗粒度的概念、乐观锁悲观锁可以更细粒度的控制；比如抢票，假设余票只有1张；隔离级别可以保证事务A和事务B不能读到对方的数据，也不能更新对方正在更新的数据，但是事务A和事务B都认为还有1张余票，于是出票，并更新为0；事务解决了并发问题，已经不存在并发问题了；但是事务B读取的是过时数据，依据过时数据做了业务处理；所以需要乐观锁或者悲观锁，来记录一个信息：当前已经读取的数据，是不是已经过时了！事务有这么几种实现方式：锁协议、MVCC、时间戳排序协议、有效性检查协议，锁协议是事务的一种实现方式，事务 = 用锁封装的一个函数，可以重用而已，但是这几个事务的函数覆盖面太粗粒度了，所以有时候我们还得借助于锁来进行细粒度控制；事务不能保证每个操作结果正确，售票时超卖还是会发生。事务保证整个操作的成一个组，要么全做要么全不做 但是不能保证多个事务同时读取同一个数据数据对象被加上排它锁时，其他的事务不能对它读取和修改；加了共享锁的数据对象可以被其他事务读取，但不能修改事务可以用锁实现，可以保证一致性和隔离性，但是锁用来保证并发性；隔离性和并发性有点类似，但是隔离性只是保证不会出现相互读取中间数据，却无法解决并发的问题您可能也喜欢：mysql-修改root密码的方法数据库并发控制机制的理解MYSQL向数据表插入默认字段值的方法navicat-MySQL前台 ...继续阅读 (98)

隔离级别相当于数据库实现的一套现有的机制，我们直接可以复用；但对于特殊需求，我们可以自己使用锁机制来实现，其实我们自己就可以使用锁机制，实现一套隔离级别；StartFragment锁机制只是隔离性级别的一种实现；我的感触是，类似封装了函数，数据库隔离性级别，是帮我们实现了几个线程的并发控制方法。但是一些特殊的并发控制，我们可以自己使用锁机制来实现；1、如果事务A设置为read uncommitted，那么事务B做了update还未提交，事务A能够读取到事务B更新的数据，事务B如果回滚，事务A则看到事务B回滚后的数据；2、如果事务A设置为read committed，那么事务B做了update并且没有提交，事务A是读取不到事务B更新的数据的；3、如果事务A设置为repeatable read，那么事务B做了update并提交，事务A仍然读取不到，事务B即使多次commit，事务A全都读取不到；4、如果事务A设置为serializable，如果事务B已经开始运行并做了更新，那么事务A的任何操作得一直等待；如果B没做更新，则A还是能读取的；以上四种级别，事务A如果正在更新一条数据，事务B如果要更新同一条数据，则会等待直到超时，因为事务A更新这条数据时加上了排它锁；您可能也喜欢：有了事务为什么还需要乐观锁和悲观锁MySQL 查看数据库中每个表占用的空间大小MySQL数据导入导出实例教程手册 ...继续阅读 (71)

IT技术领域的书籍普遍非常的厚，一本《JAVA编程思想》竟然多达800页，拿在手里很沉，只能在办公桌子上看。然而现在的工作普遍非常忙，白天忙着开发、开会，晚上回家累的想看电影、玩游戏，根本没有一整块的时间可以拿出来啃这种大部头书籍。能用来看书的时间只有地铁上、公交上、厕所里，碎片时间较多，可是书这么厚的话，地铁上、公交上、厕所里拿着太累了，不可行。有人说可以看电子书，我试了手机上看、Kindle上看，要么是字迹不清晰，要么排版错乱难以阅读，没有一个好办法。其实解决办法很简单，把书撕开，每个章节单独阅读，有如下好处：物尽其用，大部分大部头的书往往买了没办法看，就摆在那里垫桌子，浪费money；克服恐惧心理，大部头的书看上去让人害怕，就像一座高山，如果把它撕开成小章节，首先心理上不会恐惧，就像一个个小目标一样，一章章看完后，惊讶的发现自己看完了大部头；轻便易携带，拆开成小章节之后，往往只有几十页纸，折叠一下塞到小包里，任何时候都能拿出来，还不占地方；按章节进行阅读，因为章节较小，我们可以按章节进行阅读，一边读不懂，可以读第二遍，每个章节彻底弄懂后，再去看下一章，容易管理自己的进度；这么多好处，还等什么呢。撕开的《JAVA编程思想第四版》撕开的《疯狂JAVA讲义》这真是一种好办法，化整为零、逐个击破，大部头的书往往更加经典，终于有办法可以使用碎片时间学习这些知识了。最近在看JAVA方面的 ...继续阅读 (84)

《Spring in action》3rd中SpringPizza项目和其他的不同，使用gradle编译的，尝试了好久都没能run起来，最后按照一篇文章的做法，将其转换成maven项目，然后就执行成功了。1、下载代码下载地址：http://www.manning.com/walls4/sia3-code.zip，解压代码2、在\sia3-code\SpringPizza目录下建立pom.xml文件，把项目变成maven编译pom.xml文件内容如下：4.0.0com.yogeshSpringPizzawar1.0-SNAPSHOTspring-web-flow Maven Webapphttp://maven.apache.org3.0.5.RELEASEorg.springframework.webflowspring-webflow2.3.2.RELEASEorg.springframework.webflowspring-binding2.3.2.RELEASEjstljstl1.2commons-langcommons-lang2.6org.springframeworkspring-beans3.2.4.RELEASEorg.tuckeyurlrewritefilter3.1.0log4jlog4j1.2.7org.springframeworkspring-aspect ...继续阅读 (277)

最近读了本都市YY小说《重生之小说巨匠》，小说前部分、中部分都写的挺好的，结尾感觉有点弱势，作者很取巧的将金庸、莎士比亚、哈利波特等经典人物书籍引入，通过书籍的简单介绍和造成的世界轰动衬托出主人公很牛逼的效果，而其中作者对怎样写小说的思考很有趣。作者提到，小说题材无限制，你可以创立一个完全虚幻的世界，在这里世界里你就是神，你可以定义任何东西，比如生物除了人还有妖精、比如天上有2个月亮、比如植物也会说话，但是你要保证创立的世界的完备性，如果你定义这个世界每天只有23小时，那么在小说的任何地方，你都不能忘记缺失的这一个小时。创立的世界要符合逻辑，要自己圆的通所有的关系和逻辑。做设计也是一样，设计的目的是为了解决某个问题或者实现新的功能，问题和新的功能往往有核心的需求，实现了核心的需求相当于已经达到了目标。但是一个问题的解决、一个系统的运行，往往不只是几个核心的功能，也需要包括额外的设置、衍生关系等逻辑。比如为了实现系统的灵活性，引入了灵活的配置功能，同时把配置数据使用到了核心模型之中，那么一定还要记得配置的修改会导致核心模型数据的变化，（配置、核心模型、配置和核心模型的关联）这三者的设计思考缺一不可。一生二、二生三、三生万物。系统的完好运行是一种平衡状态，需要任何一方的协作完成。如果想要打破这种平衡，就会引入一个新的变量，就像平静的湖水中扔进了一个石头，从石头落点开始，水的涟漪不断扩散 ...继续阅读 (75)

Python用于处理文本数据绝对是个利器，极为简单的读取、分割、过滤、转换支持，使得开发者不需要考虑繁杂的流文件处理过程（相对于JAVA来说的，嘻嘻）。博主自己工作中，一些复杂的文本数据处理计算，包括在HADOOP上编写Streaming程序，均是用Python完成。而在文本处理的过程中，将文件加载内存中是第一步，这就涉及到怎样将文件中的某一列映射到具体的变量的过程，最最愚笨的方法，就是按照字段的下标进行引用，比如这样子：# fields是读取了一行，并且按照分隔符分割之后的列表 user_id = fields[0] user_name = fields[1] user_type = fields[2]如果按照这种方式读取，一旦文件有顺序、增减列的变动，代码的维护是个噩梦，这种代码一定要杜绝。本文推荐两种优雅的方式来读取数据，都是先配置字段模式，然后按照模式读取，而模式则有字典模式和列表模式两种形式；读取文件，按照分隔符分割成字段数据列表首先读取文件，按照分隔符分割每一行的数据，返回字段列表，以便后续处理。代码如下：def read_file_data(filepath): '''根据路径按行读取文件, 参数filepath：文件的绝对路径 @param filepath: 读取文件的路径 @return: 按\t分割后的每行的数据列表 ''' ...继续阅读 (73)

就像在XY坐标系中，一个X刻度、一个Y刻度，会对应图上的一个点，即pair(x, y) – > point，那么就有创建一个点，或者根据(x, y)来寻求一个点的需求，如果用Python的语法表达，是这个样子：dict((x, y) : point)然而在JAVA中却变得不容易，骨钩了一下，有这么一些方法：使用嵌套MAPMap> map = //... // ... map.get(2).get(5);这种方法将水平的KEY切换成了垂直KEY，我们要找寻XY坐标系中(x, y)对应的点，其实可以先找x点的那条垂直线，然后找出这条垂直线上y高度的那个点。但是要取得这个双KEY的VALUE，得有2次GET，实例代码没有做第一次GET的NULL判断，有隐患！并且感觉不是很直观。写一个pair key的包装类public class Key { private final int x; private final int y; public Key(int x, int y) { this.x = x; this.y = y; } @Override public boolean equals(Object o) { if (this == o) return true; ...继续阅读 (74)

超体电影封面，我无处不在同事LX送了一张一个月的优酷会员卡，赶紧今天使用去找会员才能看的电影来看，一部《超体》激的我热泪盈眶。超体是一部视觉很炫的电影，但是让我飙泪的，是因为里面的大量哲学思想。柏拉图的精神国柏拉图认为，现实是假象，真正的世界是无法感知的精神王国，纯粹的唯心主义。影片中大脑开发到最后，其实也是在一步步的向理想国靠近，一切都由心所生，物质只是心所表象。就像时间加速，汽车就会消失，其实汽车并没有存在，存在的只是思想。知识的传承影片后来，主角可以穿越时空、回到史前，然而我认为主角并没有穿越空间，只是她在经历前人的思想。有哲学家说万物的思想其实一直存在于人的思想之中，但是人类由于局限无法感知，人们平时的学习其实只是回忆已经存在的知识而已。主角到后来已经不需要学习，因为万物、本质，她发现自己早就了然。上帝的存在这里的上帝只是一个名词，并不特指基督。人们普遍认为上帝是一个人，然而也有人认为，上帝无处不在，一切皆上帝。对应于知识的传承，其实上帝存在于每个人的内心，每次的学习、领悟，都是和上帝的对话。这里的上帝，可能也是指柏拉图的精神国对应，同时，也解释了人类的来源所在，人类会不会是上帝的细胞呢？到底什么是存在笛卡尔说我思故我在，身体并不能证明“我”自己，一切都是假象泡影，而“我正在思考，我正在怀疑”才是最真切的。存在就是思想，思想就是存在，万物，皆是影像。真正的幸福影片中主角开发 ...继续阅读 (80)

最近遇到一种需求场景：使用一个类封装Java服务端返回的（返回状态码，返回信息字符串）信息，比如（0，操作成功）、（1，新增失败）、（2，查询失败）等状态。作为一枚Java屌丝，我想到这种常量信息最好写到一个单独的类里面，并且用public static final的形式修饰，为了将返回码code和返回信息msg两者绑定起来可以提供一个公用方法。我做了以下两个努力，一是将两个返回码和返回信息的变量名写的相似，看代码的人一看就知道两个变量的含义和关系；第二个则提供一个根据返回码获得对应的返回信息的方法。写完后自我感觉良好，感觉满足了需求很是完备，于是出现了以下的2B代码：枚举状态码和状态信息的2B写法package net.crazyant; /** * * 返回给客户端的状态码和状态信息 * * @author crazyant.net * */ public class CommunicateCodeOne { /** * 状态码：操作成功 */ public static final int OPERATION_SUCCESS_CODE = 0; /** * 状态信息：操作成功 */ public static final String OPERATION_SUCCESS_MSG = "操作成功"; /** * 状态码：新增失 ...继续阅读 (70)

给大家带来自己制作的Python操作MySQL视频教程。本教程分为三节：Python开发环境搭建以及支持MySQL开发的插件安装、Python访问MySQL数据库的标准API规范接口讲解、Python开发MySQL程序实战编码演示。通过课 程的学习，大家能够基本掌握用Python开发MySQL程序。视频高清版百度链接:http://pan.baidu.com/s/1DB0qM密码: ri1nPython操作MySQL视频教程第一讲 – 开发环境搭建推荐使用以下的开发环境搭配：Eclipse + JDK7插件：PyDev3.8.0python-2.7.8插件：MySQL-python-1.2.4b4.win32-py2.7MySQL服务器：使用wampserver2.5软件包自带的MySQL软件需要安装：vcredist_x64Mysql-5.6.17本视频在优酷的地址：http://v.youku.com/v_show/id_XODE3Nzk4MTEy.htmlPython操作MySQL视频教程第二讲 – 标准接口规范第二讲的视频教程讲解的主要内容是：Python官方针对操作数据库的标准规范文档地址：http://legacy.python.org/dev/peps/pep-0249/Python建立和数据库的connect连接对象connection对象的 ...继续阅读 (74)

本文是自己开发Hive经验的总结，希望对大家有所帮助，有问题请留言交流。Hive开发经验思维导图Hive开发经验总结思维导图（点击查看大图）文档目录向Hive程序传递变量的方式方法1：字符串、正则、模板引擎等暴力方式替换方法2：使用系统变量或者环境变量方法3：在执行Hive命令时传入hivevar和hiveconfOrder by和Sort by的区别？遇到SQL无法实现的逻辑该怎么办？怎样使用脚本语言来扩展HIVEHive任务执行很慢，但是导入数据非常的快？要读取的数据是tar.gz的格式怎么办？已经有了Partitoin，为什么需要Bucket？字段类型设置的越宽泛当然更好了？有哪些针对HIVE的优化方法Join时大表写在最后如果Join表数据量小，使用MapJoin数据的思维，多使用临时表怎样实现In语法其他的一些技巧删除整个数据库的方法查看数据表的详细信息Hive中可以执行shell和hadoop dfs命令union all在数据对齐中的使用NULL和数字相加的问题增加数据到HIVE表的两种方法1. 向Hive程序传递变量的方式使用Hive编写程序最常用的方法是将Hive语句写到文件中，然后使用hive -f filename.hql来批量执行查询语句。经常需要将外部参数传入到hql语句中替换其中的变量来动态执行任务，比如动态设定数据库名、表名、时间值、字段序列等变量，以 ...继续阅读 (98)

最近在按照李刚的《疯狂J2EE》一书学习Spring，其中第7章的一些代码是ant编译的，而公司用的是Maven，所以想要将其部署并转换成Maven Spring Web项目来执行一下。本文用的是《疯狂j2ee》第7章的request_scope代码；1、建立普通的maven project；2、转换成web项目，这里选2.5版本，注意有的WEB项目的webcontent目录会有所不同，可以点击”further configuration available”按钮进行设定，设定的时候，路径从src目录开始复制即可。配置WEB目录所在的位置3、把光盘的代码复制到相应的位置这里看到test.jsp报错了，因为没有Spring的jar包导致，第4步会在Pom.xml中配置这个依赖；4、在pom.xml中增加依赖的Spring的JAR包4.0.0psschapter75-requestScope0.0.1-SNAPSHOTorg.springframeworkspring-context4.0.6.RELEASEorg.springframeworkspring-web4.0.6.RELEASE5、在web.xml中配置部署Spring配置文件xml version='1.0' encoding='%SOUP-ENCODING%'org.springframewor ...继续阅读 (71)

遇到这么一个需求，输入数据为一个ID对应多个name，要求输出数据为ID是唯一的，name随便取一个就可以。执行以下hive ql语句：SELECT sid, class_id FROM table2 GROUP BY sid ;会报错：FAILED: Error in semantic analysis: Line 1:18 Expression not in GROUP BY key 'class_id'查了一下，HIVE有这么一个函数collect_set，类似于mysql的group_concat函数，把每个分组的其他字段，按照逗号进行拼接，得到一个最终字符串：collect_set(col) 返回类型：array 解释：返回一个去重后的对象集合将上述的QL语句改一下：select sid,collect_set(class_id) from table2 group by sid;结果是这样的：1 [11,12,13] 2 [11,14] 3 [12,15] 4 [12,13] 5 [16,14] 7 [13,15]这个时候，我们就可以针对第二列做一些计数、求和操作，分别对应到Hive的聚合函数count、sum。对应到本文的目的，直接从数组获取第一个元素就达到目的了，这样做：select sid,collect_set(class_id)[0] fro ...继续阅读 (78)

如果是对MySQL整个表数据导出，可以参照文章：http://www.crazyant.net/1355.html然而也会遇到的场景是，需要执行一个SQL语句，然后将SQL语句的结果输出到文件；方法一：使用MySQL的select * into outfile ‘/tmp/rs.txt’ from tb_name句型这是个不可行的方法；举个例子，执行以下的SQL语句：mysql -h10.10.10.10 -ucrazyant -p123456 -P3306 -e "use test; select * into outfile '/tmp/rs.txt' from tb_test;"这个SQL总会报出下面的错误：ERROR 1045 (28000) at line 1: Access denied for user 'crazyant'@'10.10.10.10' (using password: YES)原因是这个语句并不是在MySQL客户端，而是在MySQL的服务器上执行的，通常用于服务器管理员在服务器机器上进行数据备份使用，由于MySQL客户端账号并没有访问服务器机器本身的权限，所以这个SQL执行不会成功。方法2：直接将SQL执行的结果重定向到文件即可执行下面的命令，能够将SQL语句执行的结果输出到文件：mysql -h10.10.10.10 -uc ...继续阅读 (76)

Hive的Join的文档说明地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual%2BJoins以下为两个测试数据表建表语句：use test; DROP TABLE IF EXISTS table1; create table table1( student_no bigint comment '学号', student_name string comment '姓名' ) COMMENT 'test 学生信息' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE; DROP TABLE IF EXISTS table2; create table table2( student_no bigint comment '学号', class_no bigint comment '课程号' ) COMMENT 'test 学生选课信息' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED ...继续阅读 (79)

1、想好一个网站的主题有些人认为围绕一个主题建站就能赚钱，这种想法并不合适。应该是围绕一个充满激情的主题开发一个网站。如果你热爱的话题,你会坚持下去,并将继续写作和增加内容，然后带来收入。如果你不热爱它,你最终会放弃这个网站,收入将不了了之。2、最大化压缩你的主题应该把你的创意压缩到最小的主题。例如,如果你想做一个关于家长的网站，你可以缩小成一个关于养育孩子的网站,或对有特殊需要的孩子的养育。3、想一个网站的名称尽可能多的想一个可爱的玩弄文字似的的名称，如果你网站名字告诉读者什么是网站，搜索引擎会更喜欢(读者会更容易发现你)。4、注册域名这是把网站名称变成一个网站的URL的过程。5、找一个虚拟主机或者服务器存放网站代码把网站放在一个虚拟主机或者服务器上，然后全世界的人都能访问。6、在网站上添加点击付费广告比如使用百度联盟，通常选点击付费，效果很好。7、加入网站联盟网站联盟可以让网站所有者和广告主取得联系。网站联盟注册之后，可以搜索哪些广告是很好的适合你的网站。例如,如果你的网站是关于糖果,你应该寻找卖东西像糖果模具,成分,包装的广告主等等。8、在网站上增加广告链接找到合适的广告后，在网站上添加广告代码链接，这将在你的网站上放置横幅或文字广告，当用户点击广告和商家买东西,你会赚佣金。9、在你的网站上销售广告空间如果你的网站变得受欢迎，拥有广泛的读者，你可以让其他人在你的网站上提供私人 ...继续阅读 (63)