前边我们介绍了Hadoop项目的两大基础支柱HDFS和MapReduce，随后又介绍了子项目Pig：一种用类似于SQL的、面向数据流的语言对HDFS下的数据进行处理的MapReduce上层客户端，这大大满足了那些不会Java，不会写MapReduce的程序员。但是对于那些以前一直从事Oracle等关系型数据库数据分析的数据分析师，DBA等，还是有些棘手的。而Hadoop的另一个子项目Hive则解决了这个问题。    好，先看下这篇博客的脉络图：     一，Hive的概念：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句（HiveQL）快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。  我们可以将其看做是从SQL到MapReduce的映射器。     二，Hive的安装：首先要知道Hive将HDFS中的数据组织为表，通过这种方式为HDFS数据赋予结构，而这些数据（例如表模式）称之为Hive的元数据，其存放 ...继续阅读 (25)

转载地址：http://www.cnblogs.com/shockerli/p/1000-plus-line-mysql-notes.html有些东西，这种方式还是挺好的，学习这种学习的方法。例如将SQL语句，linux命令等进行个人整理，随时使用随时现查，不错！！！！/*启动MySQL*/net start mysql/*连接与断开服务器*/mysql-h 地址-P 端口-u 用户名-p 密码/*跳过权限验证登录MySQL*/mysqld--skip-grant-tables--修改root密码密码加密函数password()updatemysql.usersetpassword=password('root'); SHOW PROCESSLIST--显示哪些线程正在运行SHOW VARIABLES--/*数据库操作*/--------------------查看当前数据库selectdatabase();--显示当前时间、用户名、数据库版本selectnow(),user(), version();--创建库createdatabase[if not exists]数据库名 数据库选项 数据库选项：CHARACTERSETcharset_name COLLATE collation_name--查看已有库show databases[like 'pat ...继续阅读 (104)

   前边，讲述了Hadoop的两大支柱HDFS和MapReduce，我们通过将大数据的数据文件放在HDFS上，利用Java编写Map-Reduce,来实现数据的各种分析，并预测一些东西，实现大数据的商业价值，从而也体现了Hadoop价值所在。     但是反观传统系统中，我们都是通过数据库进行数据分析的，例如关系型数据库：Oracle,SQL Server,mysql等，更进一步的通过NO SQL数据库：mongoDB等。对于Hadoop大数据分析，我们如何能够快速而平滑的过度过来呢，以至于不会Java的也能够进行利用hadoop进行数据分析呢。好，Hadoop的子项目为我们解决了这个难题：Pig、Hive。好，这篇博客来看看Pig是如何操作Hadoop的。     一，Pig是什么：    Pig是Yahoo捐献给Apache的一个项目。相当于Hadoop的一种客户端，属于Hadoop的上层衍生架构，将Map-Reduce进行封装。通过Pig客户端用户可以使用Pig latin一种类似于SQL的面向数据流的语言对HDFS下的数据进行处理。说简单一点Pig就是pig latin数据流语言和Map-Reduce之间的翻译，类似于不同语言直接的接口。所以有 ...继续阅读 (54)

   上篇博客最后我们讲述了WordCount的hadoop官方源码，主要看map类的编写规则，入参（从文件）出参（经过shuffle，combiner过程给reduce），reduce的编写规则，入参（从map类中获取），出参（想要的结果输出到文件中）。下边我们再进一步通过几个例子（在hadoop实战中摘取），来加深map-reduce的编程规则，至于具体到map，reduce内部，如何处理数据，则涉及到算法，因情况而异。在这里我们学到mapreduce的执行流程，编写规则等即可。    一，数据去重：顾名思义就是计算数据中的类别，将数据多余一次只显示一次。很简单的一个过程，对于mapreduce ,直接看代码，注意里边的注释:package job; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.a ...继续阅读 (22)

    上篇讲述了Hadoop的核心内容之一HDFS，是Hadoop分布式的平台基础，而这讲的MapReduce则是充分利用Hdfs分布式，提高运行效率的算法模型，Map(映射)和Reduce(归约)两个主要阶段都以<key,value>键值对作为输入和输出，我们需要做的就是对这些<key，value>做我们想要的处理。看似简单实则麻烦，因为这里太灵活多变。      一，好，首先来看下边两个图，看下mapreduce在Hadoop中的执行流程，以及mapreduce内部的执行流程：      以分析气象数据为例子：     二，解析：mapreduce的执行步骤：   map任务处理:      1.读取输入文件内容,解析成键值对(key/value).对输入文件的每一行,解析成        键值对(key/value).每一个键值对调用一次map函数      2.写自己的逻辑,对输入的键值对(key/value)处理,转换成新的键值对    &n ...继续阅读 (58)

   上篇讲述了Hadoop分布式集群环境的搭建，其实重要是HDFS分布式文件系统的搭建，MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS（HadoopDistribute File System，也就是Hadoop分布式文件系统）。    一、HDFS的主要设计理念：    1、存储超大文件，这里的“超大文件”是指几百MB、GB甚至TB，PB级别的文件。    2、最高效的访问模式是 一次写入、多次读取(流式数据访问)，HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。     3、运行在普通廉价的服务器上，HDFS设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用。     二，HDFS的体系结构：简述：    数据块（block）：大文件会被分割成多 ...继续阅读 (42)

   前两天和一个朋友在聊天的时候说，很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上，原因吗无在乎：1，没有很好的电脑配置，不能像机房一样用多台电脑搭建起集群；2，对linux的不熟悉，各种小黑窗，linux命令……；3，环境搭建的反锁步骤，需要耐心+细心+认真等等吧。不过吗，我觉的，只要敢于坚持，敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进行的。    一，准备资料：    1，一台笔记本：I5的CPU，4G内存，500硬盘（内存有些小，运行的时候比较卡）；    2，虚拟机一台：VMware-workstation-full-11.1.2.61471.1437365244.exe 在百度一搜即可；    3，linux系统软件：我用的是ubuntu-12.04.4-server-amd64.iso，是server版本的，初学者也可以也可以下载Desktoop版本，有类似Windows的界面，更容易操作。可到ubuntu官网上下载：http://www.ubuntu.com/download/server    4，Hadoop软件：hadoop-1.2.1-bin.ta ...继续阅读 (126)

   随着人民生活水平的提高，随着各种各类数据指数级的增长，“大数据”、“互联网+”、“云时代”等等各种名词已经成为当今社会的潮流，各种数据分析建立在TB,PB,EB,甚至ZB和YB数量级上，以前看似遥不可及，现在已经屡见不鲜。而如何很好的利用好这些数据，使之为我们产生巨大的商业价值，已经是当今IT界的精英们不断突破的方向。而Hadoop则是如今处理这些问题，最基础，最主流，开源并不断改进的一款分布式系统基础架构。好，我也来凑凑热闹，这篇简单讲述Hadoop的理论方面。   一，Hadoop是什么？   Hadoop是一个由Apache基金会所提高的分布式系统基础架构，核心由HDFS(分布式文件系统，HadoopDistributed File System)和MapReduce(Map分组，Reduce合并，分而治之，并而统一)组成。简单称之为“分布式文件系统+计算框架”。     二，Hadoop历史：    1，思想之源：来自于Google的低成本之道，通过利用普通的PC机的累加，来避免超级计算机的高成本支出，并且极易扩展。再加上Google的网页搜索大量的计算量，大量的数据量，由最初的Page Rankd，到后来的map-reduce分 ...继续阅读 (24)

linux编辑文件最常用的vi编辑，收藏一下，常用常查即可，无在乎对指定文件的：1，打开；2，移动到编辑位置；3，指定位置插入相关文本；4，编辑指定位置的文本；5，删除指定的内容；6，关闭文件的几种方法……原文地址：http://www.cnblogs.com/88999660/articles/1581524.html进入vi的命令 vi filename :打开或新建文件，并将光标置于第一行首 vi +n filename ：打开文件，并将光标置于第n行首 vi + filename ：打开文件，并将光标置于最后一行首 vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处 vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复filename vi filename....filename ：打开多个文件，依次进行编辑 移动光标类命令h ：光标左移一个字符 l ：光标右移一个字符 space：光标右移一个字符 Backspace：光标左移一个字符 k或Ctrl+p：光标上移一行 j或Ctrl+n ：光标下移一行 Enter ：光标下移一行 w或W ：光标右移一个字至字首 b或B ：光标左移一个字至字首 e或E ：光标右移一个字至字尾 ) ：光标移至句尾 ( ：光标移至句首 }：光标移至段落开头 {：光标移至段落结尾 ...继续阅读 (17)

看到这里收藏的资料很多，先摘过来，学到那块看那块，不断深入……原文地址：http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1）Cygwin相关资料（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/（2）windows2003+cygwin+ssh地址：http://wenku.baidu.com/view/3777b8bc960590c69ec3765e.html（3）Cygwin 安裝和SSH設定教學地址：http://blog.faq-book.com/?p=2731（4）如何在Cygwin中安装并配置SSH地址：http://blog.csdn.net/souichiro/article/details/6284172（5）Cygwin ssh 故障总结地址：http://blog.sina.com.cn/s/blog_4abbf0ae0100r8gv.html（6）通用线程: OpenSSH 密钥管理地址：http://www.ibm.com/developerworks/cn/linux/security/openssh/part1 ...继续阅读 (90)

oracle树查询的最重要的就是select…start with…connect by…prior语法了。依托于该语法，我们可以将一个表形结构的以树的顺序列出来。在下面列述了oracle中树型查询的常用查询方式以及经常使用的与树查询相关的oracle特性函数等，在这里只涉及到一张表中的树查询方式而不涉及多表中的关联等。1、准备测试表和测试数据12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364--菜单目录结构表create table tb_menu( id number(10)not null,--主键id title varchar2(50),--标题 parent number(10)--parent id) --父菜单insert into tb_menu(id, title, parent)values(1,'父菜单1',null);insert into tb_menu(id, title, parent)values(2,'父菜单2',null);insert into tb_menu(id, title, parent)values(3,'父菜单3',null ...继续阅读 (28)

上篇简单讲述了Kettle理论基础知识，那么Kettle工具到底有哪些控件呢？能够完成我们开发中针对数据抽取转换加载的那些功能，这篇博客简单讲述kettle的常用控件。好，首先看一下kettle的控件分布界面图： kettle其实做了相当丰富的控件供我们使用，其基本能够完成我们业务上的需求，当然随着大数据云计算的流行，新版本4.3以上的kettle也针对hadoop中的Hbase，NOSQL数据进行了支持，不过还没有学习到，随着深入不断的学习吧。好，我用一个思维导图对kettle的常用控件进行小结： 好，下边简单讲述一下这几大常用控件的分类： 一，输入控件，顾名思义就是将数据从其它载体中输入到kettle中，即抽取数据过程，我们可以从数据库表中获取，从文本文件，EXCEL,XML等文件获取，还可以只在kettle中模拟数据，或者获取系统中的参数，往往使kettle的开始部分。 二，输出控件，即相对上边输入，是对经过kettle处理的数据进行向数据库，各种文件的输出。往往是kettle转换的结束部分，也就是加载部分。 三，转换，这个是转换过程中，我们可以通过这些控件，添加新的字段，例如：主键，删除标识等。还有对字符串字段的各种处理，对字段的各种处理。即我们转换中对数据的加工过程。 四，Ut ...继续阅读 (47)

最近两个月一直和kettle打交道，从开始的没听说过，到现在能够熟练运用，不得不说项目驱动下，学习东西是最快的。好了，虽然使用kettle应付项目的任务绰绰有余，但是还是想系统的学习一下，总结一下。例如job用的比较少，kettle的集群模式没有涉及到等等。 说起kettle，还是先说说ETL（Extract-Transform-load,即抽取，转换，加载）数据仓库技术，是用来处理将数据从来源（例如：单位基础服务器）经过抽取，转换，加载到达至目的端（正在做的项目）的过程。也就是新的项目需要使用以前项目数据库中的数据，ETL就是解决这个问题的。 ETL实现共同注意点：正确性，完整性，一致性，完备性，有效性，时效性，可获取性等，也就是说无论我们使用什么工具，来实现ETL技术时，达到这几个方面，才算是质量过关的，失去其中任何一方面都是不过关的。 ETL实现主要是转换的实现，包含几个方面（来自百科）：1、空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。2、规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。3、拆分数据：依据业务需求对字段可进行分解。例，主叫号861082585313-8148，可进行区域码和电话号码分解。4、验证数据正确性：可利 ...继续阅读 (180)

自己经历： 前段时间的页面静态化，需要在搜索栏中，将静态的HTML页面和动态的搜索功能联系起来，而两者一般放到了不同的服务器上，静态的HTML页面一般放在文件管理服务器上即可，而搜索功能则需要时我们的项目，和后台进行交互。所以跨域问题就来了，而JSONP则是可以进行解决跨域问题的。说简单一点JSONP就是将JS的跨域支持，整合到了AJAX中，更加便于我们使用，所以其实挺简单的。 下边是转载一篇文章，通俗易懂：前言第一次听说jsonp，其实早在2年之前。当时在做一个活动页面的抽奖模块，要从服务端get一个概率，当时什么都不懂，同事说用ajax，我就用ajax，同事说dataType改成jsonp，我就改成jsonp。于是乎活动页面做完了，以后也没有碰到过jsonp，在这期间我一直以为jsonp跟ajax息息相关，是xhr的一种特殊的跨域形式...直到一个月前的一次面试，问到jsonp我被虐成狗，才决定看下jsonp，好吧，原来jsonp也不是很难。为什么要用jsonp？相信大家对跨域一定不陌生，对同源策略也同样熟悉。什么，你没听过？没关系，既然是深入浅出，那就从头说起。假如我写了个index页面，页面里有个请求，请求的是一个json数据（不知道json数据的猛戳JSON简介以及用法汇总），简单思考写下如下代码：$.ajax({ url:'h ...继续阅读 (16)

现在互联网发展越来越迅速，对网站的性能要求越来越高，也就是如何应对高并发量。像12306需要应付上亿人同时来抢票，淘宝双十一……所以，如何提高网站的性能，是做网站都需要考虑的。首先网站性能优化的方面有很多：1，使用缓存，最传统的一级二级缓存；2，将服务和数据库分开，使用不同的服务器,分工更加明确,效率更加高；3，分布式，提供多台服务器，利用反向代理服务器nginx进行反向代理，将请求分散开来；4，数据库的读写分离，不同的数据库，将读操作和写操作分开，并实时同步即可；5，分布式缓存，使用memcached或者redis等分布式缓存服务器，可以达到效果；6，就是今天要浅谈的页面静态化。当然还有其他很多方便需要处理，例如，数据库的设计,分库分字段，sql语句的优化等等。今天简单来谈谈页面静态化，来提高访问效率。对于Java程序开发，Jsp页面经历了静态页面到动态页面，使页面丰富多彩，现在为了追求效率，追求性能，又反向动态页面向静态页面的转化。突然让我想起了一句话“物极必反，否极泰来”，天底下，任何人任何物，都没有绝对的对与错，好与差，只有在特定的环境的，特定的情节，才有可比较之处。这也正是我对软件IT技术，甚至更广方面技术的看法，没有好与差，没有优与劣，只有看我们是否能够将其用到恰当的地方，发挥它的优势，避免他的不足！所以，不要谈技术好与差，只有看我们人用的怎么样！好了，废话不说，看看页 ...继续阅读 (12)

阿里电子商务迄今是中国最大的电商网站，各个厂商都在去模仿。就像google的大数据处理，hadoop的思想等等，只有做出了一些成绩，起了带头羊，那么将会是非常吃香的。从今天开始简单学习了解一下阿里的各种云服务。今天先看一下OSS。OSS（OpenStorage Service）开放云存储服务，是阿里云对外的提供的海量，安全和高可靠的云存储服务。目前阿里的所有云服务都是收费，大家可以到官网上了解：http://www.aliyun.com/product/ossOSS，通俗一点理解就像是一块硬盘用来存储东西呢，只不过，它是由很多服务器，通过类似负载均衡，raid等各种技术，搭建起来的云存储，类似我们经常使用的百度云盘，360云盘等。我们可以将我们服务，数据存放上去，方便，安全，实现云。好了，简单来说，OSS，既然是存储东西用的，我们就需要学会像类似IO流对电脑硬盘操作一样，学习一下对OSS云存储的上传，删除等操作。首先是开通OSS服务器后，会有endpoint，跟地址；accessKeyId，类似用户名；accessKeySecret,类似密码；buketName:第一层文件夹的名字，一个用户可以创建十个bucketName,类似于我们的C,D,E,F盘符；accessUrl,很明显用户可以通过浏览器访问的地址。例如我们上传一个html文件，我们就可以通过"accessUrl/buc ...继续阅读 (23)

SQL标准定义了4类隔离级别，包括了一些具体规则，用来限定事务内外的哪些改变是可见的，哪些是不可见的。低级别的隔离级一般支持更高的并发处理，并拥有更低的系统开销。Read Uncommitted（读取未提交内容）在该隔离级别，所有事务都可以看到其他未提交事务的执行结果。本隔离级别很少用于实际应用，因为它的性能也不比其他级别好多少。读取未提交的数据，也被称之为脏读（Dirty Read）。Read Committed（读取提交内容）这是大多数数据库系统的默认隔离级别（但不是MySQL默认的）。它满足了隔离的简单定义：一个事务只能看见已经提交事务所做的改变。这种隔离级别 也支持所谓的不可重复读（Nonrepeatable Read），因为同一事务的其他实例在该实例处理其间可能会有新的commit，所以同一select可能返回不同结果。Repeatable Read（可重读）这是MySQL的默认事务隔离级别，它确保同一事务的多个实例在并发读取数据时，会看到同样的数据行。不过理论上，这会导致另一个棘手的问题：幻读 （Phantom Read）。简单的说，幻读指当用户读取某一范围的数据行时，另一个事务又在该范围内插入了新行，当用户再读取该范围的数据行时，会发现有新的“幻影” 行。InnoDB和Falcon存储引擎通过多版本并发控制（MVCC，Multiversion Concurrency ...继续阅读 (14)

以下内容全部是网上收集：FreeMarker的模板文件并不比HTML页面复杂多少,FreeMarker模板文件主要由如下4个部分组成:1,文本:直接输出的部分2,注释:<#-- ... -->格式部分,不会输出3,插值:即${...}或#{...}格式的部分,将使用数据模型中的部分替代输出4,FTL指令:FreeMarker指定,和HTML标记类似,名字前加#予以区分,不会输出下面是一个FreeMarker模板的例子,包含了以上所说的4个部分Welcome!<#-- 注释部分 --><#-- 下面使用插值 -->Welcome ${user} !We have these animals:<#-- 使用FTL指令 --><#list animals as being>${being.name} for ${being.price} Euros<#list>1, FTL指令规则在FreeMarker中,使用FTL标签来使用指令,FreeMarker有3种FTL标签,这和HTML标签是完全类似的.1,开始标签:<#directivename parameter>2,结束标签:3,空标签:<#directivename parameter />实际上,使用标签时前面的符号#也可能变成@,如果该指令是一个用户指令而不是系统内建指令时,应将#符号改成@符号.使用FTL标签时,应该有正确的 ...继续阅读 (19)

三月份又快结束了,又是忙碌的一个月,自我总结越来越少了,感觉不是很好,还应该像以前一样,是不是抽出时间来进行,自我规划的总结,自我行为的总结,还有就是自我技术的总结.不断的总结,来不断的改正自己的缺点,不断的提高自己.首先,一个结束:3月19日，wiz****拜拜了，原因么，不多说，很多方面的。这里简单总技术和做人两方面进行简单总结。技术：刚去公司的时候就有一周的学习能力考查时间，去了以后才知道其实公司用的技术大部分都得自己快速学习，公司虽然不大，不过学了不少东西，虽然高大上的东西不是太多，不过还是接触了很多东西的。1，最开始的Flex+BlazeDS+Cairngorm+Spring+Hibernate+Xfire架构的学习，虽然做的东西不多，不过基本已经掌握了，其中的学习之路是崎岖的。不过后来慢慢适应了，一切就都好了,2，后来，学习Maven+nexus,由于项目用到这些东西，所以就有针对性的学习了，基本原理都理解，常用配置也可以，剩下的就是在实际中通过百度去解决吧；3，在远程医疗的项目中，学习使用了highcharts图形报表工具，并了解了相似的echarts，另外和手机客户端对接，使用了Jpush，并了解相关的推送思想，了解百度推送等，其中学习使用了DWZ(BUI)+SpringMVC+Spring+SpringData Jpa的架构项目，其中Apache shiro是自己 ...继续阅读 (13)

两个月没有写点东西了,突然感觉比较空虚,虽然说现在忙了些,(天天加班+周末学车),不过这些都不应该是借口.可是自己做的的确不够好,适应了就放松了,放松了就成了所谓的"温水煮青蛙了",走上了天天混日子的道路……先简单总结一下吧，先说工作吧。这几个月主要做的两件事：1，和His沟通业务，写接口程序；2，熟悉项目，开发功能。1，由于我们这个项目是建立在His，银行，和硬件驱动的基础上进行开发的，所以对其它方的依赖相对来说比较大。其中硬件驱动接口和银行接口相对来说比较固定，我们只是进行调用即可，没有特别大的改变，调用后调试即可，相对来说省心简单。而HIS的接口是和我们的项目进行对接根据业务进行不断的改进，不断的完善呢。需要和HIS的开发工程师不断的交互，不断的改进，而这期间就体现“沟通，合作”的重要性了。由于我们这调用方，HIS是被调用方，所以我们得经常“要求对方去修改东西”,这样一来沟通方式不好的,进度就很难把控了，因为谁都不想被要求干活，更不想在不高兴的情况下被要求干活，所以如何使对方很配合的和我们一起工作，就需要慢慢从实践中不断感受，不断提高了。接口程序的编写，只要我们用对了工具，写接口程序，相对来说还是比较简单。只不过是Java实体对象，xml字符串，gson对象的相互转化，有相应的工具只要我们写好了相对应的工具类，就非常方便了。当然调用他们的WebService接口就先用的CXF ...继续阅读 (19)

最近由于工作需要，在和其它系统交互的问题上不仅仅是WebService的交互，还需要利用Java调用其它语言编写的动态链接库，例如编译好的dll文件．好，简单看一下这个问题的来源。我们的系统和其它系统进行交互的时候，需要网络这个阶段，这段期间数据很容易被截获，这就需要对一些敏感的数据进行加密。通常单个系统我们会用MD5进行加密，无法逆向破解，相对来说还是比较安全的，已经足够使用了。但是为了网络中传输的数据也是密文，这就需要再次进行加密了，所谓的私钥，公钥。经典的例如：DES，加强版3DES等。好先看一下简单流程：这种情况下，A系统是建立在B系统的基础之上的，随意加密算法我们需要和B用一套，一般情况下，用B系统语言写的（当然A也可以），A是利用Java进行开发的，B是利用delphi,C,C++等编写的，所以我们就需要利用Java来调用其他语言编译好的Dll等文件，就像我们Java的.class文件一样。好这里看一种比较方便简单使用的JNA。JNA（Java Native Access ）提供一组Java工具类用于在运行期动态访问系统本地库（native library：如Window的dll）而不需要编写任何Native/JNI代码。开发人员只要在一个Java接口中描述目标native library的函数与结构，JNA将自动实现Java接口到native function的映射。 ...继续阅读 (39)

工作流（workFlow），这两天简单回顾了一下，感觉还是挺轻松的。软件这个行业，首先需要我们知道的要广，知道哪些东西可以干什么，然后需要我们对此进行简单的理解，有了初步的了解后我们就不会对其发憷，从而上手就有了信心，进而就出现了所谓的“上手快”，其实并不是说他多么聪明，动手能力多么强，而是他知道的多，用过类似的东西，首先接触有信心，其次就不断的学习，以解决问题为驱动，这样就形成了良性循环。也就是说，对待技术我们要摆好心态，没有特别难的，尤其是你没有到哪些搞研究的阶段时。一些应用类软件的技术其实都是非常易懂的，只要我们大胆的去尝试去学习即可。好了，废话少说，看下总结的这张图，对Jbpm进行简单的回顾。Jbpm只是工作流的一种，可以在开源中国上搜索这些开发工具：http://www.oschina.net/project/tag/129/workflow当然了，把工作流的思想领悟了，各种软件的学习就简单多了。简单总结，重在学习态度，学习方式，学习流程的思考。 ...继续阅读 (24)

前边介绍了MongoDB的基础，这里推荐两个网站，大家可以查看一下，讲解的还是比较详细的：http://www.w3cschool.cc/mongodb/mongodb-tutorial.html，http://www.yiibai.com/mongodb/mongodb_create_backup.html#。好这篇文章来看一下MongoDB的数据管理，架构搭建。好，先来看张图：下边按照这张图进行一一介绍。一，管理篇，当然主要是对数据库的管理，包括我们最关心的数据，和管理这些数据的用户。无论非关系型还是关系型数据库，这一点都是非常重要的。1，数据的导入导出：对于MongoDB的数据导入导出，用到的还是bin下的命令mongoexport(导出),mongoimport(导入)。mongoexport:默认导出的JSON格式的文件。进入dos命令窗口，在d:\mongodb\bin的路径下，利用mongoexport命令，可以通过mongoexport -help进行帮助查询。语法：mongoexport -d mydatabase -c mycollection --port 端口 --cvs -f 要导出的列 -0 指定导出的路径名+文件名mongoimport:和上边的用法基本一样，可以导入JSON格式数据，也可以导出cvs数据格式。mongoimport -h:指明数 ...继续阅读 (18)

MongoDB作为非关系型数据库，还是传统数据库的增删改查有很大的区别的，这里只是将知识点进行了一下提纲挈领，实际用的时候，我们百度一下详细用法即可。先看大的几个方面：一，对于里边的插入和删除不再过多赘述，相对来说知识点比较少。先来看一下更新，常用操作还是非常有用的，需要我们根据实际情况灵活运用，这里只是提出了知识点，需要百度出例子来学习使用：2，查询也是一样，看一下知识点的汇总，其实用几个，还是有规律的，比较容易记录的：3，看一下固定集合Capped Collection:顾名思义是有着固定大小的集合，其优点是性能比较出色，以LRU（LeastRecently Used最近最少使用）规则和插入顺序进行age-out(老化移出)处理。由于集合空间大小一定，当空间用完，新添加的对象将会取代集合中最旧的对象，永远保持最新的对象。特点：对固定集合进行插入速度极快；按照插入顺序的查询输出速度极快；能够在插入最新数据时，淘汰最早数据。用法：存储日志信息，最适合不过；缓存一些少量的文档……创建:db.createCollection("my_collection",{capped:true,size:100000})将普通集合转换为固定集合：db.runCommand({convertTocapped:"test",size:100000})4,大文件集合（GridFS）:GridFS是一种在 ...继续阅读 (27)

前边介绍了MongoDB的大概理论知识，这篇来对MongoDB进行一下安装使用，支持安装在windows和linux上，当然了更多情况下我们是安装在linux上，因为毕竟服务器用linux的还是主流，当然了对于不同的系统，MongoDB的安装使用等其实都基本相同的，所以不用太在意这个，我们学习在那个平台上都是可以的。好,下载MongoDB:http://www.mongodb.org/downloads,根据我们的需要进行安装。1，解压安装：将下载好的MongoDB解压到想要安装的路径下即可，例如：d:\mongodb2,建文件夹：建立数据存放文件夹，例如：d:\mongodb\data\db;建立日志存放文件夹，例如：d:\mongodb\log\mongodb.log。(根据实际情况而定，不是固定的，只要有存放数据和日志的文件夹即可)3，Win+R进入“运行”输入cmd，进入dos窗口，cd命令进入d:\mongodb\bin下，然后运行：mongod --dbpath"d:\mongodb\data\db\" --logpath "d:\mongodb\log\mongodb.log,即可运行mongodb服务。注意，mongod,dbpath,logpath几个关键字。这里我们都可以查看bin下的命令，我们用的都是这些，通过“命令-help”进行查看其参数即可。4，进入数据 ...继续阅读 (13)

这两天简单学习了一下MongoDB数据库，属于NoSQL类型数据库的一种,先简单宏观的看一下NoSQL的相关知识和MongoDB的基础知识。NoSQL是Not Only SQL的缩写，它指的是非关系型数据库，即有别于Oracle,mysql,sqlserver等常用的关系型数据库。它是以key-value形式存在，即我们熟悉的JSON数据形式。发展：NoSQL是随着互联网Web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模数据量和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而NoSQL也就是为了应付这些问题而出现，并不断发展着。最开始是google公司的Bigtable，淘宝数据平台的Tair,视觉中国网站的MongoDB等都代表NoSQL的不断发展。NoSQL发展迅速的原因：随着互联网的不断发展，各种类型的应用层出不穷，所以导致在这个云计算的时代，对技术提出了更多的需求。虽然关系型数据库已经在业界的数据存储方面占据不可动摇的地位，但是由于其天生的几个限制，使其难以满足以上的几个需求：扩展困难，读写慢，成本高，有限的支撑容量。但是NoSQL关注的对数据高并发读写和对海量数据的存储等，与关系型数据库相比，它们在架构和数据模型方面做了削弱，而在扩展和并发等方面做了增强突出。特点：非关系型的，分布式的，开源的，水平可扩展 ...继续阅读 (20)

HTML5扩展,继上两篇博客,我们来看一下HTML5的一些扩展的功能,由于HTML5更多是为了兼容电脑浏览器,安卓浏览器,苹果浏览器更多浏览器,或者说为这些浏览器提供一个统一的标准.因此目前在手机上的web开发，HTML5是比较火的。因此这几款扩展功能，感觉更多是从手机，平板等角度出发的。一，地理定位：首先看一下地理位置的定位的几种形式：IP地址，GPS（Global Positioning System ），Wifi，GSM（Global System for Mobile Communication ）/CDMA（Code Division Multiple Access）。一般手机都是通过GPS进行定位的，相对准确。好看一下HTML5如何实现地理位置：1.实现基于浏览器（无需后端支持）获取用户的地理位置技术2.精确定位用户的地理位置(精度最高达10m之内，依赖设备)3.持续追踪用户的地理位置（实时位置）4.与Google Map、或者Baidu Map交互呈现位置信息。HTML5提供Geolocation API,用于将用户当前地理位置信息共享给信任的站点，这涉及用户的隐私安全问题，所以当一个站点需要获取用户的当前地理位置，浏览器会提示用户是“允许”or “拒绝”。它提供的方法：1、getCurrentPosition //当前位置2、watchPosition ...继续阅读 (20)

随篇博客的思维导图，继续：二，看下标签的使用，这里看几个小例子（效果图不再给出）：1，结构标签的使用，这里来看一个页面的布局：doctype html/* *{border:1px solid red;height:20px} 所有的HTML5结构标签本质上来说就是一个div标签，只不过有意义 */ /*页面头部 header*/ header{height:150px;background:#ABCDEF} nav{height:30px;background:#ff9900;margin-top:100px} nav ul li{width:100px;height:30px;float:left;line-height:30px} /*页面中间 div */ div{margin-top:10px;height:1000px;} section{height:1000px;background:#ABCDEF;width:70%;float:left} article{background:#F90;width:500px;margin:0 auto;text-align:center} aside{height:1000px;background:#ABCDEF;width:28%;float ...继续阅读 (12)

随着Android,IOS手机，平板等各种App的不断扩增，加上对过去传统HTML的的各种不完善，例如视频依靠Flash，对手机和桌面的不兼容等等。HTML5来了，来解决这些问题了。Html5是W3C（WorldWide Web Consortium,万维网联盟）与WHATWG（Web Hypertext Application Technology Working Group）合作的结果。WHATWG 致力于web 表单和应用程序，而 W3C 专注于 XHTML 2.0。在 2006 年，双方决定进行合作，来创建一个新版本的 HTML 。为HTML5建立的一些规则：新特性应该基于HTML、CSS、DOM以及JavaScript。减少对外部插件的需求（比如Flash）更优秀的错误处理更多取代脚本的标记HTML5应该独立于设备开发进程应对公众透明看了两天的HTML5资料，简单总结一下，这里重点从标签的角度进行总结。先看下思维导图：一，好，先看一下标签的变化：1，文档的声明，在HTML5中都需要在最开始加入doctype html，相当于HTML5的一个标记吧。2，新增标签，这也是HTML5功能强大的一部分，这里从使用上，分为了四类：a,结构标签，主要是用来对页面结构进行划分的，就像我们以前都会将页面分为标题，左侧栏，内容部分，页脚等。看一下HTML5都给我提供了这些标签：b,多媒体 ...继续阅读 (11)

为了让数据显示的更加形象生动，报表在项目中几乎是非常常见的,但是大致可以分为两类:一,图形：以图形的形式显示数据,例如柱状图,折线图,饼形图等等,这里有很多关于这方面的工具,例如JFreeCharts(利用Java语言实现的，相对来说不是太美观),FunsionChartsFree（利用xml+flash+Js实现，相对来说不错），可以参考我以前的文章:图形生成工具（funsionChartsFree and ifreeChart）；其次还有HighCharts（http://www.hcharts.cn/demo/index.php）和Echarts(官网：http://echarts.baidu.com/doc/example.html)，两者都是通过JS来实现的，是比较推荐使用的。官网的资料非常丰富的。二，就是表格，一种是可以将数据导出为Excel表格，我们可以通过POI(功能更加强大丰富，但是复杂)和JXL（简单易用，但是复杂的功能有些实现不了）；二，一些统计表格，用于统计重要信息进行打印的。Java中一般常用的JasperReport+iReport，这个网上资料比较多，我们项目使用了Grid++Report,这个报表设计器，支持C/S开发：VB.NET、C#、VB、VC、Delphi等，B/S开发：ASP.NET、ASP、PHP、JSP等，支持所有WEB服务器，以前在C ...继续阅读 (15)