编程小梦
发表于
2015-11-29 16:03:56

操作系统学习笔记

计算机系统概述基本构成 CPU 内存 I/O 系统总线 PC 程序计数器 IR 指令寄存器 MAR 存储器地址寄存器 MBR 存储器缓冲寄存器 I/O AR I/O地址寄存器 I/O BR I/O缓冲寄存器中断中断：其他模块（I/O，存储器）中断处理器正常处理过程的机制。程序中断时钟中断硬件失效中断 I/O中断多中断的处理方式第一种方法是当正在处理一个中断时，禁止再发生中断。第二 […] ...继续阅读 (48)

编程小梦
发表于
2015-11-29 09:34:27

Hadoop MapReduce 性能优化

影响 MapReduce 的主要因素硬件因素：CPU 磁盘 I/O, 网络带宽，内存底层存储系统输入数据，shuffle 数据以及输出数据的大小作业算法： map, reduce, partition, combine, compress 潜在影响因素 I/O 模式：直接I/O(本地) 流式I/O（TCP，JDBC）输入数据解析输入数据存储性能调优 COU利用率内存占用磁 […] ...继续阅读 (47)

编程小梦
发表于
2015-11-01 07:28:23

git命令入门

说明这是廖雪峰的git教程建议笔记，日常工作掌握以下命令已经基本够用。 git是什么 Git是分布式版本控制系统全局设置 git config –global user.name “kangkaisen” git config –global user.email “kangkaisen@live.com” 创建版本库 g […] ...继续阅读 (19)

编程小梦
发表于
2015-10-13 13:18:24

HBase hbck 修复(fix)参数说明

-fix 修复region分配 -fixAssignments 修复region分配（替代 -fix） -fixMeta 修复mete表，假设HDFS region 信息是正确的 -noHdfsChecking 不会加载和检查 hdfs 的region 信息，会假设meta 表的 region 信息是正确的 -fixHdfsHoles 修复 region的空洞 -fixHdfsOrphans 修复 […] ...继续阅读 (134)

编程小梦
发表于
2015-10-13 13:15:15

HBase hbck 源码分析——源码深入

hbck所在类：hbase-server-util包下的HBaseFsck类数据结构 3442 HbckInfo public static class HbckInfo implements KeyRange 记录 meta ,hdfs ，regionserver 的信息 2312 TableInfo public class TableInfo 记录表的信息。 3624 WorkItemRe […] ...继续阅读 (43)

编程小梦
发表于
2015-10-09 13:04:49

HBase hbck 源码分析——源码概览

hbck所在类：util包下的HBaseFsck类 4125行 main() 获取hbase集群配置信息并创建HBaseFsckTool实例 4138行 HBaseFsckTool静态类创建HBaseFsck实例并执行 exec 方法 4149行 exec() 执行入口，解析命令行参数检查当前用户权限 connect() 检查坏的hfiles文件并修复 onlineHbck() 检查和修复表， […] ...继续阅读 (31)

编程小梦
发表于
2015-10-09 12:57:25

HBase hbck 源码分析:概念

hbck是做什么的？ hbck 是一个检查和修复表，region一致性和完整性的工具 hbck如何检查region的一致性 region一致性是通过检查hbase:meta表，region server上部署的 region，HDFS上的.regioninfo 文件三者是否全部一致来判断的。 region的一致性要求三个条件： HDFS的region目录下的.regioninfo 文件有效 me […] ...继续阅读 (26)

编程小梦
发表于
2015-10-05 12:20:10

《C程序员从校园到职场》笔记

C语言主要特点可移植性好生成目标代码质量高程序执行效率高可以直接访问物理地址，对硬件进行操作 C语言编码习惯变量，函数命名规范变量需要初始化函数要在主函数前声明代码排版，缩进注释程序员基本能力快速的学习能力高效的沟通能力较强的动手能力清晰的表达能力坚韧的抗压能力学习的良性循环看书实践写博客变量函数命名变量的命名应该使用名词函数的命名应该使用“命令性”动词 […] ...继续阅读 (27)

编程小梦
发表于
2015-10-05 09:48:56

秒杀系统设计思路

秒杀难点库存只有一份，所有人会在集中的时间读和写这些数据。秒杀问题对现有网站业务的冲击高并发情况以及数据库的负载突然增加的网络和服务器带宽直接下单防止机器秒杀秒杀方案秒杀系统独立部署秒杀商品页面静态化租借秒杀活动网络带宽动态生成随机下单页面URL 将请求尽量拦截在系统上游充分利用缓存秒杀优化细节浏览器层请求拦截产品层面，用户点击“查询”或者“购票”后，按钮置灰，禁止 […] ...继续阅读 (55)

编程小梦
发表于
2015-10-03 16:20:52

HBase Meta表结构

Meta表作用是什么？我们知道HBase的表是会分割为多个Region的，不同Region分布到不同RegionServer上。Region 是 HBase中分布式存储和负载均衡的最小单元。所以当我们从客户端读取，写入数据的时候，我们就需要知道我么数据的 Rowkey是在哪个Region的范围以及我们需要的Region是在哪个RegionServer上。而这正是HBase Meta表所记录的 […] ...继续阅读 (30)

编程小梦
发表于
2015-10-03 13:47:16

快速理解Cookie和Session

cookie 什么是Cookie 由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。怎么办呢？就给客户端们颁发一个通行证吧，每人一个，无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是Cookie的工作原理。 Cookie实际上是一小段的文本信息。客户端请求服务器，如果服务器需要记录该用户状态，就使用response向客户端浏览器颁发一个Cookie […] ...继续阅读 (27)

编程小梦
发表于
2015-10-02 12:53:32

HBase在HDFS的物理目录结构

文件可以被分为俩类，一类位于Hbase根目录下，另一类位于根目录的表目录下。根目录配置项 hbase.rootdir 默认 “/hbase” 根级文件 /hbase/WALs 被HLog实例管理的WAL文件。 /hbase/WALs/data-hbase.com,60020,1443159380730 对于每个HregionServer,日志目录中都包含一个对应的子目录 hbase/WALs/ […] ...继续阅读 (29)

编程小梦
发表于
2015-10-02 10:01:16

设计模式入门7：代理模式|MVC模式

代理模式远程代理虚拟代理定义代理模式为另一个对象提供一个替身或者占位符以控制对这个对象的访问。应用控制对象访问 java.long.reflect 动态代理防火墙代理智能引用代理缓存代理同步代理写入时复制代理（Copy-On-Write）复合模式多个模式一起组合适用 MVC模式模型是主题，视图和控制器都是观察者视图委托控制器处理用户行为，对于视图来说，控制器是策略。 […] ...继续阅读 (29)

编程小梦
发表于
2015-10-02 07:23:21

系统设计1：设计方法

什么是系统设计为满足特定需求而设计系统的架构，组件，模块，接口，数据。概念设计逻辑设计物理设计什么是好的设计健壮的简洁的系统设计5步： 1 Scenario 方案关键功能接口设计 1 枚举所有功能 2 按照重要性进行排序，选择核心功能 2 Necessary 必备限制条件前提假设确定日活跃用户数根据日活跃用户数估算估算平均并发用户数估算峰值用户数 = 平均 […] ...继续阅读 (48)

编程小梦
发表于
2015-09-30 14:30:40

设计模式入门6：组合模式|状态模式

迭代器定义提供一种方法顺序访问一个聚合对象中每个元素，而又不暴露内部的表示封装“遍历每个集合内对象的过程” 特点由不同的集合类型造成的遍历依赖一个名为迭代器的接口接口具有 havenext() 和next()方法。remove()方法可选应用能够让客户遍历你的对象但又不可以窥视你存储对象的方式组合模式定义将对象组合成树形结构以表示“部分-整体”的层次结构。Composite使 […] ...继续阅读 (17)

编程小梦
发表于
2015-09-29 13:49:56

设计模式入门5：外观模式|模板方法模式

外观模式定义为子系统中的一组统一的接口，用来访问子系统中的一群接口，定义了一个高层接口，这个接口使得这一子系统更加容易使用。特点改变接口，简化接口。提供更直接简单的操作用户若有需要，也可以直接使用子系统的类适配器模式和外观模式的区别适配器模式的意图是改变接口以符合用户期望。外观模式的意图是提供一个子系统的简化接口。模板方法模式定义定义一个操作中的算法的骨架 […] ...继续阅读 (20)

编程小梦
发表于
2015-09-28 14:40:39

设计模式入门4：命令模式|适配器模式

命令模式定义将请求封装成对象，以便使用不同的请求、日志、队列等来参数化其他对象。命令模式也支持撤销操作。把方法调用封装起来。特点将 “动作的请求者” 从 “动作的执行者” 中解耦请求者可以是遥控器，执行者是各家厂商的某一个实例。被解耦的俩者通过命令对象来进行沟通，命令对象封装了接受者的一个或者一组动作。应用遥控器API 餐厅利用订单点餐队列请求日志请求适配 […] ...继续阅读 (43)

编程小梦
发表于
2015-09-27 13:11:24

设计模式入门3：工厂模式|单例模式

工厂方法模式定义定义了一个创建对象的接口，但由子类决定要实例化的类是哪一个。工厂方法让类把实例化推迟到子类特点利用对象继承负责将客户从具体类型中解耦抽象工厂模式定义提供一个接口，用于创建相关或依赖对象的家族，而不需要明确指定具体类。特点利用对象组合负责将客户从具体类型中解耦把一群相关的产品集合起来经常使用工厂方法模式来实现具体工厂应用创建产品的家族单例模式定义确 […] ...继续阅读 (23)

编程小梦
发表于
2015-09-23 14:25:33

设计模式入门2：观察者模式|装饰者模式

观察者模式定义定义了对象之间一对多的依赖，当一个对象改变状态时，它的所有依赖者会收到通知并自动更新气象站获取数据并显示报纸的订阅出版者+订阅者 = 观察者模式主题 Subject + 观察者 Observer 主题和观察者之间松耦合推模式：主题向观察者主动推送消息拉模式：观察者主动向主题请求消息装饰模式继承设计子类行为，是编译时静态确定组合扩展对象行为，可以运行时动态扩 […] ...继续阅读 (13)

编程小梦
发表于
2015-09-21 16:17:28

设计模式入门

《Head First 设计模式》第一章学习笔记设计模式模式不是代码，是针对特定问题的通用解决方案模式不是被发明，而是被发现良好的设计可维护可扩展可复用设计原则隔离变化找出应用中可能发生变化的部分，和不需要改变的代码隔离开来针对接口编程，而不是针对实现编程针对超类型编程利用多态多用组合，少用继承策略模式定义一系列的算法,把每一个算法封装起来, 并且使它 […] ...继续阅读 (27)

编程小梦
发表于
2015-09-11 14:33:25

Hbase基本概念

Hbase概述 HBase构建在 HDFS 之上，Hbase内部管理的文件全部存储在HDFS 中 Hbase 特性容量巨大面向列稀疏性：空值不占用存储空间扩展性：热扩展高可靠性高性能 Hbase 表的特点大无模式面向列稀疏对于空（ null ）的列，并不占用存储空间数据多版本数据类型单一 Hbase中的数据都是字符串，没有类型。 hbase数据模型 Row Key 行键， […] ...继续阅读 (22)

编程小梦
发表于
2015-09-07 14:03:46

Hbase Rowkey设计

建立Schema Hbase 模式建立或更新可以通过 Hbase shell 工具或者使用Hbase Java API 中的 Admin类。当列族发生变动时 hbase表必须处于 disabled 状态。例如： Configuration config = HBaseConfiguration.create(); Admin admin = new Admin(conf); String tab […] ...继续阅读 (33)

编程小梦
发表于
2015-09-06 02:29:08

大规模分布式存储系统原理解析和架构实战笔记

概述分布式存储技术数据分布：均匀，跨机器操作一致性容错负载均衡事务和并发控制易用性压缩/解压缩数据类型非结构化数据：图片，音频结构化数据：二维关系表。数据模式和内容分开半结构化数据：模式和内容混在一起。HTML 分布式存储分类：分布式文件系统：Blob对象，定长块，大文件分布式键值系统：简单的半结构化数据分布式表格系统：复杂的半结构化数据分布式数据库系统：结构化数 […] ...继续阅读 (161)

编程小梦
发表于
2015-09-05 08:47:14

hbase Schema 设计

基本概念设计 bigtable Schema 和设计关系型数据库Schema 是很不一样的，当你设计bigtable Schema 时，你应该清楚以下概念：每张表只有一个索引：rowkey没有二级索引行按照rowkey 排序：rowkey 按照字典序排序行级别的操作都是原子的：例如：你要更新表中的俩行，可能出现一行更新成功，一行更新失败的情况。Schema 设计中应该避免跨行的原子性请求 […] ...继续阅读 (59)

编程小梦
发表于
2015-07-11 08:22:48

面试算法：动态规划

triangle 数字三角形 java代码 minimum-path-sum 最小路径和 java代码 unique-paths 不同的路径 java代码 unique-paths-ii 不同的路径 II java代码 climbing-stairs 爬楼梯 java代码 jump-game 跳跃游戏 java代码 jump-game-ii 跳跃游戏 II java代码 palindr […] ...继续阅读 (58)

编程小梦
发表于
2015-07-08 05:13:05

面试算法：数据结构

Min Stack 最小栈思路：用俩个栈实现。一个栈正常入栈，出栈。另一个栈只保留当前栈的最小值。入栈时，俩个栈都入栈。不过最小栈入栈当前最小值；出栈时都出栈。求最小值时，最小栈返回栈顶元素。 java代码： implement-queue-by-two-stacks 用栈实现队列思路：栈是先进后出，那么入栈后出栈再入另一个栈再出栈，便是先进先出了。 java代码： largest-rec […] ...继续阅读 (44)

编程小梦
发表于
2015-07-06 09:48:25

Sqoop从Hive导入mysql失败解决方案：

Sqoop从Hive导入mysql语句： Sqoop从Hive导入mysql注意事项：导入mysql前mysql必须建立和hive数据格式一致的表。应确保mysql的数据类型长度大于相对应的hive数据的最大长度。导入mysql前应确保相应的用户拥有远程登录MySQL的权限。应该指定null字段的填充符。如果之前已经导入了部分数据，需要继续导入，就必须指定更新的键。使用正 […] ...继续阅读 (39)

编程小梦
发表于
2015-06-27 10:29:47

面试算法：高频算法面试题

## single-number [原题](http://www.lintcode.com/zh-cn/problem/single-number/) 一个数与自身异或的结果为0 public class Solution { /** *@param A : an integer array *return : a integer */ public int singleNumber(int[] […] ...继续阅读 (62)

编程小梦
发表于
2015-06-27 10:29:47

面试算法：高频算法面试题

single-number 落单的数思路 java代码 single-number-ii 落单的数 II 思路 java代码 single-number-iii 思路 java代码 majority-number java代码 majority-number-ii 主元素 II 思路 java代码 majority-number-iii 主元素 III 思路 java代码 best-time-t […] ...继续阅读 (52)

编程小梦
发表于
2015-06-26 09:25:12

Mapreduce导入导出Hbase0.98代码示例

在一文中，我们已经成功搭建了Hadoop2.6.0|Hbase0.98.13的Mapreduce开发环境。下面小梦给大家演示一下具体代码。 1：Mapreduce从HDFS导入Hbase0.98代码示例: 源文件格式： java代码：导入Hbase效果如下： 2：Mapreduce从Hbase导入Hbase代码示例: 统计上张图的同一IP目录总数，代码如下：新表效果如下： ...继续阅读 (59)