一想到产品与技术这对关系词，就联想到一大片的对比概念：阴和阳文科和理科冲动和冷静内功和外功外表与内在能力和素质道德与科学其中一个词代表内在，而另一个代表外在，没有内就没有外，而只有内却无法成型。一直都是技术出身，不知道产品是什么意思，学校的时候有个技术社团招收技术和产品两个方向的团员，感觉技术才能积累，才是自己的，才能够创造财富；而产品是虚的，没什么积累，就好像是这个时候会灵机一动，下一时刻就一片空白，我才不要产品，因为有技术，我才不会恐慌，才不会害怕，就好像手里握着锄头，才会觉得自己不会饿着一样。工作一年多了，我才发现技术只是手段，只是达成目的的工具。而一切的运行技术能解决的，只有好少的一部分。分歧和冲突的处理问题的解决方案文档的遣词造句和写作技巧交流的技巧和说服的方法时间的管理和节奏的把握这些全是在技术之外，但是却占用了大部分的时间，关键的问题在于，别人对你的评判和认定，都是靠这些“虚”的东西，而不是技术来进行的。回到产品和技术，我终于领会到，只有技术自身的灵机一动做出来的东西是完全不能成为产品的。开发者做一个东西的动机往往不是因为某个需求，而是因为他觉得自己拥有的技术能做出来什么内容。而第二个方面，则是即使开发者做出来一个像模像样的东西，没有推广营销，再好的东西只是闭门造车，也成为不了大众接收的东西。产品就是美观、广告、周知、实用的代名词，它的目的就是为了解决实际的需要而产出 ...继续阅读 (69)

Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败。一种替代的方案则是放弃全局有序，而是分组有序，比如不求全百度最高的点击词排序，而是求每种产品线的最高点击词排序。使用order by会引发全局排序select * from baidu_clickorder byclick desc;使用distribute和sort进行分组排序select * from baidu_clickdistribute byproduct_linesort byclick desc;distribute by + sort by就是该替代方案，被distribute by设定的字段为KEY，数据会被HASH分发到不同的reducer机器上，然后sort by会对同一个reducer机器上的每组数据进行局部排序。order by是全局有序而distribute+sort是分组有序distribute+sort的结果是按组有序而全局无序的，输入数据经过了以下两个 ...继续阅读 (67)

图 1 外部向Hive程序中传递变量的方法使用Hive编写程序最常用的方法是将Hive语句写到文件中，然后使用hive -f filename.hql来批量执行查询语句。经常需要将外部参数传入到hql语句中替换其中的变量来动态执行任务，比如动态设定数据库名、表名、时间值、字段序列等变量，以达到脚本泛化执行的目的。1) 方法1：字符串、正则、模板引擎等暴力方式替换最简单也最暴力的方式，是在hql文件中设定{table_name}这样的变量占位符，然后使用调度程序比如shell、python、java语言读取整个hql文件到一个字符串，替换其中的变量。然后使用hive -e cmd_str来执行该Hive命令字符串。举例代码如表格 1和表格 2所示。表格1 hive ql文件内容use test;select * from student limit {limit_count};表格2 Python脚本读取、替换和执行Hive程序import os#step1: 读取query.ql整个文件的内容ql_source=open(“query.ql”,”r”).read()#step2：替换其中的占位符变量ql_target=ql_source.replace(“{limit_count}”,”10R ...继续阅读 (66)

今天遇到一个HIVE需求，输入只有4列，大概160MB，需要引用一些字典文件，然后输出70列数据；典型的复杂计算，由于HIVE无法单独实现，采用TRANSFORM写了PYTHON脚本实现；刚开始写完，map.tasks被设置为7个，结果运行了40分钟还没结束；以下是一些改进的过程：1、修改mapred.map.tasks无法实现修改map.tasks数目的目的，迂回的办法是将输入数据进行分片我将输入数据分片到了87，这样该任务的map.tasks数目变成了87，速度大为提升，每个机器处理的速度减慢；2、将输入数据按照键distribute by如果不这样做，那么每个机器分到的数据都是平均的，导致一些聚合操作无法减少存储量，事先对输入数据进行distribute by分片，单个机器上的聚合效果非常好；3、Python代码中优化数据结构由于Python代码需要遍历所有的数据行，所以最好不要每个行都去查询很多词典，把多次相同的查询保存下来，共用结果数据；同时把（a,b,c)为Key的词典，优化成dict[a][b][c]的形式，这样的查询效率高，并且省了更多的内存；4、增加日志的跟踪在HADOOP的脚本中，可以用sys.stderr输出一些错误日志，这样就不会干扰结果数据，但是能保存日志记录，比如写个这样的函数：def logger(msg):curr_time = time.strft ...继续阅读 (59)

1、Python环境设置可以使用add cachearchive的方法把tar.gz添加到分布式缓存，Hive会自动解压压缩包，但是目录名是和压缩包名称一样的；add cachearchive ${env:my_workbench}/share/python2.7.tar.gz;–这样使用using 'python2.7.tar.gz/bin/python my.py'2、一定使用distribute by或者cluster by如果不加上这两个关键词，那么数据会被分发到1个机器，如果数据量大执行会很慢；但是Hive 0.8的一个问题是，distribute by和cluster by后面只能跟1列，如果多列就会报错；如果数据量大，并且数据不能被拆分，那只能设置mapred.reduce.tasks=1；如果数据可以满足结合律，那么使用子查询，在外面聚合一下，就可以解决只能跟1列的问题；3、每个python脚本并不是执行了reduce上的所有数据；每个reducer机器会从很多maper机器上取数据，取过来之后会合并，但不一定合并成1个文件，而会是S个；因此即使设置mapred.reduce.tasks数值为1，Python程序会被启动S个进程来执行每个分片，执行完毕后再汇总成1个数据；也就是说1个reducer上，每个python脚本也会被启动N个进程处理不同的数据分 ...继续阅读 (67)

转自：http://www.oschina.net/question/12_36731、进去指定schema 数据库（存放了其他的数据库的信息）mysql> use information_schema;Database changed2、查询所有数据的大小mysql> select concat(round(sum(DATA_LENGTH/1024/1024), 2), 'MB')-> as data from TABLES;+———–+| data |+———–+| 6674.48MB |+———–+1 row in set (16.81 sec)​3、查看指定数据库实例的大小，比如说数据库 forexpertmysql> select concat(round(sum(DATA_LENGTH/1024/1024), 2), 'MB')-> as data from TABLES where table_schema='forexpert';+———–+| data |+———–+| 6542.30MB |+— ...继续阅读 (62)

lombok 可帮你在编译时自动生成getter、setter等方法，所以我们无需再编写占据很大篇幅的getter/setter方法，请看下图效果，你就明白了：地址：http://www.projectlombok.org/download.html您可能也喜欢：java环境变量配置Java怎样创建两个KEY（key-pair）的MAPJava枚举类型代码的二逼写法和艺术写法Rational Rose根据Java代码自动生成类图（教程和错误解决）《Spring in action》3rd中SpringPizza项目的运行方法无觅 ...继续阅读 (66)

Hadoop的MapReduce计算的第一个阶段是InputFormat处理的，先将文件进行切分，然后将每个切分传递给每个Map任务来执行，本文阐述切分个数，也就是Map任务数目的计算方法；Hadoop首先会计算每个切分的大小，然后使用”文件总大小/每个切分的大小“来决定划分的总数，如果不足一个切分的大小，则当做1个；在org.apache.hadoop.mapred.FileInputFormat中给出了计算每个划分大小的方法：protected long computeSplitSize(long goalSize, long minSize,long blockSize) {return Math.max(minSize, Math.min(goalSize, blockSize));}其中几个变量的解释如下：blockSize：HDFS存储的基本单元，默认为64MB或者128MB；minSize：由用户设置的最小切分大小，配置项为mapred.min.split.size；goalSize：计算公式为"文件总大小/用户设定的Map任务个数"，即用户间接期望的大小；由此可以推断出选定策略：划分大小为blockSize：blockSize小于用户期望的大小，比用户设定的最小值要大；也就是说如果用户设定的最小值太小的话，会使用block size作为划分大 ...继续阅读 (61)

虽然一直在使用HADOOP、HIVE等技术在处理T级别的数据，认为自己也属于大数据领域的人了，然而对于什么是大数据一直是模糊的概念。自己处理的是T级别数据，感觉HADOOP技术其实就是分布式计算的演变版，并不是什么新奇的事物。然而最近读的《大数据时代》一书，作者从思维、商业、风险、掌控等方面对大数据给出了自己独特的见解，其中的有些观点有些匪夷所思，然而毕竟是作者自己看法，很是新颖。1、不是随机样本，而是全体数据大数据时代的来临，一切数据将是全体数据。比如在之前我们要统计春运期间哪里的车站人最多，或者乘客流量趋势，只能通过人工的方式采样几个地区的车站，统计其人流量，然后对整体情况作出预测，而如今通过手机GPS定位，百度能够收集任何一个人所在的位置，使用最全量的位置信息绘制出所有的流动情况。这正是因为目前存储能力（廉价的磁盘）和计算能力（HADOOP等云计算技术兴起）的大幅改进所带来的变革，只要能检测到，就能对其数字化、存储，然后分析其中的规律或者预测其中蕴含的趋势。通过获取全量的数据而不是局部的采样，能够得到最全面不留任何死角的信息。得到的决策判断也就更加准确，往往能揭示出限于局部无法察觉的规律。“一叶障目不见泰山”、“不识庐山真面目，只缘身在此山中”，这些都是说人们往往由于视野、见识等限制，无法看到事情的全貌，从而会做出局限性、局部性 ...继续阅读 (59)

转载引言：数据处理中遇到了取全国各个省份的效果数据先排序后limit 100的需求，HIVE自带功能无法实现，网上搜了下该文章的方法直接拷贝过来就能实现。将其中的代码复制过来后可以用maven打成Jar包，然后在hive中即可使用。观察代码可以看出，由于是取各个分组的top数据，因此可以先用distribute和sort进行数据分区并排序，在各个reduce节点上，由于运行的是单个JVM虚拟机，所以在JAVA类中使用static变量即可进行整个处理过程的数据共享。于是comparedColumn字符串数组被用来记录每一组的key值，同时用rowNum来记录每一组值的最大标记。最终使用数字标记和所需的数字比较，取出group后的limit数目。背景假设有一个学生各门课的成绩的表单，应用hive取出每科成绩前100名的学生成绩。这个就是典型在分组取Top N的需求。解决思路对于取出每科成绩前100名的学生成绩，针对学生成绩表，根据学科，成绩做order by排序,然后对排序后的成绩，执行自定义函数row_number(),必须带一个或者多个列参数，如ROW_NUMBER(col1, ….)，它的作用是按指定的列进行分组生成行序列。在ROW_NUMBER(a,b) 时，若两条记录的a，b列相同，则行序列+1，否则重新计数。只要返回row_number()返回值小于100的的成 ...继续阅读 (66)

1.小表在前，大表在后，如果表很小就用mapjoin写JOIN的时候，将小表写在JOIN的前面，这样HIVE就会将小表载入内存，然后扫描大表。如果表足够的小，就使用map join。2.设定map的并发数，保证一次map结束；根据输入数据量估计reduce的tasks数目，并根据运行中间数据情况修正；http://superlxw1234.iteye.com/blog/15828803.临时表能提升计算速度在处理海量数据时我们通常会对很多大表进行操作，基于Hadoop现在的局限性，不能像分布式并行数据库那样很好地在分布式环境利用数据局部性，Hadoop对于大表只能全表扫描并筛选数据，而每一次对大表的扫描都是苦不堪言的。（最后知道真相的我眼泪掉下来。。。）所以我们会用到在编码中经常用到的重构技巧，提取公共变量，在Hive中，就是创建临时表。4.Union all在数据对齐中的使用；不支持 top level，以及各个select字段名称、属性必须严格一致5.Hive支持跨数据库查询比如database arch的table1和database algo的table2 进行joinA: 可以，只要有用户有这两张表的select权限即可，用户需要用“database.table”的方式来指定数据库下的表6.Hive支持本地执行模式当数据量小的时候，本地执行比提交到集群上执行效率提升很大s ...继续阅读 (75)

用到了os的两个接口：1、列出文件夹中的所有文件（也包含目录）os.listdir(path)Return a list containing the names of the entries in the directory given by path. The list is in arbitrary order. It does not include the special entries ‘.’ and ‘..’ even if they are present in the directory.Availability: Unix, Windows.Changed in version 2.3: On Windows NT/2k/XP and Unix, if path is a Unicode object, the result will be a list of Unicode objects. Undecodable filenames will still be returned as string objects2、对文件进行重命名os.rename(src, dst)Rename the file or directory src to dst. If dst is a directory, OSError ...继续阅读 (67)

文件是由很多行组成的，这些行组成一个列表，python提供了处理列表很有用的三个函数：map、reduce、filter。因此在文本处理中，可以使用这三个函数达到代码的更加精简清晰。这里的map、reduce是python的内置函数，跟hadoop的map、reduce函数没有关系，不过使用的目的有点类似，map函数做预处理、reduce函数一般做聚合。map、reduce、filter在文本处理中的使用下面是一个文本文件的内容，第1列是ID，第4列是权重，我们的目标是获取所有ID是奇数的行，将这些行的权重翻倍，最后返回权重值的总和。ID键值权重1name1value1112name2value2123name3value3134name4value4145name5value5156name6value6167name7value7178name8value8189name9value91910name10value1020使用filter、map、reduce函数的代码如下；#coding=utf8 ''' Created on 2013-12-15 @author: www.crazyant.net ''' import pprint def read_file(file_path): ''' 读取文件的每一行，按\t分割后返回字段列表； ...继续阅读 (76)

Hadoop执行进度日志是在网页上能查看的，为了想要查看最新的进展，经常需要对页面刷新看到最新的数据，于是我一直就是F5刷新啊刷新，今天想到应该有现成的插件能够使用。在chrome应用商店里面搜索refresh，看到了这么个扩展程序：Auto Refresh Plus使用方法：设定刷新时间间隔，点start按钮后，自动按时间刷新网页；设定一下刷新时间，然后点Start，网页会一直按时间进行刷新，非常好用。转载请注明来源：http://www.crazyant.net/?p=1372您可能也喜欢：疯狂的蚂蚁Python模拟登陆新浪微博并实现投票功能数据采集简单示例：采集爱帮网电话号码程序员找工作网啊站-计算机专业学生必看新浪微博的mid转换成base62格式的PHP函数无觅 ...继续阅读 (82)