发表于
2022-10-25 19:21:23
StarRocks安装
rpm -e --nodeps mysql // 强力删除模式，如果使用上面命令删除时，提示有依赖的其它文件，则用该命令可以对其进行强力删除。rpm -e mysql // 普通删除模式。下载完解压，配置STARROCKS_HOME。
...继续阅读
(14)
发表于
2022-10-17 17:21:23
发表于
2021-02-09 16:23:22
作为码农你必须懂的序列化
一、基本概念
序列化：将对象写入到IO流中
反序列化：从IO流中恢复对象
意义：序列化机制允许将实现序列化的Java对象转换位字节序列，这些字节序列可以保存在磁盘上，或通过网络传输，以达到以后恢复成原来的对象。序列化机制使得对象可以脱离程序的运行而独立存在。
使用场景：所有可在网络上传输的对象都必须是可序列化的，比如RMI（remote method invoke,即远程方法调用），传入的参数或返回的对象都是可序列化的，否则会出错；所有需要保存到磁盘的java对象都.
...继续阅读
(9)
发表于
2021-02-09 16:21:37
隐私保护广告行业新生态
不管我们用IOS手机，还是ANDROID类型的手机，又或者是浏览器，只有拥有一个用户设备的唯一标识才能对使用该设备的用户进行精准的广告投放，个性化推荐以及广告等浏览的频次控制。下面让我们一起回顾一下各种终端下唯一的设备标识的变迁历史。
一IOS的变迁和对行业影响
下面是IOS端可获取的标识，随着人们对数据隐私的重视和《一般数据保护法案》（General Data Protection Regulation (GDPR)实施，各种标识也在不断被被禁用，直到去年上市发布的ios1...
...继续阅读
(10)
发表于
2021-02-09 16:19:56
Cookie、sessionStorage和localStorage
一 HTML4的本地存储cookie
cookie和session都是用来跟踪浏览器用户身份的会话方式。我们通过了解两者的区别来了解cookie：
1、保持状态：cookie保存在浏览器端，session保存在服务器端
2,使用方式：Cookie是服务器发给客户端的特殊信息，cookie是以文本的方式保存在客户端，每次请求时都带上它。服务器收到请求需要创建session对象时，首先会检查客户端请求中是否包含sessionid。如果有sessionid，服务器将根据该id返回对应session对象。如果
...继续阅读
(15)
发表于
2020-07-04 15:43:48
Flink Transformation 操作
前面我们介绍了Flink DataStream数据处理流程中的source和sink，这篇文章我们介绍一下 Flink的Transformation 的操作，一般常用的算子有下面几种，我们分别用代码来演示下他基本用法：
Map操作
val stream = env.generateSequence(1, 5)
//简单的map操作
//val streamMap = stream.map(item => item * 3)
//复杂的map操作
val streamMap = stre...
...继续阅读
(14)
发表于
2020-07-04 15:32:21
Flink API入门
Flink数据处理流程
通过前面的文章我们大概了解了实时流处理框架，这篇文章开始我们将详细来学习下Flink的使用。Flink为开发流式/批处理应用程序提供了不同级别的抽象。
而这几个抽象的模块中DataStream API用于处理实时流处理，DataSetAPI用于离线批处理。
入门Flink API
后面我们都选择使用Scala来完成Flink程序的编写，当然你也可以选择Java或者Python。Scala DataSet API的所有核心类都在包org...
...继续阅读
(7)
发表于
2020-01-14 19:25:11
Flink实时统计入MySQL
先上代码片段
import java.sql.Types
import java.text.SimpleDateFormat
import java.util.Date
import org.apache.flink.api.java.io.jdbc.JDBCOutputFormat
import org.apache.flink.api.scala._
import org.apache...
...继续阅读
(3)
发表于
2019-08-20 21:33:02
Mongodb副本集和分片
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。
而且mongodb也有索引，视图功能， MongoDB 4.0 引入的事务功能，支持多文档ACID特性，总之，MongoDB是一个基于分布式文件存储的数据库。那么作为分布式数据库，他应该具...
...继续阅读
(5)
发表于
2019-07-08 20:56:31
Elasticsearch基础实践
Elasticsearch是高度可伸缩的开源全文搜索和分析引擎。它允许我们快速实时地存储、搜索、分析大数据。Elasticsearch是一个接近实时的搜索平台，对大数据量的处理我们通过搭建ES集群来完成。
1，集群的几个概念：
主节点
服务器只作为一个主节点，但不存储任何索引数据，主节点负责创建索引、删除索引、分配分片、追踪集群中的节点状态等工作。一个节点启动后，就会使用Zen Dis...
...继续阅读
(5)
发表于
2019-07-03 11:47:41
Presto Functions
1 求数组长度
cardinality(x) → bigint
Returns the cardinality (size) of the array x
eg: select cardinality(array[1,24,3])
result: 3
2 获取数组第一个元素(下标从1开始)
The [] operator is used to access an element o...
...继续阅读
(6)
发表于
2019-05-04 12:06:22
Spark Rdd DataFrame操作汇总
直接上测试代码：
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions.{udf, _}
import org.junit.{Assert, Test}
import org.apache.spark.sql.types._...
...继续阅读
(8)
发表于
2019-03-01 15:01:31
Aerospike API操作Map
Aerospike是一个高性能、可扩展、可靠性强的NoSQL解决方案，支持RAM和SSD作为存储介质，并专门针对SSD特殊优化，广泛应用于实时竞价等实时计算领域。官方保证99%的操作在1ms内完成，并提供集群数据自动Rebalance、集群感知客户端等功能，且支持超大规模数据集(100T级别)的存储。
作为KV存储，Aerospike提供多种数据类型，其操作方式和Redis比较类似。除基...
...继续阅读
(7)
发表于
2019-01-11 11:44:04
spark-submit 参数
Usage: spark-submit [options][app arguments]
Usage: spark-submit --kill [submission ID] --master [spark://...]
Usage: spark-submit --status [submission ID] --m...
...继续阅读
(8)
发表于
2018-10-06 10:37:41
大数据技术人常被问的问题
前几天转正答辩，我ppt讲完后，各部门大佬们来提问，有两个问题答得不是很好，后来有空了想想，其实要答也不难。
1，技术选型上为什么用A技术不用其他技术？
个人观点：技术选型上用某技术主要考虑
1），该技术的学习成本比较低；
2），该技术能不能高效满足需求并且稳定运行；
3），使用该技术需要花费的成本是否比其他低；
上面3点其实是技术选型最关心的问题
2，实时计算和离线计算...
...继续阅读
(6)
发表于
2018-09-26 17:35:00
Mongodb常用查询Shell
Mongodb常用查询Shell
分组查询：包括过滤，分组，排序等
DBQuery.shellBatchSize = 2000;
db.test_data.aggregate([{$group : {_id : "$day", num: {$sum : 1}}},{$sort:{_id:-1}}])
db.test_data.aggregate( [{$match: {status:...
...继续阅读
(5)
发表于
2018-04-08 16:34:09
机器学习入门-过拟合欠拟合
机器学习最重要的就是模型训练训练结果怎么反馈，一般有三种叫法，欠拟合，拟合，过拟合。下面介绍下白话介绍下具体含义下面三个图分别展示的是欠拟合，合适拟合，过拟合针对线性回归模型：针对逻辑回归模型：解释:1，形象例子欠拟合:光看书不做题觉得自己会了，上了考场啥都不会。过拟合: 课后题全能做对但是理解的不好，好多题答案都是强背下来的，上考场变一点儿人就懵逼差不多的拟合: 做了题，背了老师给画了重点，考试...
...继续阅读
(9)
发表于
2018-03-16 11:01:28
10分钟入门go语言
Go是一种新的语言，一种并发的、带垃圾回收的、快速编译的语言,go支持的平台：LinuxFreeBSDMac OS X（也称为 Darwin）Window我们选择在Windows下载安装go环境https://golang.org/dl/ 选择windows-amd64.msi完成后双击安装，完成后path中会自动配置go环境以上不用自己配置。完成后进入dos窗口，运行go可以看到支持的命令，并...
...继续阅读
(8)
发表于
2018-02-11 10:40:10
数据分析EXCEL入门必备
做数据分析，不光要会编程，基本的excel也得会两手。这样可以大大提高工作效率。例如下面：vlookup匹配：=VLOOKUP(A2,I:J,2,FALSE)=VLOOKUP(B2,L:M,2,FALSE)去重求个数=SUMPRODUCT(1/COUNTIF(C2:C7,C2:C7))求和=SUM(D2:D7)求均值，四射五入=ROUND(B11/C11,2)求均值，并做异常处理=IFERROR(...
...继续阅读
(17)
发表于
2017-03-23 14:16:20
[原]Spark MLlib之协同过滤
Spark MLlib之协同过滤实例：import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaDoubleRDD;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.mllib.recommendation.ALS;
import org.apache.spark.mllib.recommendation.MatrixFactorizationModel;
import org.apache.spark.mllib.recommendation.Rating;
import scala.Tuple2;
public class SparkMLlibColbFilter {
public static void main(String[] args) {
SparkConf conf = new SparkCo
...继续阅读
(26)
发表于
2017-03-22 17:46:04
[原]Spark MLlib之KMeans
发表于
2017-03-22 14:12:46
[原]Spark MLlib之线性回归
spark mllib 线性回归实例：import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaDoubleRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.mllib.linalg.Vectors;
import org.apache.spark.mllib.regression.LabeledPoint;
import org.apache.spark.mllib.regression.LinearRegressionModel;
import org.apache.spark.mllib.regression.LinearRegressionWithSGD;
import scala.Tuple2;
public class SparkMLlibLinearRegression {
public static void main(String[] args) {
String pa
...继续阅读
(15)
发表于
2017-03-21 18:24:04
[原]SPARK各种提交方式
发表于
2017-03-03 17:01:25
[原]Hive ORC数据格式的MapReduce Shuffle
1，mr代码如下package com.test.hadoop;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.orc.TypeDescription;
import org.apache.orc.mapred.OrcKey;
import org.apache.orc.mapred.OrcStruct;
import org.ap
...继续阅读
(36)
发表于
2016-12-23 14:58:17
[原]MD5/DES/AES加密实现
三种加密方式,java版本实现代码如下：import java.io.UnsupportedEncodingException;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import javax.crypto.Cipher;
import javax.crypto.KeyGenerator;
import javax.crypto.SecretKey;
import javax.crypto.spec.SecretKeySpec;
public class EncodeTest {
private String encodeMd5(String src) {
MessageDigest messageDigest = null;
try {
messageDigest = MessageDigest.getInstance("MD5");
messageDigest.reset();
messageDigest.update(src.getBytes("utf-8"));
} catch (UnsupportedEncodingException e) {
e.prin
...继续阅读
(2)
发表于
2016-12-05 14:33:44
[转][译] MYSQL索引最佳实践
转自http://www.uoota.com/blog/archives/27218?utm_source=geek你做了一个明智的选择理解索引对开发和dba来说都是极其重要差劲的索引对产品问题负相当大的一部分责任索引不是多么高深的问题MySQL 索引一览表理解索引为你的应用创建最佳索引拥抱MySQL的限制简述索引索引有什么用为从数据库读取数据加速强制约束 (唯一索引 UNIQUE, 外键 FOREIGN KEY)没有任何索引的情况下查询页能正常运行但是那可能需要执行很长的时间你可能听说过的索引类型BTREE索引 – mysql中主要的索引类型RTREE索引 – 只有MyISAM支持, 用于GISHASH 索引 – MEMORY, NDB 支持BITMAP 索引 – MySQL 不支持FULLTEXT 索引 – MyISAM, Innodb（MySQL 5.6以上支持）类BTREE索引家族有很多不同的实现在可加速的操作中共享相同的属性内存相比硬盘使生活变得美好B+树通常用于硬盘存储数据存储于叶子节点B+Tree 示例MyISAM、Innodb索引对比MyISAM数据指针指向数据文件中的物理位置所有索引都是一样的（指向物理位置））Innodb主键索引 (显式或隐式) - 直接将数据存储于索引的叶子节点，而不是指针二级索引 – 保存主键索引的值作为数
...继续阅读
(4)
发表于
2016-12-01 12:04:09
[原]python,scala,java中的map,reduce和filter
1,python中的map,reduce,filter使用 >>> a=[1,2,3,5]
>>> map(lambda x:x+x,a)
[2, 4, 6, 10]
>>> map(lambda x:2*x,a)
[2, 4, 6, 10]
>>> reduce(lambda x,y:x*y,a)
30
>>> filter(lambda x : x%2,a)
[1, 3, 5]2,scala中的map,reduce,filter使用scala> val list2 = 1 to 10 toList
warning: there were 1 feature warning(s); re-run with -feature for details
list2: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
scala> list2.map(x=>x*x)
res13: List[Int] = List(1, 4, 9, 16, 25, 36, 49, 64, 81, 100)
scala> list2.map(math.pow(_,2))
res14: List[Double]
...继续阅读
(11)
发表于
2016-11-29 17:35:03
[原]数据挖掘-高等数学常用概念用法总结
1, 对数：如果a的x次方等于N（a>0，且a不等于1），那么数x叫做以a为底N的对数（logarithm），记作x=logaN。其中，a叫做对数的底数，N叫做真数默认以e为底数>>> from math import *
>>> log(8,2)
3.0
>>> log(100,10)
2.0
>>> log10(100)
2.0
>>> log(10)
2.302585092994046System.out.println(Math.log(8) / Math.log(2)); 结果3.0
System.out.println(Math.log(100) / Math.log(10));结果2.0
System.out.println(Math.log10(100));结果2.0
System.out.println(Math.log(10));结果2.3025850929940462,指数函数：一般地，形如y=a^x(a>0且a≠1) (x∈R)的函数叫做指数函数(exponential function) 。也就是说以指数为自变量，底数为大于0且不等于1的常量的函数称为指数函数，它是初等函数中的一种。exp,高等数学里以自然常数e为底的指数函数，它又是航模名词，
...继续阅读
(8)
发表于
2016-10-21 15:00:58
[转]史上最全“大数据”学习资源整理
发表于
2016-07-28 16:23:38
[原]Hbase的REST访问
使用hbase REST服务器需要先去服务器上启动服务前台启动hbase rest服务bin/hbase rest start -p <port>后台启动hbase服务bin/hbase-daemon.sh start rest -p <port>停止服务bin/hbase-daemon.sh stop rest不加端口的情况下，端口默认为8080利用requests模块访问rest接口的python代码如下，其中注释是利用curl命令的访问方式：baseurl = "http://192.168.119.128:8080";
#获取表table2中rowkey为liu的行
response = requests.get(baseurl+'/table2/liu', headers={"Accept" : "application/json"})
'''
相当于 curl -H "Accept:application/json" http://192.168.119.128:8080/table2/liu
'''
print response.json()
#返回的字段名称和值为base64编码的，
...继续阅读
(70)