spark内通过jdbc方式读取doris数据，varchar类型长度不足85时总是自动填充空格至85长度。1. 自定义 MySQL Dialect 类122.12.183.5.3123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101importorg.apache.spark.sql.execution.datasources.jdbc.{JDBCOptions,JdbcUtils}importorg.apache.spark.sql.jdbc.{JdbcDialect,JdbcDialects,JdbcType}importorg.apache.spark.sql.types._importjava.sql.{Connection,Types}importscala.collection.mutable.ArrayBuilderobjectMyDorisDialect{defuseMyJdbcDialect(jdbcUrl:String):Unit ...继续阅读 (8)

spark内通过jdbc方式读取阿里云selectdb（doris）数据，varchar类型长度不足85时总是自动填充空格至85长度，例如表name varchar(20) 字段，name值为 ‘xxx’，spark内通过jdbc方式读出来显示’xxx’后补空格至总长度85位，在spark里length(name)也是85。1. 自定义 MySQL Dialect 类版本：122.12.183.5.3自定义Dialect类：123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101importorg.apache.spark.sql.execution.datasources.jdbc.{JDBCOptions,JdbcUtils}importorg.apache.spark.sql.jdbc.{JdbcDialect,JdbcDialects,JdbcType}importorg.apache.spark. ...继续阅读 (8)

hive日期维度表，常用的字段基本都有。1. 建表语句hive执行以下语句建表。库名表名，存储格式、位置根据需要修改。12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667createtableifnotexistsdatasystem.dim_date(date_idstringcomment'日期(yyyymmdd)',datestrstringcomment'日期(yyyy-mm-dd)',date_namestringcomment'日期名称中文',weekidintcomment'周(0-6,周日~周六)',week_cn_namestringcomment'周_名称_中文',week_en_namestringcomment'周_名称_英文',week_en_nmstringcomment'周_名称_英文缩写',yearmonthidstringcomment'月份id(yyyymm)',yearmonthstrstringcomment'月份(yyyy-mm)',monthidintcomment'月份id（1-12）',monthstrstringcomment'月份',m ...继续阅读 (24)

一些免费的大模型资源，可生成兼容Openai api 接口的资源。谷歌Gemini申请地址：https://makersuite.google.com/app/apikey字节Coze海外版官网：https://www.coze.com/搭配：https://github.com/deanxv/coze-discord-proxy​ 代理Discord对话Coze-Bot，实现以API形式请求GPT4模型，提供对话、文生图、图生文、知识库检索等功能。Groq官网：https://console.groq.com/keysApi集成https://github.com/songquanpeng/one-api​ OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用。Web页面集成https://github.com/lobehub/lobe-chat​ 开源、现代化设计的 ChatGPT/LLMs 聊天应用与开发框架，支持语音合成、多模态、可扩展的（function call）插件系统，一键免费拥有你自己的 ChatGPT ...继续阅读 (62)

背景在家办公需要使用 openvpn 连接公司内网，而且密码使用 固定密码 +TOTP 验证码 的形式，每次都需要打开电脑的openvpn客户端，打开验证码客户端复制验证码，连接，只能说繁琐。希望通过家里的软路由openwrt的openvpn客户端来实现上述操作的一键连接，实现家里每个终端设备都能连接公司内网。实操确保你的openwrt服务列表里已经安装openvpn，如没有请自行安装，在openwrt下新建 /root/openvpn 目录，一切操作均在这个目录下进行。（1）openwrt安装oathtool下载连接：https://downloads.openwrt.org/releases/packages-21.02/x86_64/packages/oath-toolkit_2.6.5-1_x86_64.ipk下载上传至openwrt，安装opkg install /tmp/upload/oath-toolkit_2.6.5-1_x86_64.ipk验证：oathtool -b --totp '你的密钥'和谷歌身份验证器里的验证码此时是否一致。（2）生成账户密码在/root/openvpn下新建generate-password.sh脚本，内容如下，123yzm=$(/usr/bin/oathtool -b --totp'你的密钥')echo-e"公司openvpn账号 ...继续阅读 (51)

一些m3u或者m3u8格式的直播地址文件在一些软件中并不支持，在chatgpt的帮助下，使用php实现了在线转换成txt格式，需要能运行php的服务器。代码如下，命名为m3u-txt.php，将其放在能运行php的服务器上，访问http://xxxxxx.com/m3u-txt.php?url=https://raw.githubusercontent.com/fanmingming/live/main/tv/m3u/ipv6.m3u可直接转换。需要注意的是可能一些m3u文件格式不完全一样导致转换不成功，请参考preg_match_all('/#EXTINF:-1.*?group-title="(.*?)".*?,(.*?)\n(.*?)\n/s', $file, $matches, PREG_SET_ORDER)修改。1234567891011121314151617181920212223242526272829303132php$file=file_get_contents($_GET['url']);// 用正则表达式提取group_title和m3u8链接preg_match_all('/#EXTINF:-1.*?group-title="(.*?)".*?,(.*?)\n(.*?)\n/s',$file,$matches,PREG_SET_ORDER);$result= ...继续阅读 (51)

Cloudflare优选ip并使用dnspodcn api设置解析，实现在本地网络环境下nas或者其他服务器上优选IP，并自动解析到自己的dnspodcn域名，实现速度最优。优选ip请参考github项目XIU2/CloudflareSpeedTest: 🌩「自选优选 IP」测试 Cloudflare CDN 延迟和速度，获取最快 IP (IPv4 / IPv6)！另外也支持其他 CDN / 网站 IP ~ (github.com)我的本地服务器为centos8系统，下载并解压到 /opt/cloudflareST 目录。dnspodcn api 设置解析参考rehiy/dnspod-shell: 基于DNSPod用户API实现的纯Shell动态域名客户端 (github.com)，加入线路逻辑修改而来。进入 /opt/cloudflareST 目录，新建以下脚本。需要修改：修改arToken=“12345,xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx” 为你自己的dnspodcn的token修改arDdnsCheck “xx.yy” “sub1” 为你自己的域名。hostIp=$(awk -F ',' 'NR==2 {print $1}' /opt/cloudflareST/re ...继续阅读 (65)

实现 spark dataframe/dataset 根据mysql表唯一键实现有则更新，无则插入功能。基于spark2.4.3 scala2.11.8工具类 DataFrameWriterEnhance123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150packagecom.xxx.utilsimportorg.apache.spark.sql.catalyst.plans.logical.LogicalPlanimportorg.apache.spark.sql.execution.SQLExecutionimportorg.apache.spark.sql ...继续阅读 (51)

访问某接口拉取数据，接口需要频次控制，经调研，com.google.common.util.concurrent.RateLimiter可轻易实现。1. Maven1234567891011com.google.guavaguava31.1-jrecn.hutoolhutool-all5.8.42. 测试代码123456789101112131415161718192021222324252627282930importcn.hutool.http.HttpRequest;importcom.google.common.util.concurrent.RateLimiter;importjava.util.List;importjava.util.Map;importjava.util.concurrent.TimeUnit;publicclassRateLimiterTest{privatefinalRateLimiterrateLimiter=RateLimiter.create(20,1000,TimeUnit.MILLISECONDS);privateRateLimiterTest(){}privatestaticfinalclassInstanceHolder{staticfinalRateLimiterTestinstance=newRateLimiterTest(); ...继续阅读 (67)

12345678importeasyocrimporttorchgpu_is_available=torch.cuda.is_available()reader=easyocr.Reader(['ch_sim','en'],gpu=gpu_is_available)ocr_data=reader.readtext('/image/path',detail=0,text_threshold=0.7,low_text=0.1,width_ths=0.3)detail = 0 仅输出识别到的文字text_threshold=0.7 文本置信阈值，值越小，文本块内被识别为文字的可能性越高low_text=0.1 值越小，图片内容被识别为文本块的可能性就更高width_ths=0.3 控制横向图片内容是否会被识别为一个或多个文本块，值越小被识别成多个文本块的可能性就更高待续…参考：官方文档Python使用EasyOCR库对行程码图片进行OCR文字识别介绍与实践 ...继续阅读 (65)

presto自带unbase64函数某些时候会报错，所以想要自定义一个unbase64函数。presto自带unbase64函数，用法如下。1FROM_UTF8(from_base64(nickname))但是有些字符会报错。1Query failed (#20220720_091551_00087_mkhun): Illegal base64 character -1aidea新建maven项目pom文件如下：12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364com.facebook.prestopresto-spi0.272com.google.guavaguava18.0org.apache.maven.pluginsmaven-jar-plugintarget/classes/com.alibaba.dubbo.container.Main打包时 MANIFEST.MF文件不记录的时间戳版本falsetruelib/.org.apache.maven.pluginsmaven-dependency-plugincopy-dependenciespackagecopy-dependencie ...继续阅读 (55)

123456789101112131415161718192021222324252627282930313233343536fromurllibimportparseimportpandasaspdfromsqlalchemyimportcreate_enginedb_info={'user':'test','password':parse.quote_plus('test'),'host':'xxxxxx.mysql.rds.aliyuncs.com','port':3306,'database':'test'}engine=create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8'%db_info,encoding='utf-8')defmysql_replace_into(table,conn,keys,data_iter):fromsqlalchemy.dialects.mysqlimportinsertdata=[dict(zip(keys,row))forrowindata_iter]stmt=insert(table.table).values(data)update_stmt=stmt.on_duplicate_key_updat ...继续阅读 (72)

123sqoopexport\--update-key unique_index_columns\--update-mode allowinsert问题描述： 用上述模式 sqoop 导入数据更新 mysql 数据，无论导入的数据与mysql里数据相比有没有更新，mysql表的 AUTO_INCREMENT 的PRIMARY KEY 例如 （idint(11) NOT NULL AUTO_INCREMENT COMMENT ‘自增主键’） 实际都是增加了的，当有新唯一主键数据插入时，id会是累加后的开始，会变的很大。解决： sqoop源码层级暂时没看原因。。。 可以从业务流程上解决下这个问题，保证导入的数据都是新增或者更新的，不会有与mysql一样的数据，可以一定程度上减少 id 的增长。 ...继续阅读 (64)

脚本123456789101112131415161718192021222324252627#! /bin/bashsource/etc/profileset+o posix# to enable process substitution when not running on bashscala_file=$1shift1arguments=$@##### scala 文件后加 sys.exitspark-shell --master yarn\--executor-cores5\--num-executors4\--executor-memory 8g\--driver-memory 3g\--conf spark.serializer=org.apache.spark.serializer.KryoSerializer\--conf spark.default.parallelism=400\--conf spark.sql.shuffle.partitions=400\--conf spark.shuffle.io.maxRetries=10\--conf spark.shuffle.io.retryWait=20s\--conf spark.yarn.executor.memoryOverhead=4096\--conf spark.network.timeout=3 ...继续阅读 (52)

背景： 线上kudu 集群版本为1.11.0版本, spark 使用 kudu-spark2_2.11-1.7.0.jar， 为了使用新版本中的val wo = new KuduWriteOptions(ignoreNull = true)特性，升级至 kudu-spark2_2.11-1.11.0.jar 版本，但是报错。1java.io.InvalidClassException:org.apache.kudu.spark.kudu.KuduContext;localclassincompatible:streamclassdescserialVersionUID=xxxxxxxx,localclassserialVersionUID=xxxxxxx111在https://issues.apache.org/jira/browse/KUDU-2898 中说这个已经修复，但是修复的版本是kudu 1.12.0，升级线上kudu版本这个暂时不考虑，只好自己修改源码，重新编译 kudu-spark2_2.11-1.11.0.jar1.解压 kudu-spark2_2.11-1.11.0.jar ，将解压出的所有文件夹移动至一个空文件夹，例如tmp2.在idea中新建maven项目，配置好 scala 等环境3.解压 kudu-spark2_2.11-1.11.0-sources.ja ...继续阅读 (60)

项目用到phoenix，使用了这个jar包phoenix-client-4.14.1-HBase-1.4.jar，这个jar包导致的jar包冲突很多，一番摸索，解决了，解决如下。先jar命令解压jar包，然后删除以下内容。然后在jar命令打成jar包。rm -r javax/rm -r com/jayway/rm -r org/apache/phoenix/shaded/org/apache/thriftrm -r com/sun/jersey/ ...继续阅读 (57)

当 hive 表的分区字段 是 date 类型时，用如下方式读取会发生报错。123456789101112131415valtargetDay="2020-08-20"spark.read.table(tableName).where(s"targetday in ("+s"date_sub('$targetDay',59),"+s"date_sub('$targetDay',49),"+s"date_sub('$targetDay',39),"+s"date_sub('$targetDay',29),"+s"date_sub('$targetDay',14),"+s"date_sub('$targetDay',6),"+s"date_sub('$targetDay',5),"+s"date_sub('$targetDay',4),"+s"date_sub('$targetDay',3),"+s"date_sub('$targetDay',2),"+s"date_sub('$targetDay',1),"+s"date_sub('$targetDay',0))").showtargetday 为 表的分区字段，date类型。 当 in 后面 的日期个数大于 10 时就会报错，小于等于 10 时都不会报错。奇怪的现象。。。 targetday 为 string 类型不会有此错误。 ...继续阅读 (47)

线上项目出现一个很奇怪的问题，数据经过Spark程序消费Kafka写入Kudu，出现Kudu Master连接超时，这个问题开始排查不出原因，有点头大，只能采用下下策，重启Spark程序，出现过几次后， 我记录了出现的时间，发现每次出现时间有个固定周期，一周，有规律就是最大的好消息，感觉离发现真相不远了，果然网上有这方面的问题讨论，虽说以前也去网上搜索过相关问题，毕竟Kudu相比于Hive、HBase还是小众了一点。。。是Kudu Java Client的问题，使用1.5以上版本就没问题了。参考：关于kudu使用的一些问题及解决办法 ...继续阅读 (63)

最近线上的spark项目日志文件急剧增加，磁盘顶不住了啊，解决日志文件问题，参考下面三篇文章，基本就可以搞明白了。Spark日志过大导致磁盘溢出问题解决方案Spark日志配置及问题排查方式。Spark log4j 日志配置详解以上内容转载自网络，如有侵权，请联系删除。 ...继续阅读 (52)

转载自网络，不保证可用性及是否拥有版权，仅供分享，如有法律纠纷，请联系删除。国内网站1、鸠摩搜书网址：https://www.jiumodiary.com/一个强大的搜书神站，无论是什么类型的书籍，只要你知道书名，就可以轻松的搜到你想要书籍。页面简单明了，书籍种类繁多，格式多种多样，有mobi格式、pdf格式、word格式、txt格式等。关键是可以无限下载，无需注册登录。2、周读网址：http://www.ireadweek.com/index.php/Index/index.html周读是一个提供优质的epud,mobi,pdf,txt电子书下载和分享的网站，帮助不知道读什么书的用户，选择值得读的好书籍，该网站提供多种书籍分类，涵盖了大多数的可读书籍。3、我的小书屋网址：http://mebook.cc/免费无广告、电子书的质量很好，图书都是经过站长精挑细选的。网站分为畅销小说、网络小说、合集资源、多看专区、杂志期刊、漫画、工具书、原版书籍、轻小说等模块。站长每天都会推荐更新几本书，书太多不知道读什么，就试试站长推荐的吧。4、书格网址：https://shuge.org/书格是一个自由开放的在线古籍图书馆，致力于开放式分享、介绍、推荐古本（四九以前的影像本）PDF；网站致力于为古籍的保护与数字化传播贡献。5、西林街搜索网址：http://www.xilinjie.com/专注于网 ...继续阅读 (58)

配置好下面三个属性。123456超过时间限制是否回收超时时间；单位为秒。180秒=3分钟关闭abanded连接时输出错误日志查看日志文件。1234567892019-04-17 17:10:05:140 - ERROR [Druid-ConnectionPool-Destroy-1559154670] - com.alibaba.druid.pool.DruidDataSource com.alibaba.druid.pool.DruidDataSource.removeAbandoned:2666 abandon connection, owner thread: http-nio-8085-exec-1, connected at : 1555491605100, open stackTraceat java.lang.Thread.getStackTrace(Thread.java:1559)at com.alibaba.druid.pool.DruidDataSource.getConnectionDirect(DruidDataSource.java:1313)at com.alibaba.druid.pool.DruidDataSource.getConnection(DruidDataSource.java:1235)at com.alibaba.druid.pool ...继续阅读 (60)

最近用到阿里云oss，有阿里云服务器，通过代理内网访问可以实现免除OSS流量费，查到很多nginx反向代理的教程，但是纯java实现没有找到，感觉可以试一试。（一） 首先要解决反向代理的问题，搜到org.mitre.dsmiley.httpproxy.ProxyServlet可解决。12345org.mitre.dsmiley.httpproxysmiley-http-proxy-servlet1.1112345678910111213@ConfigurationpublicclassMyConfig{@BeanpublicServletRegistrationBeanservletRegistrationAliBean01(){ServletRegistrationBeanoss=newServletRegistrationBean(newProxyServlet(),"/ali/bucket_name/*");//修改为自己的bucket_nameoss.setName("bucket_name");oss.addInitParameter("targetUri","http://bucket_name.oss-cn-beijing.aliyuncs.com");//本地测试环境用外网地址，线上改成内网访问的地址oss.addInitParameter(ProxyServlet ...继续阅读 (58)