谈两个问题：高性能与安全性先谈高性能：这里指代码实现层面（非数学优化层面），使用寄存器优化，即主密钥/轮密钥、敏感数据比如中间/临时变量必须存于寄存器，明文/密文放在内存（若有够用的寄存器则放寄存器），主密钥用特权寄存器（为支持长期存储，比如调试寄存器、MSR寄存器），轮密钥和敏感数据用通用寄存器。那么怎么做？稳妥快捷的方法是用汇编或内联汇编，手工编排寄存器即构建密钥与敏感数据到寄存器集合的映射。如果用高级语言比如c/c++开发，问题在于register关键字非强制生效，即使强制的，编译器优化（比如公共子表达式消除）产生的中间变量及寄存器分配策略不完全可控，需要修改编译器比如llvm强制某些变量必须分配(特定的)寄存器，为通用性要从编程语言语法属性到cpu后端都改动支持，这个方法实现成本有点大再谈安全性：为保障安全就复杂了，由于密钥及敏感数据存于寄存器，首先要防止寄存器交换/拷贝到内存（为避免读取内存的冷启动攻击、基于cache的侧信道攻击）的一切可能因素，比如进程调度、由信号或异步中断引起的处理器模式切换、系统休眠，如果在用户态实现加解密，就避免不了被调度或切换，因为单核上不可能只运行加解密进程，所以得实现在内核态。这样一来就要在加解密中禁止抢占与中断，考虑到系统响应，禁止的粒度不能过大最小为一个分组，分组加解密前禁止抢占与中断（比如调用linux内核接口preempt_disa ...继续阅读 (184)

很多时候不是人们不想解决问题，而是人们压根就没意识到有问题。 前不久和姜老师聊天，她说“咱们天天说管理管理，管理的核心不就是信息不对称么”让我深以为然。 那今天就借着这个机会，我来聊聊那些在工作 …团队管理过程的信息不对称最先出现在见字如面。 ...继续阅读 (153)

CentOS7.9升级pip时报错：pip install --upgrade pip Collecting pip Using cached https://files.pythonhosted.org/packages/1f/7f/4da15e07ccd11c84c1ccc8f6e24288d5e76c99441bf80e315b33542db951/pip-23.3.1.tar.gz Complete output from command python setup.py egg_info: Traceback (most recent call last): File "", line 1, inFile "/tmp/pip-build-8ikW7F/pip/setup.py", line 7 def read(rel_path: str) -> str: ^ SyntaxError: invalid syntax ---------------------------------------- Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-8ikW7 ...继续阅读 (124)

CentOS7.9升级pip时报错：pip install --upgrade pip Collecting pip Using cached https://files.pythonhosted.org/packages/1f/7f/4da15e07ccd11c84c1ccc8f6e24288d5e76c99441bf80e315b33542db951/pip-23.3.1.tar.gz Complete output from command python setup.py egg_info: Traceback (most recent call last): File "", line 1, inFile "/tmp/pip-build-8ikW7F/pip/setup.py", line 7 def read(rel_path: str) -> str: ^ SyntaxError: invalid syntax ---------------------------------------- Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-8ikW7 ...继续阅读 (115)

TensorFlow不知道又干了什么，最近脑子抽风，删掉了conda相关的安装教程。只剩下pip和docker了，而pip安装在Ubuntu22.04上需要额外的折腾才能正常跑起来。下面把conda安装教程记录一下。安装miniconda具体的步骤可以找其他教程，其实一路确认就可以了。curl https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -o Miniconda3-latest-Linux-x86_64.sh bash Miniconda3-latest-Linux-x86_64.sh创建conda环境conda create --name tf python=3.9 # 环境名称为tf，python版本为3.9 conda deactivate # 脱离原始conda环境 conda activate tf # 进入刚才创建的tf环境设置GPU环境nvidia-smi # 查看是否安装了驱动安装CUDA和cuDNNconda install -c conda-forge cudatoolkit=11.2.2 cudnn=8.1.0配置自动激活工具，省得后面环境掉了还不知道mkdir -p $CONDA_PREFIX/etc/conda/activate.d echo 'exp ...继续阅读 (177)

闲逛发现 nginx 官网 多了一行字： “Support for HTTP/3.”，距离第一次体验 HTTP3 已经过去了 4 年，4 年前，我们体验 HTTP3 是用 Cloudflare 提供的quiche这个库来实现的，如今，nginx 终于通过这个 ngx_http_v3_module 提供了官方支持。SSL 库方面，最流行的 OpenSSL 决定自己实现 QUIC 支持，按照官网给出的roadmap，看起来至少半年内是没什么希望的。nginx 方面自己实现了一个 OpenSSL 的兼容层，1.25.0 以后版本的 nginx 中已经自带了。但是这个兼容层不支持early data。有些营销号直接把early data机翻成了“早期数据”，并解释为旧数据，实际上early data指的是 TLS1.3 中的 0-RTT data，详见这里。所以目前 SSL 库最好从以下 3 个中 BoringSSL、 LibreSSL 或 QuicTLS 三选一。开始体验以BoringSSL为例123456789# 安装 gowget https://go.dev/dl/go1.21.3.linux-amd64.tar.gztar -C /usr/local-xzf go1.21.3.linux-amd64.tar.gzexportPATH=$PATH:/usr/local/go/bin ...继续阅读 (52)

性能在前端领域的重要性已经是老生常谈了，比如早在 2012 年，亚马逊就发布过一个研究结果：页面加载速度一旦下降一秒，每年就会损失 16 亿美元的销售额。那这个一秒又是怎么统计的呢？同样是在 2012 年， Web 性能工作组针对页面加载场景制定了一个加载过程模型，用来衡量页面加载各个阶段的耗时情况，相信这张图大家应该都见过：W3C 性能模型但是随着时代的发展，图中的指标已经不太能准确的反映性能表现了，比如在一个 SPA 应用中，页面容器的 DOM 结构已经生成了，但实际上当前页面还是一个白屏的空壳、又比如页面中绝大部分内容已经渲染好了，但是有一张特别大的图片还在加载中…针对这些问题，浏览器厂商、web 工作组等都提出了一些关键指标，比如谷歌提出了 4 个衡量用户体验的新指标（LCP、CLS、FID、INP），这 4 个指标将会影响谷歌搜索引擎的排名，Chrome 开发团队也提出了 4 个指标（FP、FCP、LCP、CLS），W3C 性能工作组则认为 LCP、CLS 和 TBT 是最值得关注的。在现代前端性能监控系统中，我们也经常会见到它们，我们对页面性能的衡量，基本就是通过对这些指标的收集和计算得来的。有了这些指标，我们也可以有效的还原出页面加载的瀑布图、火焰图等，从而更有针对性的做出优化。例如，这是一张火山引擎前端监控系统的截图：火山引擎前端监控在浏览器的 devtools 中 ...继续阅读 (88)

今天是2023年11月4日星期六，天气灰蒙蒙的，太阳被乌云包围，露出了点点星芒。看着情景，不知道是快被淹没还是快撕裂层层阻碍喷薄而出。生活中，经常和各式各样的人交流，有时候会明显感觉她们办事能力好差，一步一汇报，全是一些无关经要的细节，我不关心你的中间的细枝末叶，你就告诉我结果就行。想严词训诫，思考了下，这是愚蠢的做法，你的训诫不会有什么积极效果，反而会导致双方都不愉快，她以为你不理解她的难处，还在这教她做事，会对你心生抱怨。所以最聪明的做法就是弯腰，放低姿态，顺从一些，哪怕你就是敷衍一下。人的能力有强弱，不可能每个人都会如你所望，按照你的想法去走每一步。对强者仰望学习，对弱者俯身提携，用不同的招式去应对不同的敌人。写的这里，想到了一个前一个小时的有趣想法，由此我不得不感叹，人好多时候就是身在此山中，云深不知处。这个想法是关于我打乒乓球的。现在晚上打球的，有一个小兄弟很强，在我们这些人中能排名第一，尤其是发球，很多人都接不住，虽然大家交手很久了，多数还是接不住，而这个哥们本身打的也很好。但是我还有别的一个哥们或许还有更多人，都不喜欢和他对阵，因为他总是把最强的招式使出来，悬殊太大，打的就没有什么意义了，近一半的球都接不住，取胜的概率能大到哪去？而我呢，一般和球技悬殊比较大的人打球，我都比较柔和，不管是发球上还是打球，力争能和他有来有往几个回合，这样才有乐趣不是？也是对球友的尊重。上 ...继续阅读 (121)

昨天晚上做了一夜的恶梦，其中一个梦有些片段我还有一些模糊的印象。在一个长满了很多石头的山上，狂风大作，我以及我表哥他们弟兄两个，一共三个人在一块，我们所在的地方，石头不断的被风吹落，然后我们躲避，温暖的画面是，我和一个表哥跌落，他护在了我的身前，而不一会他被落石带下去了，万幸他还活着。当时的梦境很惊险，一些画面我断断续续的记不清楚，也无法描述。而我想表达的是有些时候还是亲人靠谱，难怪古时候动不动一个人得势，整个家族就会跟着兴旺发达。这次有机会和一个小学同学接上头，当然也可能就说几句话，但是我还是没能去做，可能是我一贯的内向作风吧，我没有主动去破冰，是个小小的遗憾。她是小学同学，也是本家的亲戚，我还记得一些小学二三年级的场景，不知道她是否记得。自己的出场总是很不堪，如果路途遥远，我或许还有机会扳回一城，但是往往人们就一面之缘，一个回眸，你的表现就被定格在第一眼，而我在这却是糟糕透顶。几次的尴尬充分佐证了这一切。只能寄希望于未来，有咸鱼翻身的惊艳。离别家乡岁月多，近来人事半消磨。唯有门前镜湖水，春风不改旧时波。镜湖水，不改波，是我的楷模。 ...继续阅读 (121)

今天是2023年11月1日，星期三，最近工作上没啥事，就请假一天。关了闹钟，早上睡到快九点了，真是爽翻了。一直想买一个run 后缀的域名，之前买了kungfu.run ，到期之后我还是放弃他了。也关注过一些比较好的run 后缀域名，比如 keep run ，just run ，happy run，letsgo run ，但是都可遇不可求，在上次十一回家期间，想到了justgo 这个，就决定拿下他，关键这个域名还没有被注册。当时想下手，但还是犹豫，想等双十一活动，今天看到西部数码有活动，冲动之下，花103块钱注册了3年，本以为占了大便宜，后来想想，也还是没捞到大的好处，本来第一年注册才9块钱，合着后来的两年也是47一年，也没有太便宜。但是木已成舟，just let it go.可能这个域名只是一个垫脚石或者跳板，未来那些我钟意的还会想办法收入囊中。不过眼下有它就够了。just go run.对得起这几个单词和一百多块钱。路漫漫其修远兮，吾将上下而求索。 ...继续阅读 (117)

今天是2023年11月1号，星期三，阳光明媚，我躺在床上，阳光透过玻璃映射在我的身上，此刻安详而美好。刚才走在街上，看见形形色色的行人，有一种世人皆醉我独醒的感觉。每个人就像世界这个巨人的一个轮子，自己不停转动着或者被驱使的前进着，有些是快乐的，还有好多是逼不得已的。没有几个人可以随心所欲的活着，可以挣脱世间的束缚，能偶尔的抽身出来就已经算半个圣人了。各行其道，各有烦恼，为了家里的小孩老人，担心着老板上司的看法，顾及着同事的一些议论，烦恼源千奇百怪，一步一步蚕食着我们的快乐。小时候的忧愁最是单纯，因为世界很大但是需要看到的能看到的很少。看着他们，他们不知道是否也在看着我，希望他们看得到，最起码彼时彼刻能有闲情逸致看别人的人不会太累，最起码那时那刻是轻松的。终生苦，而我也是众生之一。我的苦我怎么应对？很早之前看到网上的话，说要学会不要反驳别人，而我做的不好，我还是脱不下长衫，还有一些争强好胜，不认输不服输，诚然这些品质一路走来，让我激流勇进，斩获了不少荣誉，但是背后我也付出了很多辛劳。而如今，我不想狂奔了，我就想慢慢的走，最注重的不是速度而是长度了，我想走的更远持续更久，我不再百米冲刺我想安安稳稳跑完这场马拉松。放下屠刀，立地成佛。佛系人生。 ...继续阅读 (119)

美团到店广告平台在用户行为序列建模算法的迭代落地中，基于对业务实际场景中用户决策心智的观察，创新性地提出了深度上下文兴趣网络，精确建模了用户的兴趣，提升了CTR等线上业务指标。本文介绍了相应算法背后的动机、建模方法以及工程优化，希望能为从事相关工作的同学带来一些启发或帮助。 ...继续阅读 (182)

pytest是一种流行的Python测试框架，支持创建简单的单元测试，也支持创建复杂的功能和集成测试。它提供了一系列有用的功能，能够方便地编写，组织和运行测试用例，并生成丰富的测试报告。 ...继续阅读 (174)

从这里可以看到，这个类继承了四个接口，第一个接口INotifyKilled是当对象被杀了的通知；在文件OpenRA\mods\cnc\rules\ defaults.yaml里，可以看到这个配置，它的作用就是让这个单元可以被观察者查看到相关的信息。从上面的内容来看，UpdatesPlayerStatistics属性就是用来配合进行统计使用的，每一个物品拥有这个属性，就可以被统计。在这里主要就是更新玩家统计数据的值，这个变量才是关键，它保存了大量统计信息在这里。这个用来计算对象删除的统计。 ...继续阅读 (169)

最近有一位师兄找我帮忙写一些 R 语言代码，实际上我也不怎么会，网上「借鉴」一些，自己改一些，达到目的似乎也就可以了。但是日后可能要经常和 R 语言打交道，所以还是研究清楚一些比较好。本文说说对人类基因进行注释并做 GO 富集分析。 ...继续阅读 (124)

最近有一位师兄找我帮忙写一些 R 语言代码，实际上我也不怎么会，网上「借鉴」一些，自己改一些，达到目的似乎也就可以了。但是日后可能要经常和 R 语言打交道，所以还是研究清楚一些比较好。本文说说对人类基因进行注释并做 GO 富集分析。 ...继续阅读 (43)

最近有一位师兄找我帮忙写一些 R 语言代码，实际上我也不怎么会，网上「借鉴」一些，自己改一些，达到目的似乎也就可以了。但是日后可能要经常和 R 语言打交道，所以还是研究清楚一些比较好。本文说说对人类基因进行注释并做 GO 富集分析。 ...继续阅读 (44)

昨天重装了系统，WSL 也重装了一下，之前我使用 R 的时候是通过 conda 来管理环境的，R 包夜通过 conda 来安装，但是今天安装 R 包时出现一些问题。 ...继续阅读 (130)

昨天重装了系统，WSL 也重装了一下，之前我使用 R 的时候是通过 conda 来管理环境的，R 包夜通过 conda 来安装，但是今天安装 R 包时出现一些问题。 ...继续阅读 (45)

昨天重装了系统，WSL 也重装了一下，之前我使用 R 的时候是通过 conda 来管理环境的，R 包夜通过 conda 来安装，但是今天安装 R 包时出现一些问题。 ...继续阅读 (34)

一个优秀的项目，错误处理的优雅性是至关重要的，而rust，anyhow creat是绕不过去的一个，今天我们来研究下，怎么使用它，帮助我们写出更优雅的代码关注 vx golang技术实验室，获取更多golang、rust好文一、thiserror初体验可以使用命令cargo add thiserror将它添加到自己的项目中，或者在Cargo.toml中添加如下的配置：[dependencies] thiserror = "1.0"thiserror可以用于枚举或者结构体，例如，我们来看一个基本的例子：use std::io; use log::error; use thiserror::Error; #[derive(Error,Debug)] pub enum DataStoreError { #[error("data store disconnected")] Disconnect(#[from] std::io::Error), #[error("the data for key `{0}` is not available")] Redaction(String), #[error("invalid header (expected {expected:?},found {found:?})")] InvalidHeader ...继续阅读 (108)

云上的计算实例挂载的存储盘通常可以在线实现磁盘扩容。本文以 AWS EMR 节点的磁盘扩容为例，记录一下具体的操作步骤。在详细介绍前，先将重要的总结发在前面，便于以后查阅：EMR 磁盘分配规则是：第一磁盘（/dev/nvme0n1），必备，大小由控制台的"EBS root volume"配置项指定，默认是 15GB，该盘是系统盘，挂载在根目录/下 第二磁盘（/dev/nvme1n1），必备，默认会大小根据所选EC2类型自动调整 第二磁盘的第一分区：5GB（固定值），挂载至 /emr 文件夹 ...继续阅读 (133)

严格来说这不是一本书，而是一份报告，这篇报告是范内瓦·布什及其团队向时任美国总统罗斯福提出的，这份报告的提出引领了美国科技几十的发展，推动了一代代科研工作者的成长。所提建议影响之大，让人不得不对这份报告肃然起敬。第一部分：科学之议该报告的作者范内瓦·布什，曾于二战期间担任白宫科学研究与发展办公室的负责人。世人广泛认为，他在任时所推动的各项科研举措，乃是盟军最终取胜的关键。在政府合同资助以及既定目标指导下的科学家们，通过大规模的协同努力，取得了一系列惊世成果。其中既包括可输注血浆、青霉素等可大规模使用的抗生素、防止虫媒病的滴滴涕和抗疟疾药，也包括雷达、高性能飞机、用于引爆弹药的近炸引信以及终结世界大战的原子弹。布什以罗斯福非正式科学顾问和“研究沙皇”的身份，督导了这一庞大并最终取得成功的研发事业。在胜利曙光初露之际，他又和众多的政治和学术领袖一道，开始考虑如何在和平时期继续从科学研究中获益。1944 年末，布什收到罗斯福的指令，着手筹备一份足以为美国持久科学政策奠定基调的报告。应用的创新源自于基础学科的研究所谓基础研究，以布什的话来说，就是一种“在不考虑实际需求情况下”的对基础知识的寻求。他认为，基础研究填补的是一口井，而这口井正是“所有实用知识的来源”；基础研究是整个研究和创新过程的推动力量。“新产品和新工艺并非完全成熟，”他说道，“它们都建立于新的原理和概念之上，而这些新的原理和 ...继续阅读 (163)

LNMP安装完毕后，MySQL启动时报错，log如下：This crash occured while the server was calling initgroups(). This is often due to the use of a mysqld that is statically linked against glibc and configured to use LDAP in /etc/nsswitch.conf. You will need to either upgrade to a version of glibc that does not have this problem (2.3.4 or later when used with nscd), disable LDAP in your nsswitch.conf, or use a mysqld that is not statically linked. 231108 12:33:01 mysqld_safe mysqld from pid file /usr/local/mysql/var/xadns.pid ended something is definitely wrong and this may fail. key_buffer_size=0 read_buffer_size= ...继续阅读 (148)

LNMP安装完毕后，MySQL启动时报错，log如下：This crash occured while the server was calling initgroups(). This is often due to the use of a mysqld that is statically linked against glibc and configured to use LDAP in /etc/nsswitch.conf. You will need to either upgrade to a version of glibc that does not have this problem (2.3.4 or later when used with nscd), disable LDAP in your nsswitch.conf, or use a mysqld that is not statically linked. 231108 12:33:01 mysqld_safe mysqld from pid file /usr/local/mysql/var/xadns.pid ended something is definitely wrong and this may fail. key_buffer_size=0 read_buffer_size= ...继续阅读 (104)

Debian10系统在启动ss服务时报错，其他日志省略... "/lib/x86_64-linux-gnu/libcrypto.so.1.1: undefined symbol: EVP_CIPHER_CTX_cleanup"查看openssl版本：openssl version OpenSSL 1.1.1n 15 Mar 2022报错的原因：在openssl1.1.0及以后的版本中，废弃了EVP_CIPHER_CTX_cleanup函数。解决办法：找到shadowsocks/crypto/中的openssl.py，如：vim /usr/local/lib/python2.7/dist-packages/shadowsocks/crypto/openssl.py将该文件中所有的EVP_CIPHER_CTX_cleanup替换为EVP_CIPHER_CTX_reset保存即可。:%s/EVP_CIPHER_CTX_cleanup/EVP_CIPHER_CTX_reset :wq ...继续阅读 (129)

Debian10系统在启动ss服务时报错，其他日志省略... "/lib/x86_64-linux-gnu/libcrypto.so.1.1: undefined symbol: EVP_CIPHER_CTX_cleanup"查看openssl版本：openssl version OpenSSL 1.1.1n 15 Mar 2022报错的原因：在openssl1.1.0及以后的版本中，废弃了EVP_CIPHER_CTX_cleanup函数。解决办法：找到shadowsocks/crypto/中的openssl.py，如：vim /usr/local/lib/python2.7/dist-packages/shadowsocks/crypto/openssl.py将该文件中所有的EVP_CIPHER_CTX_cleanup替换为EVP_CIPHER_CTX_reset保存即可。:%s/EVP_CIPHER_CTX_cleanup/EVP_CIPHER_CTX_reset :wq ...继续阅读 (142)

Debian 10和Debian 9一样，没有rc.local文件，导致我们有一些脚本无法设置开机启动，查看默认状态：systemctl status rc-local rc-local.service - /etc/rc.local Compatibility Loaded: loaded (/lib/systemd/system/rc-local.service; static; vendor preset: enabled) Drop-In: /usr/lib/systemd/system/rc-local.service.d └─debian.conf Active: inactive (dead) Docs: man:systemd-rc-local-generator(8)手工创建：touch /etc/rc.local添加如下内容：#!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enab ...继续阅读 (152)

This post is to record all apps / extensions i’m using for convenient migration later. PWA draw.io Excalidraw An open source virtual hand-drawn style whiteboard Linux CLI bat / cat choose-rust direnv dog / dig fd / find fish htop minio-mc rargs / xargs ripgrep / grep rtx / asdf wrk MacOS Everyday apps AltTab: a window switcher Arc Browser Raycast: a fast extensible launcher like Alfred. Typora Dev Apps ...继续阅读 (105)

简介pip 有很多缺点比如在 requirements.txt中定义的都是顶级包的版本，但是如果这些包的下游有改动那就保证不了项目的一致性，但是 poetry 会有一个 lock 文件去保证上下游依赖的一致性，不会出现一些莫名其妙的问题，并且提供了创建虚拟环境，构建发布等等的功能 ...继续阅读 (84)