最近在没有快进的情况下看完了一部剧《凡人歌》，你说由多好看吗，也不是，只是共鸣多些，剧中的种种都好似在“点”我。这一度让我陷入了第二次职业焦虑，但比第一次职业焦虑（大概 5 年前）会显得没那么严重，没那么慌张。悲观与乐观我是一个做事比较喜欢先考虑最坏情况的人，或者说是一个对风险敏感的保守型人，我理解这算是一种悲观。但我也乐观，因为我认为只要努力总还是能够进步的，不是对自己的能力由多自信，只是感觉在合适的地方总会有一席用武之地。说好听了这可能是乐观，说不好听了这可能是自我感觉良好，甚至有种逆风而上的狂妄自大。不过实话实说狂妄应该不至于，年纪大了，各种情绪都会收敛很多，会觉得容忍比自由更重要。为什么聊到悲观和乐观，因为看下来这可能是引起我第二次职业焦虑的根因：对宏观（不够悲观）和微观（过于乐观）的认知偏差。大学学了七年的管理，两门经济学基础课宏观经济学考的算是所有科目中最烂的，微观经济学到着实不赖。宏观经济学确实会比微观经济学难一些，毕竟有一只看不见的手老在调控这儿调控那儿的 。后疫情时代已经有三年左右，经济确实恢复的不理想，这点大家都有目共睹。但可能我仍是一叶障目，背后到底有多少问题可能也只是片面了解。看了付鹏在凤凰湾区财经论坛上的演讲，让我这个没啥宏观认知的人也能清晰地直面市场现状。还有就是近期在招人，骚扰了很多有段时间（短则个把月，长则一两年）没太联系的前同事。聊下来，感觉能维持 ...继续阅读 (12)

在 Linux 中调用一个脚本有多种方式，例如 fork，exec 和 source。其中 fork 为 Linux 系统调用，exec 和 source 均为 bash 内部命令。下面以parent.sh和child.sh两个脚本演示不同调用方式的区别。parent.sh内容如下：#!/bin/bash echo "--------------------------------------------------" echo "Before calling child.sh" echo "--------------------------------------------------" echo "PID for parent.sh: $$" var="parent" export var echo "In parent.sh, set var=$var" echo "In parent.sh, variable var=$var" echo "--------------------------------------------------" case $1 in exec) echo "Call child.sh using exec" exec ./child.sh ;; source) ech ...继续阅读 (38)

输入输出文件描述符在 Linux 启动后，init 进程会创建 3 个特殊的文件描述符分配给输入输出。文件描述符英文描述中文描述0stdin标准输入1stdout标准输出2stderr标准错误默认情况下，程序经由标准输入（stdin）从键盘读取数据，并将标准输出（stdout）和标准错误（stderr）显示在屏幕上。在 Linux 中，init 是所有进程的父进程，所有子进程均会继承父进程的文件描述符。因此在 Linux 中执行的所有程序都可以从 stdin 获取输入，并将结果打印到 stdout 中，同时将错误信息打印到 stderr 中。重定向当我们不希望从键盘获取标准输入或将标准输出和标准错误显示在屏幕上时，则需要采用重定向。输出重定向输出重定向的使用方式如下：cmd [1-n]> [文件/文件描述符/设备等]假设当前目录下存在一个名为yes.txt的文件，且不存在名为no.txt的文件。执行如下命令：ls yes.txt no.txt由于yes.txt存在，这部分结果将输出到 stdout，同时由于no.txt不存在，这部分结果将输出到 stderr。命令的输出结果为：ls: cannot access 'no.txt': No such file or directory yes.txt执行如下命令：ls yes.txt no.txt 1> success.log 2> ...继续阅读 (51)

随着深度神经网络模型的复杂度越来越高，除了训练阶段需要大量算力外，模型推理阶段也较多的资源。在深度学习落地应用中，受部署环境的影响，尤其是在边缘计算场景中，有限的计算资源成为了复杂模型的应用壁垒。复杂模型的部署问题突出表现在三个方面，如下图所示：速度：实时响应效率的要求，过长的响应耗时会严重影响用户体验。存储：有限的内存空间要求，无法加载超大模型的权重从而无法使用模型。能耗：移动场景的续航要求，大量的浮点计算导致移动设备耗电过快。针对上述三类问题，可以从模型压缩和推理加速两个角度出发，在保持一定模型精度的情况下，让模型速度更快、体积更小、能耗更低。模型压缩常用的模型压缩方法有如下几种类型：剪裁剪裁（Pruning）的核心思想是在尽量保持模型精度不受影响的前提下减少网络的参数量，例如减少网络中连接或神经元的数量，如下图所示：剪裁最常用的步骤如下：训练：在整个剪裁过程中，该步骤主要为预训练过程，同时为后续的剪裁工作做准备。修剪：通过具体的方法对网络进行剪裁，并对网络重新进行评估以确定是否符合要求。微调：通过微调恢复由于剪裁对模型带来的性能损耗。对网络进行剪裁的具体方法可以分为非结构化剪裁和结构化剪裁。非结构化剪裁是细粒度的剪裁方法，一般通过设定一个阈值，高于该阈值的权重得以保留，低于该阈值的权重则被去除。非结构化剪裁虽然方法简单、模型压缩比高，但也存在诸多问题。例如：全局阈值设定未考虑 ...继续阅读 (48)

编程语言「只是」达成目标的工具，这是我一直推崇的说法，因为我认为达成目标更重要的在于个人思考，编程语言不过是个「工具」，选哪个并没有那么重要。现在我越来越认为这个「工具」的选择还是很重要的，因为编程语言之于目标实现的可能性和效率都制约了目标的最终达成。以个人数据科学的工作背景，结合我的编程语言学习路径，尝试回答一下我们需要多少种编程语言这个问题。我的编程语言学习路径大致如下：小学时代：Logo初高中时代：Basic，HTML，CSS本科时代：C，C++研究生时代：Matlab，R，Python，SQL工作时代：Markdown，Java，JavaScript，TypeScript，Rust语言分类在我的编程语言学习路径中，各个编程语言之间还是存在很大差异的，以最早接触的 Logo 为例，其除了教学目的之外似乎就真的没有什么大用途了。这些编程语言可以大致划分为如下三种类型：通用编程语言（General-purpose Programming Language，GPL）：Basic，C，C++，Python，JavaScript，TypeScript，Java，Rust领域特定语言（Domain-Specific Language，DSL）：Logo，CSS，Matlab，R，SQL标记语言（Markup Language）：HTML，Markdown领域特定语言和标记语言就不用多说了 ...继续阅读 (56)

文本主要面向不同格式文档（HTML、PDF、Word）的动态生成，秉承规范、统一和实用的理念总结数据可视化过程中的相关问题，不过度涉及数据可视化本身细节。一画胜千言（A picture is worth a thousand words）是我个人很推崇的一个指引，不过前提是这得是一张「好图」，否则容易过犹不及。数据可视化是一门复杂的学问，在动态文档生成中，秉承规范、统一和实用的理念，我认为是快速提高数据可视化质量的不错之选。设计规范在之前的文章「设计语言初探」中探讨过产品的设计语言，在此针对各大企业的数据可视化规范并结合中文文档生成和个人偏好做简要分析。各大企业的数据可视化规范如下：企业数据可视化规范AppleHuman Interface Guidelines - ChartsGoogleMaterial Design - Data VisualizationMicrosoftData visualization style guidelines for Office Add-insAdobeSpectrum - Data VisualizationIBMCarbon Design System - Data VisualizationSalesforceLightning Design System - Data Visualization蚂蚁金服Ant Vision各家的设计 ...继续阅读 (85)

故事要从昨晚的事故说起，在软路由中删除了一个 Docker 容器，想着相关配置和数据目录也都用不到了就删掉吧。进入目录后「聪明」的我就执行了rm -rf *，等回头去看命令执行情况已然为时已晚。为什么说我「聪明」呢，因为自从知道一个空格引起的 /usr 被删除的血案后，在做删除动作时我都会谨慎再谨慎，然而这次的悲剧在于目录下通过 NFS 挂载了 NAS 上的远程目录，删除前忘记取消挂载了，结果就是 NAS 上 4 块盘里面的影视资料被我一键清空了。想着十多个 TB 的影视资料就这么没了，到也没有太伤感，毕竟技术男认为总还是可以恢复的，无非就是费些时间的问题。所以做的第一件事就是把 NAS 关机了，因为一旦再写入新的数据，被删除的数据可能就真的无法恢复了。关机后就开始找 SATA 线（NAS 里面是 3.5 寸的机械硬盘，使用 SATA 口通信），发现没有就赶紧买了一根第二天可以到的，至此第一笔 60 大洋（3.5 寸的硬盘还得单独供电，好不容易找到一个便宜的带电源的套装）损失就出去了。然后就开始各种找资料，NAS 里面的硬盘格式是 Btrfs 的，可用的恢复工具一下子就少了，翻着翻着发现就已经凌晨一点。怀着一丝丝担忧还是决定先睡了，明天早起再说吧，反正 SATA 线最快也得下午才能到。喜新这一切的一切要往前捯就只怪我「喜新厌旧」。搬到新家利用软路由和 NAS搭建了一套家庭影音中心， ...继续阅读 (57)

色域在当我谈修图时，我谈些什么 - 色彩篇 Part 1中已经介绍过什么是色彩空间，在显示领域通常会使用RGB 色彩模型，在印刷领域通常会使用CMYK 色彩模型。而在颜色感知领域，CIE 1931 色彩空间则是在设计之初便要求包含普通人眼可见的所有颜色的标准色彩空间。人类眼睛有对于短、中和长波的感光细胞，色彩空间在描述颜色时则可以通过定义三种刺激值，再利用值的叠加表示各种颜色。在 CIE 1931 色彩空间中，这三种刺激值并不是指对短、中和长波的反应，而是一组约略对应红色、绿色和蓝色的 X、Y 和 Z 的值。X、Y 和 Z 的值并不是真的看起来是红色、绿色和蓝色，而是使用 CIE XYZ 颜色匹配函数计算而来。在颜色匹配实验中，如下图1所示：受试者通过观察单一光源的颜色和三原色光源的混合颜色是否相同，得到光谱三刺激值曲线如下图2左所示。为了消除负值对数据处理带来的不便，通过转换得到了三个新的值 $X$、$Y$ 和 $Z$ 的曲线如下图2右所示。在 CIE 1931 色彩空间中，所有可视颜色的完整绘图是三维的，$Y$ 可以表示颜色的明度3。$Y$ 表示明度的好处是在给定 $Y$ 值时，XZ 平面将包含此明度下的所有色度。通过规范化 $X$、$Y$ 和 $Z$ 的值：$$ \begin{aligned} x &= \dfrac{X}{X + Y + Z} \\ y &= \dfrac{ ...继续阅读 (62)

CSS 中的布局display和定位position可以说是两个最基本的属性，其控制着元素在网页中的显示方式。之前对布局和定位可谓是一知半解，最终奏不奏效全凭一顿乱试😂，想了想还是应该细致地了解下，后面虽不妄想写起代码来事半功倍，但至少不会再暴力遍历破解了。盒模型在介绍布局和定位之前，首先回顾一下 CSS 的盒模型。CSS 盒模型从外到内由外边距margin、边框border、内边距padding和内容content共 4 部分组成，如下图所示：CSS 盒模型元素的宽度width为内容的宽度 + 左边框 + 有边框 + 左内边距 + 右内边距，上例中为 $360+10+10+10+10=400$；元素的的高度height为内容的高度 + 上边框 + 下边框 + 上内边距 + 下内边距，上例中为 $240+10+10+20+20=300$。在实际中，我们并不能直接设定内容的宽度和高度，只能设置元素的宽度和高度，而显示区域的宽度和高度则通过计算自动设定。在 CSS 中广泛使用的有两种盒子模型：块级盒子（block box）和内联盒子（inline box）1。块级盒子有如下表现行为：盒子会在内联方向上扩展并占据父容器在该方向上的所有可用空间，在绝大数情况下意味着盒子会和父容器一样宽。每个盒子都会换行。width和height属性可以发挥作用。内边距、外边距和边框会将其他元素从当前盒子周 ...继续阅读 (40)

文本是「当我谈」系列的第一篇博客，后续「当我谈」系列会从程序员的视角一起科普认知未曾触及的其他领域。色彩空间色彩空间是对色彩的组织方式，借助色彩空间和针对物理设备的测试，可以得到色彩的固定模拟和数字表示。色彩模型是一种抽象数学模型，通过一组数字来描述颜色。由于“色彩空间”有着固定的色彩模型和映射函数组合，非正式场合下，这一词汇也被用来指代色彩模型。RGB红绿蓝（RGB）色彩模型，是一种加法混色模型，将红（Red）、绿（Green）、蓝（Blue）三原色的色光以不同的比例相加，以合成产生各种色彩光。三原色的原理不是出于物理原因，而是由于生理原因造成的。RGB 色彩模型可以映射到一个立方体上，如下图所示：红绿蓝的三原色光显示技术广泛用于电视和计算机的显示器，利用红、绿、蓝三原色作为子像素组成的真色彩像素，透过眼睛及大脑的模糊化，“人类看到”不存在于显示器上的感知色彩。CMYK印刷四分色模式（CMYK）是彩色印刷中采用的一种减法混色模型，利用色料的三原色混色原理，加上黑色油墨，共计四种颜色混合叠加，形成所谓的“全彩印刷”。四种标准颜色分别是：Cyan：青色或“水蓝”Magenta：洋红色或“紫色”Yellow：黄色Key plate：因实务上多使用黑色，所以也可以简单视为blacKCMY 叠色的示意图如下所示：利用 $0$ 到 $1$ 的浮点数表示 $R, G, B$ 和 $C, M, ...继续阅读 (50)

本文主要面向希望在游戏空闲时段将显卡用于科学事业的朋友们😎。本文以 Windows 11 22H2 版本为例，不确保在其他版本系统下完全适用。终端工欲善其事必先利其器，开发离不开那个黑框框，所以我们需要把这个黑框框变得更好看更好用些。Windows 终端是一个新的支持 PowerShell 和 WSL bash 的应用，通过应用商店直接进行安装。建议安装最新版的 PowerShell 作为命令行环境，相关下载和配置详见官网。为了更好的在终端中显示中英文和图标，推荐使用Sarasa Term SC Nerd作为终端显示字体。WSL以管理员模式打开 PowerShell 或 Windows 命令提示符，输入如下命令，并重启计算机：wsl --install此命令会启用 WSL 并安装 Ubuntu 发行版 Linux。通过wsl -l -o可以查看所有 Linux 的发行版：通过wsl --install <发行版名称>可以安装其他发行版 Linux。通过wsl -l -v可以查看当前运行的 WSL 版本：通过wsl新安装的 Linux 默认已经设置为 WSL 2。进入 Ubuntu 命令行，输入如下命令安装必要的系统依赖：sudo apt install gcc安装 zsh 作为 Ubuntu 默认的 Shell：sudo apt install zsh安装Oh My Zsh来提升 ...继续阅读 (63)

文学编程文学式编程（Literate Programming）是由高德纳提出的编程方法，希望能用来取代结构化编程范型。正如高德纳所构想的那样，文学编程范型不同于传统的由计算机强加的编写程序的方式和顺序，而代之以让程序员用他们自己思维内在的逻辑和流程所要求的顺序开发程序。文学编程自由地表达逻辑，而且它用人类日常使用的语言写出来，就好像一篇文章一样，文章里包括用来隐藏抽象的巨集和传统的源代码。文学编程工具用来从文学源文件中获得两种表达方式，一种用于计算机进一步的编译和执行，称作“绕出”（tangled）的代码，一种用于格式化文档，称作从文学源代码中“织出”（woven）。虽然第一代文学编程工具特定于计算机语言，但后来的工具可以不依赖具体语言，并且存在于比编程语言更高的层次中1。如高德纳在论文2中所示，相同的源文件经过“tangle”可以编译为机器代码，经过“weave”可以编译为文档。文学编程历史从高德纳提出文学编程的概念后，各家各派都在将这个编程范式付诸实践。我接触文学编程已经比较晚了，算是从 R Markdown 和 knitr 开始，开始时写写分析报告和做做幻灯片，慢慢的在更多场景我发现这很适合。WEB, CWEB & nowebWEB 是一种计算机编程语言系统，它由高德纳设计，是第一种实现他称作“文学编程”的语言。WEB 包含了 2 个主要程序：TANGLE，从源文本生成可编译 ...继续阅读 (54)

历史尝试入手 NAS 已经近 5 年的时间了，最初只是用来挂 PT 下载，然后在各种设备上通过 SMB 共享播放上面的视频。后面也尝试在利用 Plex 搭建家庭影音中心，但由于 Plex 的高级功能需要付费也就作罢。今年搬家后整体对各种硬件做了升级，换了软路由，做了基于 AC+AP 的全屋 WiFi，NAS 换了更大的硬盘，客厅和卧室各安装了一个投影机，入了 Apple TV 4K 和 Chromecast with Google TV 4K 两个盒子。购买 Apple TV 时买了有 Infuse 的套餐，果然没有花钱的不是，Infuse 无论是从 UI 还是体验上都算优秀，但由于仅限于苹果生态，且可玩性较差，最终也只是沦为了 Apple TV 上的本地播放器。秉着「付费虽美丽，免费更开心」的原则，最终选择了基于 Jellyfin 的方案。由于 NAS 的 CPU 性能并不高，为了不给 NAS 其他功能带来过多压力，同时考虑软路由性能过剩，因此决定将 Jellyfin 安装在软路由上，再将 NAS 的资源挂载到软路由来实现整体解决方案。在做 Jellyfin 选型时，其吸引我的最大优点就是开源，同时各个平台的客户端也都在官方应用商店有上架，这极大的简化了客户端的安装流程。付费解决方案，例如：Plex，Emby（在 3.5.3 之后闭源），由于有更多资金的支持，肯定在一些方面会优于 ...继续阅读 (62)

适当的自私，但不应贪婪。学了这么多年管理，除了印象最深且还能在工作中不时提起的马斯洛需求层次理论之外，还有就是亚当斯密的经济人假设了。经济人假设每个人都以自身利益最大化为目标，我称这即为自私。社会人假设人的最大动机是社会需要，我认为这也没有逃离自私的范畴，只是需求的类型有些差异而已。苟且和远方，不分贵贱，亦可兼得，但想要的太多，抑或不劳而获，甚至痴心妄想，那这就是贪婪。自私不像会纠结到底是人性本善还是人性本恶，我认为人天生就是自私的。社会是由一个个人组成，脱离个体谈集体是无效的，当个体都无法被满足时，集体的功能不可能正常。我无法做到囚徒困境在神学院学生所做出的选择1，那是一种超脱的信仰的力量，我肃穆敬仰，但恕我如实做不到。不为恶不为恶是我毕生的信条，执行起来不易。通俗些就是不给别人添堵，但并不是麻烦别人就是添堵，有时候就是需要去麻烦别人，我称这样的人为朋友。我认为不为恶是自私的底线，切莫损人利己，损人不利己就更可恨了。正道成功很难，邪门歪道却很容易让你误入歧途，但弯道超车未尝不可，至少我认为适合我这种在一些专业领域并不是专业的人。诗和远方的动力自私会是一种动力，而且不与社会主流价值观相违背。例如：我想买一辆越野车（这是真话，真的想买）和我要为世界和平奋斗终身（这也不是假话）。理想不分贵贱，看起来第一个是满足我一己私欲，第二个是利他主义，很有可能两者对于当下我的要求都是努力提升个人的 ...继续阅读 (45)

在之前的博客「投票公平合理吗？」中已经得到了一个令人沮丧的结论：只有道德上的相对民主，没有制度上的绝对公平。投票是对不同选项或个体的排序，在投票中我们关注更多是相对位置这样定性的结论，例如：积分前三名的同学才能进入下一环节。但有的时候我们不光想知道不同选项之间的先后顺序，还想了解不同选项之间的差异大小，这时我们就需要设计更精细的方法进行定量分析。基础评分和排名直接评分从小到大被评分最多的应该就是考试了，100，120 或是 150，这三个数字应该从小学一年级一直“陪”我们走过十几载青春。考试的评分算法简单且容易区分，整个系统设置了一个总分，根据不同的表现进行加分或扣分，统计最终得分作为最后的评分。一般情况下成绩是一个近似正态分布的偏态分布，如下图所示。如果成绩近似正态分布（如上图-中），则说明本次考试难度分布较为均衡；如果成绩分布整体向左偏（如上图-左），则说明本次考试较为困难，学生成绩普遍偏低；如果成绩分布整体向右偏（如上图-右），则说明本次考试较为容易，学生成绩普遍偏高。除此之外，也可能出现双峰分布，以及峰的陡峭和平缓都能反应考试的不同问题，在此就不再一一展开说明。一般情况下，考试的最终成绩已经能够很好地对学生的能力进行区分，这也正是为什么一般情况我们不会对考试分数做二次处理，而是直接使用。加权评分在现实生活中，不同的问题和任务难易程度不同，为了保证「公平」，我们需要赋予困难的 ...继续阅读 (57)

一眨眼已经四月了，第一季度穿插着反反复复的疫情、说干就干的战争和悲痛万分的空难就这么过去了。还在用生活不易、活着真好的话宽慰自己的时候，互联网迎来了一大波裁员浪潮。说实话其实每年都在陆陆续续的传出各大厂的裁员消息，可今年这一波着实动静大了些。翻看已经有两三篇待完成的博客躺在草稿箱中有个把月了，工作和生活的各种乱七八糟的事情扰得自己完全没有动笔的欲望。算是为了不让博客列表页有太长断档吧，小记一下最近的心情，也让自己冷静下来思考二三。人都去哪儿了？在这波裁员浪潮之前，工作上除了项目本身以外，最重要的就是招聘。从最初组建团队一直到现在招聘就像一个看似永远完不成的项目。摆在我面前的招聘三大问题：我看上的人家不一定看得上我，看得上我的我不一定看得上人家，都看上了的因为各种各样的不可控因素最后还是没谈成。有时候从源头上就捞不到人，没有简历，约不上面，不可否认一些岗位的门槛和稀缺性注定这就是一场艰难的战役。但从个人主观感受上来看，逃离互联网的人可能正在增长。这个观点没有任何调研为依据，单纯的从身边的案例有感，不具备统计显著性，但也不接受反驳。为什么要逃离，或许逃离这个词用的就不好，应该说是「离开」更好些，不然显得当下的互联网有多么水深火热一样。因为大环境、家庭、亦或是躺平的心态，都很难说，自己没处在这么一个情景中，也说不出个四五到六来。很难说未来自己会不会离开互联网这个圈子，如果离开也很难说这个 ...继续阅读 (51)

本文主要参考自SIFT meets CNN: A decade survey of instance retrieval1和Deep Learning for Instance Retrieval: A Survey2。基于内容的图像检索（Content-based image retrieval，CBIR），属于图像分析的一个研究领域。基于内容的图像检索目的是在给定查询图像的前提下，依据内容信息或指定查询标准，在图像数据库中搜索并查找出符合查询条件的相应图片3。根据不同的视觉表示方法，可以将基于内容的图像检索方法分为两类：基于 SIFT 特征的和基于深度学习的。基于 SIFT 特征的方法分为如下 3 类：使用小型编码本：视觉词汇少于几千个，紧凑向量在降维和编码之前生成。使用中型编码本：考虑到 BoW 的稀疏性和视觉词汇的低区分度，使用倒排索引和二进制签名方法。准确率和效率之间的权衡是该算法的主要影响因素。使用大型编码本：考虑到 BoW 直方图的稀疏性和视觉词汇的高区分度，在算法中使用了倒排索引和存储友好型的签名方式。在编码本生成和编码中使用了类似的方法。基于深度学习的方法分为如下 3 类：混合型方法：图像块被多次输入到 CNN 中用于特征提取。编码与索引方法和基于 SIFT 的检索方法类似。使用预训练的模型：通过在类似 ImageNet 的大数据集预训练的 CNN 模型进行单通道 ...继续阅读 (56)

什么是 A/B 测试A/B 测试是一种随机测试，将两个不同的东西（即 A 和 B）进行假设比较。A/B 测试可以用来测试某一个变量两个不同版本的差异，一般是让 A 和 B 只有该变量不同，再测试目标对于 A 和 B 的反应差异，再判断 A 和 B 的方式何者较佳1。A/B 测试的前身为双盲测试2，在双盲测试中人员会被随机分为两组，受试验的对象及研究人员并不知道哪些对象属于对照组，哪些属于实验组，通过一段时间的实验后对比两组人员的结果是否有明显差异。在各种科学研究领域中，从医学、食品、心理到社会科学及法证都有使用双盲方法进行实验。一个简单的 A/B 测试流程如下：对目标人群进行随机划分，以进行有效的独立随机实验。对不同分组应用不同的策略。在确保实验有效的前提下，对不同分组的结果进行分析，以确定不同策略的优劣。A/B 测试的主要目的是帮助我们更加科学的判断不同策略的优劣性，避免拍脑门的决策，不给杠精们互相 BATTLE 的机会。同时我们也需要认识到 A/B 测试只是一个工具，它能够帮助我们对产品和策略进行不断优化，但对产品和策略的创新更多还是需要洞察力。它可以让我们在已达到的山上越来越高，却不能用它来发现一座新的山脉。一句话：A/B 测试不是万能的，但离开 A/B 测试是万万不能的。A/B 测试的科学性流量分配进行 A/B 测试的第一个问题就是如何划分用户，如果采用上面简单五五开的方式 ...继续阅读 (63)

之前三十岁了，不小了，一些事情再不做就不知道会拖到什么时候了。自从之前看到朋友发的一段摩旅的视频，就一直念念不忘，有机会一定要来一次，虽然不一定如视频中那般潇洒。最后证明确实不一样，尽管谈不上是一场修行，但遇到的人事物都是独特且难以忘记的。有了出发的勇气，但拖延症还是很严重，各种准备和规划直到出发前一晚才简单搞定，当然这也给后面的遇到的问题埋下了伏笔。本来规划了 5 天的行程，最后一天赶到大同见朋友一面再返回北京，但一场冷雨让我在第 4 天直接折返北京。第一天折腾了好久，费劲扒拉才把后座包绑好。出门还没上高速，碰见一个骑复古车的哥们，问了我去哪里，我说自己去内蒙古，一句注意安全，一句感谢。出发前才掉了一格油，就没有去加，距离丰宁还 20 多公里，油表灯就闪了，好在还是坚持到了丰宁，成功续满了油。路上断断续续发现成队的、独行的骑士，还有一个书包和后座包都贴了实习标志的哥们，应该都是追逐自由的人吧。到丰宁前中途停下检查了后座包，发现有一侧绑的不合理，卡口会被后轮摩到，都快要磨断了，幸好检查了下，改造一番绑好继续上路。从丰宁出发没多久，隐约闻道一股烧焦的味道，没当回事儿，以为是路上其他汽车的尾气。中间休息的时候又检查了一下后座包，才发现从丰宁出发时有一侧绑的有点松，后座包倒向了排气那边。奈何我帅气的双排气在上面，就把包烫了一个大洞，一并倒霉的还有带了但一次还没来得及穿过的冬款骑行服和骑行 ...继续阅读 (53)

设计语言（Design Language）或设计语言系统（Design Language System, DLS）是一套用于指导产品设计的整体风格方案1。设计语言把设计作为一种“沟通的方式”，用于在特定的场景内，做适当的表达，进行特定的信息传递。设计语言在建筑、工业设计和数字产品等领域都有广泛的应用，本文仅围绕数字产品进行初探。为什么构建设计语言？统一通过设计语言可以在整个平台中统一颜色、字体、组件、动效等各种规范，避免由于设计师的个人特点导致产品风格不一致。体验优秀的设计语言符合大众审美，可以提高产品的可用性和易用性。设计语言可以使用户能够与具备一致性的应用进行交互，让用户在使用过程中获得愉悦，提升用户体验。效率优秀的设计语言使得设计和开发团队能够快速、经济、高效地进行开发、重构和迭代产品。通过不断更新和完善的文档库，可以改善团队之间的协作，提高生产力。品牌设计语言的构建可以传达一个统一的公司品牌形象。设计语言让产品具有自己的身份，使其在市场上的众多产品中更容易被识别出来，加深用户对品牌的印象。设计语言构建在此我们借助语言学的角度来讨论数字化产品的构建2。在语言应用中，我们通常会涉及语法、语素、语句、语义、语境、语气、语素和响度等维度，通过不同的组合达成应景的表达和适时的沟通。语法设计语言中的语法即设计价值观和设计原则，这是构建设计语言系统的起点，用于传达品牌主张或设计理念，它将 ...继续阅读 (50)

文本使用的软件版本分别为：JDK：1.8.0_291，下载地址。Scala：2.12.14，下载地址。Hadoop：3.2.2，下载地址。Spark：3.1.2，下载地址。Python：3.9，Miniconda3，下载地址。按照虚拟环境准备 (Virtual Environment Preparation)准备虚拟机。按照Hadoop 集群搭建 (Hadoop Cluster Setup)搭建 Hadoop 集群。本文以 Spark on YARN 模式介绍 Spark 集群的搭建。Scala 配置将 Scala 安装包解压缩到/opt目录并创建软链接：cd /opt tar -zxvf scala-2.12.14.tgz ln -s /opt/scala-2.12.14 /opt/scala将如下信息添加到/etc/profile中：# Scala export SCALA_HOME=/opt/scala export PATH=$PATH:$SCALA_HOME/bin方便起见可以使用rsync命令同步 Scala：rsync -auvp /opt/scala-2.12.14 leo@vm-02:/opt rsync -auvp /opt/scala-2.12.14 leo@vm-03:/optSpark 配置将 Spark 安装包解压缩到/opt目录并创建软链接：cd /o ...继续阅读 (54)

文本使用的软件版本分别为：JDK：1.8.0_291，下载地址。Hadoop：3.2.2，下载地址。Hive：3.2.1，下载地址。MySQL：8.0.25，使用apt install mysql-server安装。MySQL JDBC Connector：8.0.25，下载地址。按照虚拟环境准备 (Virtual Environment Preparation)准备虚拟机列表如下：主机名IP角色vm-01192.168.56.101HadoopMySQLHivevm-02192.168.56.102Hadoopvm-03192.168.56.103Hadoop按照Hadoop 集群搭建 (Hadoop Cluster Setup)搭建 Hadoop 集群。MySQL 安装和配置通过如下命令安装 MySQL：sudo apt install mysql-server mysql-client libmysqlclient-dev安装完毕后，使用如下命令初始化 MySQL：sudo mysql_secure_installation在密码安全性校验步骤，输入N关闭密码安全性校验：VALIDATE PASSWORD COMPONENT can be used to test passwords and improve security. It checks the strength o ...继续阅读 (51)

文本使用的软件版本分别为：JDK：1.8.0_291，下载地址。Zookeeper：3.7.0，下载地址。Hadoop：3.2.2，下载地址。按照虚拟环境准备 (Virtual Environment Preparation)准备虚拟机列表如下：主机名IP角色vm-01192.168.56.101HDFS NamenodeHDFS DatanodeYARN Resource ManagerYARN Node ManagerJournal NodeZookeepervm-02192.168.56.102HDFS NamenodeHDFS DatanodeYARN Resource ManagerYARN Node ManagerJournal NodeZookeepervm-03192.168.56.103HDFS NamenodeHDFS DatanodeYARN Node ManagerJournal NodeZookeeper系统配置将/opt目录所有者赋予当前用户：sudo chown -R leo:leo /opt在根目录建立data目录，并将其所有者赋予当前用户：sudo mkdir /data sudo chown -R leo:leo /dataJDK 配置将 JDK 安装包解压缩到/opt目录并创建软链接：cd /opt tar -zxvf jdk-8u291-li ...继续阅读 (56)

本文以 VirtualBox 和 Ubuntu Server 为例，介绍在 macOS 下搭建 3 台虚拟机集群过程。安装 VirtualBox从官网下载最新版本的 VirtualBox 和 VirtualBox Extension Pack，本文以 6.1.22 版本为例。根据安装向导安装 VirtualBox。双击下载好的.vbox-extpack安装文件安装 VirtualBox Extension Pack。通过File -> Host Network Manager...为 VirtualBox 添加一块网卡。安装 Ubuntu Server虚拟机配置从官网下载最新版本的 Ubuntu Server，本文以 20.04.2 LTS 版本为例。在 VirtualBox 通过New按钮添加新的虚拟机，首先为虚拟机配置名称，存储路径和内存大小等基本信息：单击Create后为虚拟机配置磁盘类型和大小：单击Create完成创建。创建完毕后，在左侧列表中选择创建好的虚拟机，通过Settings按钮打开设置对话框，在System - Motherboard标签页去除掉软盘启动Boot Order - Floppy，同时也可以再次调整内存大小：在System - Processor标签页可以调整虚拟机使用 CPU 的数量：在Display - Acceleration标签页可以调整使用的 ...继续阅读 (53)

在日常工作中，数据处理和分析在研发、产品和运营等多个领域起着重要的作用。在海量数据处理和分析中，SQL 是一项基础且重要的能力。一个优秀的 SQL Boy 和茶树姑的 SQL 代码除了保持简单、可读和易于维护的样式风格外，还需要具备良好的执行性能，准确且高效的计算出结果才能让你在工作中决胜于千里之外。影响 SQL 执行性能的主要因素可以总结为如下几项：计算资源量（CPU，内存，网络等）计算数据量（输入和输出的记录数）计算复杂度（业务逻辑复杂程度和对应的 SQL 实现和执行）计算资源量是一个前置制约因素，理论上更多的资源能够带来更快的计算效果。计算数据量也可以认为是一个前置制约因素，理论上更大的数据量会导致计算速度降低，但对于复杂的计算逻辑，通过合理的 SQL 可以更好的控制计算过程中的数据量，从而提升 SQL 性能。计算复杂度是影响 SQL 性能的关键因素，复杂的业务逻辑必然比简单的业务逻辑处理时间要长，相同业务逻辑的不同 SQL 实现也会影响运行效率，这就要求我们对业务逻辑进行全面的理解，对实现 SQL 进行合理优化，从而提升计算速度。执行引擎SQL 是用于一种用于数据定义和数据操纵的特定目的的编程语言1。SQL 虽然有 ISO 标准2，但大部分 SQL 代码在不同的数据库系统中并不具有完全的跨平台性。不同的执行引擎也会对 SQL 的语法有相应的改动和扩展，同时对于 SQL 的执 ...继续阅读 (54)

代码样式指南主要用于规范项目中代码的一致性，使得代码简单、可读和易于维护，从一定程度上也影响代码的质量。一句话概括如何评价代码的质量：衡量代码质量的唯一有效标准：WTF/min –Robert C. MartinGoogle 针对大多数编程语言（例如：C/C++，Java，JavaScript，Python，R 等）都整理了相关的代码风格，但对于 SQL 这种用于数据库查询特殊目的的编程语言并没有整理对应的风格。同其他编程语言代码风格一样，没有哪种风格是最好的，只要在项目中采用统一合理的风格即可。本文参考的 SQL 样式指南有如下几种：https://www.sqlstyle.guide/zh/https://about.gitlab.com/handbook/business-technology/data-team/platform/sql-style-guide/https://docs.telemetry.mozilla.org/concepts/sql_style.htmlhttps://github.com/mattm/sql-style-guide本文给出的 SQL 样式指南基于上述几种进行整理和修改。一般原则使用一致的、描述性名称。使用空格（2 个或 4 个，项目中保持一致），避免使用 TAB 缩进。在 SQL 中加入必要的注释，块注释使用/* */，行 ...继续阅读 (55)

理论篇请参见：进程，线程和协程 (Process, Thread and Coroutine) - 理论篇本文将介绍进程，线程和协程在 Python 中的实现，代码详见这里，部分参考自「Python 并发编程」1:。进程和线程在 Python 中可以使用multiprocessing.Process和threading.Thread来实现进程和线程。我们采用CPU 密集型、磁盘 IO 密集型、网络 IO 密集型和模拟 IO 密集型任务类型来测试单线程，多线程和多进程之间的性能差异。import requests # CPU 密集型 def cpu_bound_task(x=1, y=1): c = 0 while c < 1500000: c += 1 x += x y += y # 磁盘 IO 密集型 def disk_io_bound_task(): with open('tmp.log', 'w') as f: for idx in range(5000000): f.write('{}\n'.format(idx)) # 网络 IO 密集型 def web_io_bound_task(): try: requests.get('ht ...继续阅读 (51)

Python 实现篇请参见：进程，线程和协程 (Process, Thread and Coroutine) - 实现篇进程，线程和协程**进程（Process）**是计算机中已运行的程序1。**线程（Thread）**是操作系统能够进行运算调度的最小单位。大部分情况下，线程被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务2。进程和线程之间的主要区别在于：线程共享创建其进程的地址空间，进程使用自己的地址。线程可以直接访问进程的数据，进程使用其父进程数据的副本。线程可以同其进程中其他线程直接通信，进程必须使用**进程间通讯（inter-process communicate, IPC）**与同级进程通信。线程开销较小，进程开销较大。线程的创建较为容易，进程需要复制其父进程。线程可以控制相同进程的其他线程，进程只能控制其子进程。对于主线程的修改（例如：取消、优先级修改等）可能会影响进程中的其他线程，对于父进程的修改不会影响其子进程。单线程进程和多线程进程之间的对比如下图所示：一个关于进程和线程的形象类比如下3：计算机的核心是 CPU，它承担了所有的计算任务。它就像一座工厂，时刻在运行。假定工厂的电力有限，一次只能供给一个车间使用。也就是说，一个车间开工的时候，其他车间都必须停工。背后的含义就是，单 ...继续阅读 (50)

CNN 的缺陷卷积神经网络（CNN）在图像领域取得了很大的成功，但同时也存在一定的缺陷。卷积层中的卷积核对输入图像利用卷积运算提取其中的特征。卷积核以一个较小的尺寸并以一定的步长在图像上移动得到特征图。步长越大，特征图的尺寸就越小，过大的步长会丢失部分图像中的特征。池化层作用于产生的特征图上，使得 CNN 可以在不同形式的图像中识别出相同的物体，为 CNN 引入了空间不变性。CNN 最大的缺陷就是忽略了不同特征之间的相对位置，从而无法从图像中识别出姿势、纹理和变化。CNN 中的池化操作使得模型具有空间不变性，因此模型就不具备等变性。以下图为例，CNN 会把第一幅和第二幅识别为人脸，而将第三幅方向翻转的图识别为不是人脸。池化操作造成了部分信息的丢失，因此需要更多的训练数据来补偿这些损失。图片来源：https://www.spiria.com/en/blog/artificial-intelligence/deep-learning-capsule-network-revolution/等变和不变对于一个函数$f$和一个变换$g$，如果有：$$ f \left(g \left(x\right)\right) = g \left(f \left(x\right)\right) $$则称$f$对变换$g$有等变性。例如，变换$g$为将图像向左平移若干像素，函数$f$表示检测一个人脸的位置。 ...继续阅读 (52)

只有道德上的相对民主，没有制度上的绝对公平，求同存异才能长治久安。无处不在的投票在古代雅典城邦有一项政治制度称之为陶片放逐制，是由雅典政治家克里斯提尼于公元前 510 年创立。雅典人民可以通过投票强制将某个人放逐，目的在于驱逐可能威胁雅典的民主制度的政治人物。投票者在选票——陶罐碎片较为平坦处，刻上他认为应该被放逐者的名字，投入本部落的投票箱。如果选票总数未达到 6000，此次投票即宣告无效；如果超过 6000，再按票上的名字将票分类，得票最多的人士即为当年放逐的人选。美国总统选举的方式称为选举人团，是一种间接选举，旨在选出美国总统和副总统。根据《美国宪法》及其修正案，美国各州公民先选出该州的选举人，再由选举人代表该州投票。不采用普选制度的原因，主要是由于美国是联邦制国家，并考虑到各州的特定地理及历史条件，制宪元老决定采取选举人团制度，保障各州权益，所以美国没有公民直选的总统。离我们最近的可能就是朋友聚会吃什么这个问题了，烧烤还是火锅，这是个问题。当然，只要你想要，还可以：蒸羊羔、蒸熊掌、蒸鹿尾儿、烧花鸭、烧雏鸡、烧子鹅 ……投票制度多数制多数制（Plurality Voting System）的原则是“胜者全取”，又被称为多数代表制（Majoritarian Representation），分成相对多数（Relative Plurality）和绝对多数 ...继续阅读 (53)