前言在 ControlNet 出现之前，AI 绘画更像开盲盒，在图像生成前，你永远都不知道它会是一张怎样的图。ControlNet 的出现，真正意义上让 AI 绘画上升到生产力级别。简单来说可以用 ControlNet 精准控制 AI 图像的生成效果。ControlNet 就是在大型扩散生成模型的基础上，再加上一个结构，使得扩散生成模型能够接受一个新的 “图像输入”。并且对模型的输出起到控制作用，使其与输入图像类似。在实际的 AI 绘图，用户要解决 2 个关键问题:图像的精准控制。例如确定背景、结构等图像的风格控制。例如确定动作、表情等无论你使用再准确的提示词再好的微调模型也是无法实现的。而通过 ControlNet 的应用模型，可以让这 2 个问题获得解决。所以不仅是常见的人物画像，在建筑、室内、产品图、平面设计、海报等等领域都可以提高生产力甚至做出设计师难以做出的效果。安装需要先安装扩展，点击「Extensions」Tab 下的「Install from URL」子 Tab，然后输入:https://github.com/Mikubill/sd-webui-controlnet，再点击「Install」，在提示安装完成后，点击「Applyand restart UI」按钮重启 UI。接着需要下载应用模型。我使用了最新的 ControlNet-v1-1-nightly 的模型:w ...继续阅读 (40)

前言现在终于可以介绍 Stable Diffusion 除了文生图 (txt2img) 之外最重要的功能：图生图 (img2img)。顾名思义，除了根据正向和反向提示词之外，还需要基于一张图片生成图。这个模式下功能很多我们挨个说img2img图生图模式下的默认功能，我们先看一下主界面:上面还是正面提示词和负面提示词，接着是一个上传图片的区域，写着「Drop Image Here - or - Click to Upload」。然后就是相关参数，大部分在文生图里面已经见过，只有Resize mode、Denoising strength是新增的，我们挨个介绍:Resize mode。当上传图片尺寸和要生成的图的尺寸不同时，需要选择调整大小方案。Sampling Method 用于去噪，平衡生成图的速度和质量。内置多种算法可供选择。目前看起来 DPM++ 2M Karras 用的比较多。Sampling Steps 是去噪过程的采样步骤数。越多越好，但需要更长的时间。一般在 20-28 之间。宽度和高度 (Width/Height)，输出图像的大小。按需调整即可。Batch Count 批次数量，我更愿意用下面的 Batch size 调整生产图的总数。Batch size，每一批次要生成的图像数量。可以在测试提示时多生成一些，因为每个生成的图像都会有所不同。生成的图像总数等于 Bat ...继续阅读 (29)

前言这节我们专门介绍 Stable Diffusion 里面各个微调模型。为什么会有这么多类型的模型？如果你点开 C 站的过滤器，你会发现模型的类型很多:除了类型为 Checkpoint 的主模型，以外还有非常多的模型，有些你可能听过有些也是第一次看到，当然，未来还会出现更多类型的这种微调模型。根据我的学习，先解释下为什么会有这么多类型的模型。这么多模型是模型发展历史的产物。在一开始，Stable Diffusion 是从无到有训练大模型，成本很高。因为训练通用大模型非常烧钱，之前我看其他文章，GPT-3 训练一次的成本约为 140 万美元，对于一些更大的 LLM（大型语言模型），训练成本介于 200 万美元至 1200 万美元之间。除了花钱，也非常耗时间，需要一个专门团队维护。虽然这种基础模型并没不好用，但是他们打下了很好地基础，之后 Stable Diffusion 所有的模型都是在这种模型基础上微调出来的。不过随着 Stable Diffusion 越来越流行，大模型生成的图越来越不满意不同用户的需求，所以就开始诞生各种调整技术的出现。一开始是对大模型的参数的训练，这就诞生了在 C 站看到的各个 Checkpoint 类型的模型，这种 Checkpoint 主模型需要的 GPU、时间、人员相对于大模型来说已经非常经济了，但是，Checkpoint 只满足一（多）个类用户的需求 ...继续阅读 (25)

前言这小节我们开始学习 Stable Diffusion 里面的 VAE，它的全称是变分自动编码器 (Variational Auto-Encoder)，是机器学习中的一种人工神经网络结构。当然我们都不必了解的它的原理，只需要理解它是在 SD 模型的基础做微调的，类似于我们熟悉的滤镜，让生成的图片调整饱和度。在页面上显示 VAE 设置stable-diffusion-webui 默认页面并没有显示 VAE 设置部分，所以需要先设置一下。首先点击「Settings」，然后点左侧菜单的「User interface」这个 Tab，拉到下面有个选项叫做Quicksettings list，在输入框里面添加,sd_vae,CLIP_stop_at_last_layers:最后点击上面的「Apply settings」，在点「Reload UI」就会重新刷新页面，即可看到头部的 VAE 区域:另外我也顺手打开了Clip skip，在 C 站的图片参数中都有Clip skip选项，默认是 1，需要改成常用的 2，可以简单的理解这个值越高，AI 就会省略越多的分类细项。下载 VAE 模型目前我们还没有任何的 VAE 模型，需要下载再使用。VAE 主要是从 Huggingface 下载，而 C 站 VAE 比较少，并没有一个专门的过滤分类，只能通过搜索框输入 vae 过滤:另外一个方式是看主模型下 ...继续阅读 (40)

前言这节主要介绍 stable-diffusion-webui 提供的脚本 (script) 功能。脚本和扩展一样也被独立出来，脚本主要是涉及生成图片的逻辑上，不涉及生成算法，类似于 Python 语言的装饰器的用途，可以在生成图片前按照规则调整提示词、参数值等内容，对于执行的每个步骤插入更多的操作。脚本和扩展的区别按我的理解，扩展是为了扩充 stable-diffusion-webui 的 UI 界面，所以会涉及前端的静态文件 (如 javascript、CSS 等），所以它会在 Web UI 页面上新增 Tab。而脚本如其名字，是实现某个功能的 Python 脚本，突出轻便简单，写代码时需要继承scripts.Script这个基类，按照对应的方法编写对应逻辑。脚本列表项目的 wiki 有专门的页面:https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Custom-Scripts这里面列出来当前全部的扩展，但是我还没有用到。目前只用到了官方项目中自带的一些:ls ~/workspace/stable-diffusion-webui/scripts poor_mans_outpainting.py prompts_from_file.py prompt_matrix.py custom_code.py ...继续阅读 (42)

前言这节主要介绍 stable-diffusion-webui 提供的扩展 (extension) 功能。stable-diffusion-webui 为了只保证核心功能并便于管理，将非核心功能解耦并转为扩展和脚本形式提供，这在很多知名项目都有相关实践。这节先介绍扩展。扩展列表项目的 wiki 有专门的页面:https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions这里面列出来当前全部的扩展，比如常用的:https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN。简体中文汉化https://github.com/journey-ad/sd-webui-bilingual-localization。双语汉化https://github.com/civitai/sd_civitai_extension。C 站的官方扩展，可以自动下载模型https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper。另外一个 C 站的扩展https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gr ...继续阅读 (35)

前言今天介绍 Textual Inversion，中文名字是文本反转，在之前的版本里面这个功能叫做 Embedding，也就是文本嵌入。通俗的讲其实就是把提示词打包成为一个提示词。如果你想要稳定的实现某个特定的角色、画风或者动作，通常会输入很多提示词去限定特征，这个是非常有门槛也很考验经验的。Textual Inversion 就是解决这个问题的。使用别人发布的 Textual Inversion在 C 站你可以搜到很多已经打包好的 Textual Inversion，打开它的右侧筛选窗口，点击Model types里面的Textual Inversion，这样页面显示的都是打包好的。例如你想要快速的创建一个《星期三》里面的女主 Addams 风格的图片，其实只需要下载https://civitai.com/models/4115/jenna-ortega-wednesday-addams-embedding这个 Embedding 包 (只有 30.92kb)，然后存放到本地的 embeddings 目录下:mkdir ~/workspace/stable-diffusion-webui/embeddings# 这个目录可能不存在，需要创建一下mv ~/Downloads/W3DDDN3SD4Y.pt ~/workspace/stable-diffusion-webui/embe ...继续阅读 (34)

前言今天这篇介绍怎么运行 SD，包含在线使用和本地运行 stable-diffusion-webui，并体验效果。Civitai 平台首先要介绍一个平台：Civitai是目前最知名的 Stable Diffusion AI 艺术模型的社区平台，用户把它称为 C 站，它里面有非常多用户上传的模型:另外可以通过图片过滤，且模型里面会列出相关用户上传的优质图片。图片页面有相关的提示词文本、使用的模型以及采样数据等参数，可以帮助还不熟悉 Stable Diffusion 的用户快速上手:PS:Browing mode选择Everything有惊喜，请做好心理建设哟~在线使用 Stable Diffusion如果你只是想要试玩一下，最简单的方法就是在线访问 Stable Diffusion 官方网站https://beta.dreamstudio.ai/，可以免费产生约一百张图，之后需付少许费用。其实还有一些其他在线服务，但都是阉割版 (例如不支持模型选择，不支持插件等等），无法体现 Stable Diffusion 的真实能力，就不推荐了，大家认准官方就好了。本地部署 Stable Diffusion这个我主推的方式，也是玩 Stable Diffusion 最有意思的地方。目前最主流的方法就是使用https://github.com/AUTOMATIC1111/stable-diffus ...继续阅读 (28)

前言AIGC 相关的内容最近非常热，所以我也来蹭个热度。这篇是这个话题的第一篇，先介绍一下 AIGC 和相关的创作工具。AIGCAIGC 全文叫做「AI Gererative Content」，这是继专业生产内容（PGC, Professional-generated Content）、用户生产内容（UGC, User-generated Content）之后的新型内容创作方式。AIGC 进入大众视野里程碑的一件事是去年 9 月初，下面这幅使用 MidJourney 生成的数字油画《空间歌剧院》:在美国科罗拉多州博览会 (Colorado State Fair) 的艺术比赛中夺得了第一名，之后大赛评委并未对该幅作品进行改判，并认为即使它是 AI 生成的作品，也依旧配得上这样的成绩，这一新闻被报道后引发了圈内外的广泛讨论。再之后，一个 B 站 UP 主使用 Midjourney，根据歌词含义生成的图片制作了万能青年旅店的作品《杀死那个石家庄人》火出了圈，接着很多 UP 主发布了类似的「但是每一句歌词都由 AI 作画」主题的作品，例如《Young And Beautiful》、《孤勇者》、《七里香》等。我也是从这个阶段开始关注到这个领域，当然那时候的理解还停留在 AI 绘画（txt2img，也就是输入文字，计算机会把它翻译成图像）这个小方向，其实现在再看，生成的内容的领域是非常广泛的。 ...继续阅读 (28)

前言这几天体验了 Cursor (https://www.cursor.so/)，我觉得它会是一个划时代的产品，非常推荐给你。本文完整的演示它目前提供的功能。官方介绍它只说了 2 句:Build Software. Fast. Write, edit, and chat about your code with GPT-4我们先看它的快捷键:有 4 个选项，但是它只有 2 个快捷键，后面 2 个针对选择一段代码后的操作，我挨个具体解释一下它的用法和主要应用场景。Generate(⌘+K)在输入框里面输入你需要让它帮助你写什么代码，回车后它就开始自动帮助你写代码了。Edit Selection(⌘+K)可以选择一段代码，然后针对这段代码提出一些修改要求，比如要求 Cursor 修改其中的逻辑、添加注释等:Cursor 会帮助你做一些改变，生成 diff 对比，然后提出 2 个选项问你接受 (Accept) 还是拒绝 (Reject)，选择接受就会应用改变否则就恢复原状。Chat(⌘+L)类似于集成了 chatGPT，你可以在 Cursor 里面使用 chatGPT 去问任何问题，相当于不需要专门去官网了或者搜索引擎就可以找到答案。上面的例子里，我想要给程序添加类型注解，直接用 Chat 就可以获取解决方案。这可以让开发者不需要在 Google、StackOverFlow 等网站来回切 ...继续阅读 (28)

前言这篇文章从前司离职后就想写了，一直没有决心下笔，毕竟曾经我整个「青春」都「押」在 Python 这个语言，这俨然已经是信仰了，很难和 Python 告别。之前我的个人博客也刻意的不写 Go 语言的内容，是希望别人想到这个博客就只有「Python」这一个标签。大概 17 年我学习 Python 感到了瓶颈，写完书后就开始学习 Go，但由于 Python 一直是我的主力编程语言，对 Go 的学习一直断断续续，从 20 年以后基本都在写 Go，Python 代码虽然也会写但是相对很少。这篇文章介绍了我为什么从 Python 叛逃到 Go，也从一个资深 Python 开发 + Go 熟手的角度分析一下为什么一些主要使用 Python 的公司没有升级 Python 3，或者改 Go。Python 的优势Python 作为 TIOBE 榜单中最受欢迎的编程语言，它的存在和流行肯定是有必然的原因。根据我这些年的经验，我理解的 Python 的优势如下:开发效率。我接触过的语言中没有一个语言的开发效率能和 Python 相提并论。专注于解决问题。Python 的语法和语言特性很丰富和友好，从错误提示、调试、工具链、第三方库、学习成本等角度看，这个语言可以让开发者专注于快速完成功能需求。有大量经过市场验证过的成熟技术方案。社区发展多年，任何一个方向都有积累，可以拿来直接用，相关的问题和解决方案都 ...继续阅读 (20)

其实 4.0 的版本今年五月份就发布了，一直没时间专门写一篇新功能介绍。借着 4.2 上线给大家详细的介绍一下本次更新重点。收藏很早以前我已经是弃用豆瓣的状态，一直在想一种方式记录能自己看过的影视作品、读书、游戏还有一些其他类型的评价等内容。就想到了这么个方案，在导航栏里面添加了「收藏」TAb，同时也可以通过 widget 在首页右侧分类型显示。效果如下:这些收藏内容 (顺序) 是从后台输入的，可以评分，写评语，如果有新的条目加入会触发lyanna_arq worker 抓取信息，点击卡片或者链接会跳转到豆瓣。使用 Python3.10 用法由于暂时用不到 Python 3.11 的新语法，所以暂时只需要升级到 Python3.10 或者 Python3.11 都可以正常运行。重构前端这些年 Vue 和构建工具变化很大，而 ElementUI 也进阶到了 Element Plus，所以 4.0 时候更新了对应前端的库，补补技术债。Feed widget我之前其实不怎么用 rss 阅读器，主要是用 chrome 的书签，如果有好的内容就保存起来，还有专门的目录存放了一些值得关注的博客，有时间会点进去看看。不过关注的很多人都已经不更新了，很遗憾。最近就花时间整理了这些内容，也顺便体验 rss 阅读器。现在选择的是Feedly，注册后还顺便看了下自己，结果发现订阅人数还可以:在这个感谢大 ...继续阅读 (26)

前言我已经使用 Python 超过 12 年，在国内可能是应用 Python 最广泛的前公司工作超过 6 年，接触无数 Python 项目，其中少的几千行，多的几百万行 Python 代码。除此之外我非常关注类型系统的发展，可以说我见证了类型系统从无到有，从有到优，发展到今天的整个过程，借着 Python 3.11 发布，就想到了这么个主题。我从反对到支持最有意思的是，刚有类型注解时我是坚决的反对者，而现在我是坚定的支持者。为什么呢？有很多静态语言开发者吐槽 Python 经常引用的一句话是:动态类型一时爽，代码重构火葬场一直到现在对这句话我还是嗤之以鼻，我认为【代码重构火葬场】的根源还是开发者的能力和编程规范的问题，静态语言只是相对于动态语言，提供了门槛不让你犯错。而使用 Python 语言的开发者的上限和下限区别就太大了，这也是 Python 在国内发展缓慢的原因之一：优秀的 Python 工程师实在太少了。从前公司离职前我印象里没有一个项目的代码是有类型注解的，尤其是那些上百万行的大型项目可以说完全没有类型注解，其中很多逻辑极为复杂，代码逻辑诡异，我甚至觉得以当时的 Python 类型系统并不能完美的支持前公司把代码都加上类型注解。在早些年，这些项目都是相对稳定迭代的，我认为如果团队的开发者对 Python 熟悉，有好的编程习惯和工作态度，在加上有一些工作流保证代码质量，没有 ...继续阅读 (29)

前言本文主要解释 Python 3.11 的重要新增特性，其实还有很多小的改变，就不挨个提了，有兴趣的还是应该看官网更新日志去了解。速度改进这个是最令人振奋的消息了，官网说:CPython 3.11 is on average 25% faster than CPython 3.10 when measured with the pyperformance benchmark suite, and compiled with GCC on Ubuntu Linux. Depending on your workload, the speedup could be up to 10-60% faster.也就说，速度提升在 10-60% 之间，平均比 Python 3.10 快 25%，这算是非常大的一个改进了。Python 突然有这样的提升其实还挺有故事的，我这里就流水账的简单八卦一下吧。事情的起源是 2020 年底，一个 (在我眼里) 不怎么知名的 Python 开发者 Mark Shannon 提出了一个叫做【A faster CPython】的计划 (延伸阅读链接 1），他计划在接下来 4 个 Python 新版本里面让 CPython 提升 5 倍的速度。在他的计划中列出了找到的一些 Python 实现中可以优化的点，也列出来在新的各个 Python 版本里面的计划。当时这 ...继续阅读 (23)

PEP 646 – Variadic Generics介绍这个 PEP 之前需要补一些知识，我们逐步深入先了解一下泛型 (Generics)。泛型是指在定义函数或类的时候，不预先指定具体的类型，而在使用的时候再指定类型的一种特性。对于 Python 这种动态语言，因为一切都是对象引用，可以在使用时直接判断类型:In:defsay_type(obj):...:matchobj:...:caseint():...:print('int')...:casestr():...:print('str')...:casefloat():...:print('float')...:case_:...:print('other type')...:In:say_type(1)intIn:say_type('ss')strIn:say_type(1.1)floatIn:say_type([])othertype但是在类型检查时，就会涉及到泛型问题，可以在运行前就发现问题。举个例子:U=int|strdefmax_1(a:U,b:U)->U:returnmax(a,b)max_1("foo",1)max_1(1,"foo")max_1("foo","bar")max_1(1,2)在这个例子中，参数可以是数字或者字符串。但是可以明显的发现max_1("foo", 1)和max_1(1, "foo")运行 ...继续阅读 (31)

'### 前言好久没登录豆瓣，前天上线看到【追剧小露珠】发的《绝命毒师十级学者统一考试》，没事答题发现还挺有趣的，然后，就想到了《Python 十级考试》这个主题，找一些和 Python 有关的、常见但是很可能会被答错的题目写成试卷，结果一准备发现还凑够了三份试题，所以在微信公众号连续写了三篇:2022 年 Python 十级试题 (全国卷 A)2022 年 Python 十级试题 (全国卷 B)2022 年 Python 十级试题 (全国卷 C)这些题目的灵感主要来自wtfpython和 《Mouse Vs Python》的作者 Mike Driscoll 的Tweet，当然我也加了一些自己的私货。其中第三篇的题目会更难一点，如果你想要试试，可以先通过公众号文章链接进去写写答案。完了再来看我之后写的这篇试题答案和解析。另外如果我标注了【送分题】的题目你没答对，我建议你找个时间再专注的学一次 Python。题目 1先看全国卷 A 的 10 道题目。这个题目来自 Raymond Hettinger 的Tweet。答案是 B. 因为- 1(中间有空格) 其实就是-1，也就是说可以这么表示score -= (-1)。题目 2送分题，答案是 A，也就是抛 SyntaxError 错误，因为海象操作符需要使用括号不能直接用，因为需要和普通的赋值区分开来。题目 3题目来源:https://gi ...继续阅读 (27)

前言这是一篇补作业的文章，本文以一个资深 Python 开发的角度分析这个版本添加了那些有用的新功能和特性。新的上下文管理器语法其实就是可以使用 with 把多个上下文管理器 (Context Manager) 用括号括起来。在之前的版本，有时候我们想要在一个 with 里面放多个上下文，放在一行很长，一个常见的方式是使用反斜杠，可以把 open 对齐:In:withopen('input',mode='rb')asinput,\...:open('output',mode='rb')asoutput:...:......:但是这样写，会让 pep8、black 等代码检查工具报错：它们都认为不应该使用反斜杠显式续行。现在可以给这些上下文管理器加个括号就完美了 (代码洁癖者的福音):In:with(...:open('input',mode='rb')asinput,...:open('output',mode='rb')asoutput...:):...:......:更好的错误提示在官方中列举了一些之前版本中不够明显友好的错误信息例子 (延伸阅读链接 1)。，这个版本集中的处理了它们。本文就列出 2 个我感受最明显的，其他的不挨个展示了。对于初学者，第一次写 hello world 时就可能这么写：In:print("Hello, World!)File"",line1prin ...继续阅读 (31)

本文详细介绍在 Python 3.10 新加入的四个和类型系统相关的新特性。PEP 604: New Type Union Operator在之前的版本想要声明类型包含多种时，这么写:fromtypingimportUniondefsquare(number:Union[int,float])->Union[int,float]:returnnumber**2这么写其实比较麻烦，每次都要from typing import Union再使用Union[]，现在直接可以使用|来表示:defsquare(number:int|float)->int|float:returnnumber**2可以说很方便了。事实上这个新的用法也可以用在isinstance和issubclass里面。之前确认是不是某些类型中的一种这么写:In:isinstance('s',(int,str))Out:TrueIn:isinstance(1,(int,str))Out:True只要是 int 或者 str 都返回 True，现在这么写就可以:In:isinstance('s',int|str)Out:TrueIn:isinstance(1,int|str)Out:TruePEP 613: TypeAlias有时候我们想要自定义一个类型，那么就创建一个别名 (Alias)，之前的版本通常这么写:Board=L ...继续阅读 (27)

前言很多 Python 核心开发者都认为 Python 不需要添加switch-case这种语法，因为可以通过if/elif/else实现一样的效果。事实上 Guido 本人也对这种语法不感冒，所以直到 Python 3.10 一个新的match-case才被加了进来。这个新的语法中文叫做结构模式匹配 (Structural Pattern Matching)，由于新特性内容很多所以有三个 PEP 介绍它:PEP 634 – Structural Pattern Matching: Specification: 介绍 match 语法和支持的模式PEP 635 – Structural Pattern Matching: Motivation and Rationale: 解释语法这么设计的理由PEP 636 – Structural Pattern Matching: Tutorial: 一个教程。介绍概念、语法和语义switch-case 和 match-case 的区别拿一个小例子对比下。下面是通过 HTTP CODE 返回对应类型错误信息函数，在之前的例子中通过 if 判断要这么写:defhttp_error(status):ifstatus==400:return'Bad request'elifstatus==401:return'Unauthorized'elifst ...继续阅读 (23)

前言最近补一下各个 Python 新版本带来的那些对开发者有帮助的新特性。今天先说 Python3.9，这个版本很中庸，有价值的修改不多，就只放在一篇文章里列出啦。字典增加合并运算符在PEP 584 – Add Union Operators To dict里面提出给 dict 增加合并 (|) 与更新 (|=) 这 2 个运算符过去合并 (Merge) 2 个字典有两种常见方法:In:a={'a':1}In:b={'b':1}In:{**a,**b}# 方案一，使用**，Python3.5及以上版本Out:{'a':1,'b':1}In:c=a.copy()# 方案2，使用updateIn:c.update(b)# 如果直接使用a.update，会直接修改a的结果当然除此之外还有一些比较 trick 的，尤其是 Python 2 阶段的dict(list(x.items()) + list(y.items()))这种就不提了。Python 3.9 开始可以使用按位或运算符实现:In:a={'a':1}In:b={'b':1}In:a|bOut:{'a':1,'b':1}如果希望合并后直接替换，可以使用更新 (|=) 运算符:In:aOut:{'a':1}In:a|=b# 相当于a.update(b)In:aOut:{'a':1,'b':1}# 在a上直接替换了(in place) ...继续阅读 (29)

关于本博客项目已经开源:https://github.com/dongweiming/lyanna文档请看:https://dongweiming.github.io/lyanna/#/概述这是一个使用 asyncio 生态开发的个人技术博客。用到的主要的库如下：Web 框架: Sanic模板: Mako/Sanic-Mako数据库: TortoiseORM/aiomysql缓存: aiomcacheKV 数据库: aioredis任务队列: arq其他 aio 扩展: Sanic-Auth、Sanic-wtf、sanic-session、aiotask-context、asyncblink、sanic-sentry、sanic-jwt、aiosmtplib博客后台部分：前端部分：ElementUI + Vue-CLI3 + Vue-Router + Vuex + Axios后端部分：Sanic + Sainc-jwt (是的，用了 JSON Web Token)功能可以通过后台对文章、标签等做增删改查后台支持 Markdown 编辑 / 预览支持代码语法高亮支持 TOC支持文章搜索支持 Github 登录评论支持 Github 登录对文章和平台表态可以分享文章到微信 / 微博 / 豆瓣 / 印象笔记 / Linkedin支持 Hexo 等其他 Markdown 源文件的导入支持文 ...继续阅读 (6)

相信很多使用Python的同学熟悉编解码，比如：1234In :printu'\U0001F3F4'.encode('utf-8')🏴In :'哈哈'.decode('utf8')Out:u'\u54c8\u54c8'这样可以在字符串和unicode之前转换，不过细心的同学可能发现了，我使用了「utf-8」和「utf8」，这2个词长得很像。事实上都能正常使用是由于他们都是「utf_8」的别名，这些别名的对应关系可以用如下方法找到：12345678910111213141516In :importencodingsIn : encodings.aliases.aliases['utf8']Out:'utf_8'In :'哈哈'.decode('u8')Out:u'\u54c8\u54c8'In :'哈哈'.decode('utf')Out:u'\u54c8\u54c8'In :'哈哈'.decode('utf8_ucs2')Out:u'\u54c8\u54c8'In :'哈哈'.decode('utf8_ucs4')Out:u'\u54c8\u54c8'encodings是标准库中自带的编码库，其中包含了上百个标准的编码转换方案。但是通常并不需要使用encodings，而是使用codecs。codecs包含了编码解码器的注册和其他基本的类，开发者还可以通过codecs提供的接口自定义 ...继续阅读 (22)

我在多个地方看到有同学特别爱提「Python内存溢出」，其实大部分是自己的程序逻辑写的有问题甚至是一种错觉，也有一些新人会提「如何知道我的程序使用了多少内存」这样的问题。那么如何去了解你的进程使用了多少内存呢？最常用的就是resource模块，也是我最推荐的方案（我的书里面竟然没有写进去这部分内容，失败）。如果你感觉这个模块好陌生也是正常的，这个资源使用信息的模块平时确实用到的机会不多：1234567891011importresourcemem_init = resource.getrusage(resource.RUSAGE_SELF).ru_maxrssl = []foriinrange(500000):l.append(object())mem_final = resource.getrusage(resource.RUSAGE_SELF).ru_maxrssdellprint('Class: {}:\n'.format(getattr(cls,'__name__')))print('Initial RAM usage: {:14,}'.format(mem_init))print(' Final RAM usage: {:14,}'.format(mem_final))内存使用就是mem_final - mem ...继续阅读 (28)

Python老鸟都应该看过那篇非常有吸引力的Saving 9 GB of RAM with Python’sslots文章，作者使用了__slots__让内存占用从25.5GB降到了16.2GB。在当时来说，这相当于用一个非常简单的方式就降低了30%的内存使用，着实惊人。作者并没有提到他的业务特点和代码，那我们就基于《fluent python》中的例子来验证下是不是有这么厉害：1234567891011121314151617181920212223242526272829303132333435from__future__importprint_functionimportresourceclassA(object):def__init__(self):self.a ='string'self.b =10self.c =TrueclassB(object):__slots__ = ['a','b','c']def__init__(self):self.a ='string'self.b =10self.c =Truedeftest(cls):mem_init = resource.getrusage(resource.RUSAGE_SELF).ru_maxrssl = []foriinrange(500000):l.append(cls())mem_final = resour ...继续阅读 (26)

Kombu里面使用Transport类来表示一个具体的消息代理（Broker），目前包含Redis、MongoDB、Zookeeper、Django、SQLAlchemy等类型。这种对不同类型实现相同接口的需求要求我们要设计成可扩展的方式。我之前写代码，习惯这么设计：写一个基类Transport，定义还未实现的那些接口。继承这个基类，实现对应的接口。调用的时候通过一个带有别名和对应类的字典找到这个类。如果新加一种类型，就是实现这个类型的Transport，然后在对应关系的映射里面加在它。Kombu实现的更深入一些。今天我们分析下它是怎么实现的。首先Kombu也有一个基类Transport：1234567891011121314fromkombu.transportimportbaseclassChannel(AbstractChannel, base.StdChannel):# 队列和消息处理的逻辑...classTransport(base.Transport):Channel = Channelimplements = base.Transport.implements.extend(exchange_type=frozenset(['direct','topic']),...)...这个base.Transport相当于预先定义了一些接口，相当于更加「基类」，这就不看了，权当 ...继续阅读 (26)

最近遇到了一个继承Python内建结构的坑儿和大家分享下。从Python 2.2开始，Python支持继承Python内建结构，如list、dict。最近在实现一个功能，为了简化内容，我直接继承了dict，但是结果和预期不一样。举个例子：1234567891011In :classNewDict(dict):...:def__getitem__(self, key):...:return42...:In : d = NewDict(a=1)In : dOut: {'a':42}In : d2 = {}In : d2.update(d)In : d2Out: {'a':1}也就是说NewDict的__getitem__方法被dict.update给忽略了。这让我很惊讶，我之前用UserDict的时候是正常的（这次为啥直接用dict也不知道抽了什么筋）：1234567891011121314151617In :fromUserDictimportUserDictIn :classNewDict(UserDict):...:def__getitem__(self, key):...:return42...:In : d = NewDict(a=1)In : d['b'] =2In : dOut: {'a':1,'b': ...继续阅读 (25)

描述符是一种在多个属性上重复利用同一个存取逻辑的方式，他能”劫持”那些本对于self.__dict__的操作。描述符通常是一种包含__get__、__set__、__delete__三种方法中至少一种的类，给人的感觉是「把一个类的操作托付与另外一个类」。静态方法、类方法、property都是构建描述符的类。我们先看一个简单的描述符的例子（基于我之前的分享的Python高级编程改编，这个PPT建议大家去看看）：1234567891011classMyDescriptor(object):_value =''def__get__(self, instance, klass):returnself._valuedef__set__(self, instance, value):self._value = value.swapcase()classSwap(object):swap = MyDescriptor()注意MyDescriptor要用新式类。调用一下：123456789In [1]:fromdescriptor_exampleimportSwapIn [2]: instance = Swap()In [3]: instance.swap# 没有报AttributeError错误，因为对swap的属性访问被描述符类重载了Out[3]:''In [4]: instance.swap ...继续阅读 (22)

刚开始工作的时候，对域名，博客这些当时「很」有技术含量的事情非常好奇，正好老大就有自己的Wordpress博客, 就这样从申请域名、租空间到搭环境一步步的走到现在，转眼已经6年多了。很多当年在写博客的人大多不再更新了，有些索性连域名都不再续费了。一开始写技术博客就是当笔记来用的，记录一些工作中和自己玩的东西，有过程、心得、还有踩过的坑儿。本来是自己写给自己看的，渐渐的和我处理相同处境、拥有相同问题的人也觉得有用，就这样每天打开这个网站的人越来越多，订阅的人也越来越多。写的内容也从一开始非常简单的环境搭建，一些类库工具命令的使用，到现在有了自己的思考和总结，这种升华是没有好好写过博客的人是不会理解的。写博客并没有资格不资格的，写什么怎么写自己做主。当你的博客越来越被人熟悉和喜爱，就会有一些责任感在里面，这个和大V一样，不加验证说的话可能会误导很多人，既影响了别人也影响了自己的公信力。随着时代的发展，博客已经不再是别人了解你的唯一入口了，从早期的微博到现在的微信公众号和知乎，有非常多的渠道让大家知道你，而且知识是共享的，哪怕你并没有营销自己的打算，只要你写的东西好别人也会把它分享出去。我对博客的悲观情绪越来越重，所以从去年开始，我开始走出去，在知乎创建专栏、回答问题，去开发者头条分享我的文章，去掘金随手分享了一个月还拐了2.6k的粉丝儿… 当然这一切的初衷其实是为了宣传我的书。这个过程 ...继续阅读 (25)

最早应该是2015年4月份在「Python-ideas」邮件组知道的《Fluent Python》，当时作者发帖推荐这本书，其中提到了核心开发Victor Stinner做了asyncio部分的评审。那个时候我对asyncio还不太习惯，asyncio的文档也比较匮乏，看到这个消息感觉又多了一个好的帮助我了解Python的途径。去年双十一的时候从淘宝淘了一本《流畅的Python》，它是台译版的《Fluent Python》。买它的原因是为因为之前看原版过程中有多处理解不清晰，希望通过看台版的书来对比帮助理解。另外，在豆瓣上《Fluent Python》的评分高达9.6分！那么为什么大家觉得这本书好呢？我今天试着写一篇书评，分如下4部分来介绍这本书：作者靠谱看一本书是不是靠谱，首先就是看作者。我认为一本好的技术书籍，首先作者就要是还在第一线，是不是在这个圈子里面。Luciano Ramalho是一个非常知名的Pycon演讲者，同时还是PSF(Python Software Foundation)的研究员。由于他是Django和Zope系的，他有什么贡献我所知甚少。不过我经常能在邮件组看到他参与PEP草案制定和讨论。另外本书基本每个章节都有对应领域致命的Python核心开发来评审，质量非常有保证。关键特性剖析到位目前大量的Python相关的书都倾向基础只是和入门，内容重复，对于中高级开 ...继续阅读 (31)

我曾经在一些公众场合说过心中的优秀Python开发者。Flask和Requests的作者就不说了，21世纪最缺的就是idea，他们不仅有而且还都用非常优美的方式做出来了。另外我还提到了Celery作者Ask Solem，并不是因为Celery很有名它的主要作者就优秀了，我对ask的欣赏，完全是看Celery及其相关依赖的源代码的时候产生的。有多年后台开发的工程师想必清楚，Celery本身涉及到的技术点其实在业界应用是很广泛的。Celery能这么流行，我们先排除没有进行技术深入下的盲从，和它诞生的非常早以外，我认为这和项目的内部设计的非常好也是有关的。接下来的几篇文章我将分析Celery使用的Kombu库中的一些设计实现让大家对这个优秀项目更了解，并从中学习可扩展开发的实践。Kombu是什么？当一个项目变得越来越复杂，就要考虑只保留核心，并把其他部分分拆到不同的项目中以便减少未来的维护和开发的成本。Flask、IPython都是这样做的。Kombu是一个把消息传递封装成统一接口的库。 Celery一开始先支持的RabbitMQ，也就是使用AMQ协议。由于要支持越来越多的消息代理，但是这些消息代理是不支持AMQ协议的，需要一个东西把所有的消息代理的处理方式统一起来，甚至可以理解为把它们「伪装成支持AMQ协议」。Kombu的最初的实现叫做carrot, 后来经过重构才成了Kombu。re ...继续阅读 (25)