当我们在维护公司项目时，可能会遇到这样的场景：我正在开发一个新功能，突然需要修一个Bug。这个时候，有些同学是这样做的：12345678git add .git commit -m'WIP'git checkout -b 新的分支名...新的代码修改完成并push以后...git checkout 老分支...继续开发...更有一些经验的同学，可能会这样写：12345git stashgit checkout -b 新的分支...新的代码修改完成并push以后...git checkout 老分支git stash pop但如果在修这个Bug的时候，又来了一个更紧急的Bug需要修怎么办？到后面很容易就把前面的代码搞忘了。其实我们有更好的办法，那就是使用git worktree命令。这个命令甚至可以让你同时在10个分支上开发，并且1秒无负担切换到任意分支。假设现在我所在的项目文件夹为/Users/kingname/Projects/JobCleaner，在feature分支。现在来了一个Bug需要修复，于是，我只需要执行如下命令：1234git worktree add ../JobCleanerBugFix mastercd../JobCleanerBugFixgit pull origin master此时，Git会自动在/Users/kingname/Pro ...继续阅读 (78)

在之前的多篇文章中，我都反复告诫大家，不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候，你根本不知道这个字典里面有哪些Key，你必须有一层一层往上看，找到所有尝试往字典里面添加新Key的地方，你才能知道它总共有哪些Key。但是，在正常公司项目中，我们可能会需要维护一些历史遗留代码。代码规模大，函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。短时间内，我们没有办法直接把字典改成Dataclass。那么我们能做的，就是尽量避免后续的维护者往里面加入新的Key。我以前遇到过一个项目，它有一个字典，刚刚开始初始化的时候，只有5个Key。这个字典作为参数被传入了很多个函数，每个函数都会往它里面加很多个Key。到最后，这个字典里面已经有40多个Key了。对历史遗留代码的修改，必须要谨小慎微，稍不注意改错一行代码，可能整个系统就不能工作了。因此，我们的目标是尽量在不影响现有代码功能的情况下，以警告而不是禁止的形式告诉其他开发者，不要再加Key进去了。如果你强行要加入，代码也能运行，但出问题你要自己负责。我们知道，Python 的类型标注正好就是警告但不禁止。当你的类型有问题时，他会告诉你这里有错，但你强行要运行，代码也能正常工作。对于字典，我们可以使用TypedDict来限制它能有哪些Key。我们来看一段代码：123456789101112131415161718192 ...继续阅读 (85)

前两天的OpenAI发布会，相信很多同学看完以后都热血沸腾。我之前一直使用的是ChatGPT的免费版本，看完这个发布会以后，立刻就充值了ChatGPT Plus，来试一试这些高级功能。这两天GPTs功能上线了，短短三天时间，全球网友创建了几千个GPT机器人。我今天也来搞一个玩玩。使用GPTs创建机器人非常简单，不需要懂任何编程知识，甚至不需要懂Prompt工程，你只需要跟着他的向导，一步一步描述你的想法就可以了。当我们成为了ChatGPT Plus会员以后，在ChatGPT页面会看到一个Explore的栏目，如下图所示。进入这个栏目，点击Create a GPT就可以开始创建自己的机器人了。在左侧，是机器人创建向导，它会首先让你描述一下，你想实现什么功能。这个地方不需要懂Prompt工程，你只需要像平时说话一样写出自己的需求就可以了。写中文或者英文都可以。如下图所示。描述完成需求以后，他会给你建议一个机器人的名字，你要是觉得他取的名字不好，你也可以自己想一个，直接输入到对话框中。设置完成名字以后，他会自动给机器人生成头像。头像生成完成以后，会针对需求的一些细节问题跟你进一步确认，例如“当老板的需求明显不合理时，你应该直白拒绝还是委婉提出”。你只需要一步一步跟着他的问题进行回复就可以了。我这个机器人创建完成，全程耗时大概10分钟左右。创建完成以后，点击右上角的“Save”就可以保存。 ...继续阅读 (71)

写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。涉及到用户自己上传代码，我们第一个想到的问题，就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行，在不做任何安全过滤的情况下，就会导致服务器的Home文件夹被清空。12import osos.system('rm -rf ~/*')有人想的比较简单，直接判断用户的代码里面有没有os.system、exec、subprocess……这些危险关键词不就可以了吗？这种想法乍看起来没有问题，但细想下，就会发现非常天真。如果用户的代码像下面这样写，你又要如何应对？123456789importrequestscode = requests.get('https://www.kingname.info/dangerous_code').textwithopen('dangerous_code.py','w')asf:f.write(code)dangerous_module =__import__('dangerous_code')danderous_module.delete_all()其中https://www.kingname.info/dangerous_code对应的 ...继续阅读 (68)

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据以JSON的形式，通过标签放到页面源代码中。如下图所示：有时候请求URL拿到HTML的过程比较麻烦，有些同学习惯先把HTML复制到代码里面，先把解析的逻辑写好，然后再去开发请求HTML的代码。这个思路本身是没有什么问题的，于是他们就写了如下的代码：代码中的html_data = '''里面就是原样复制的网页HTML，没有做任何修改，因为太长了，我这里做了折叠。展开以后如下图所示：但当运行这段代码的时候，发现代码报错了，如下图所示：看这个报错信息，难道说是JSON本身有问题？于是，你到网页上，把这个JSON复制下来：使用JSONHero这种验证网站，进行验证，结果发现一切正常：这就见鬼了，为什么正则表达式提取的JSON就不对呢？你开启PyCharm的调试模式，看看正则表达式提取出来的JSON：你把提取出来的JSON复制粘贴到JSONHero网站上，竟然报错了：到底是哪里有问题呢？为什么直接从网页上复制JSON就没有问题，而使用正则表达式提取的JSON就有问题呢？其实原因非常简单，问题就出现在HTML中的JSON里面的反斜杠：我们知道，反斜杠是不能单独存在的，它有自己独特的意义。在代码里面，我使用了'''三个引号来抱住整个网页的HTML，这个时候，Python发现这里的\"这种写法，会自动把反斜杠去掉。于是，正则表达式提取出来的J ...继续阅读 (80)

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据放到HTML中的标签里面。这些数据长得有点像JSON，但又有差异，如下图所示：这种格式，我们叫做JavaScript Object。长得很像Python的字典，又很像是JSON。但是这个格式在Python里面，无论直接当字典解析，还是当JSON解析，都会报错，如下图所示：遇到这种情况，有同学准备使用正则表达式来解析，又有同学直接放弃。但实际上，这种数据结构，使用Yaml是可以直接解析成Python的字典。我们首先来安装一下Yaml：1pip install pyyaml然后直接像解析JSON一样解析：12345678910importyamldata ='''{name: '青南',salary: 999999999,address: '上海',pro: true}'''info = yaml.safe_load(data)运行效果如下图所示，已经直接解析成了Python的字典：Yaml格式是JSON格式的超集，因此，使用pyyaml库也能直接解析正常的JSON：甚至各种复杂的混合格式也能正常解析：关于YAML格式的更多介绍，请看我以前的文章：一日一技：不用游标卡尺，Yaml 格式5分钟入门一日一技：如何处理 ...继续阅读 (76)

现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。我之前写过一篇文章：Python如何突破JA3，但方法非常复杂，很多初学者表示上手有难度。那么今天我来一个更简单的方法，只需要修改两行代码。并且不仅能过JA3，还能过Akamai。先来看一段代码：123456789101112131415161718192021importrequestsheaders = {'accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','accept-language':'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','cache-control':'no-cache','dnt':'1','pragma':'no-cache' ...继续阅读 (87)

产品经理这两天在跟我抱怨他们公司的一个码农。听的我火冒三丈，差点把跟了我十多年的搪瓷水杯砸烂。正好在知识星球和微信群里面，有不少同学跟我咨询程序员的职业发展以及怎么应对三十岁危机。借此机会，我准备用几篇文章来讲讲自己的经验和个人的观点。有这样一批人，他们在大公司里工作了十几年，年龄一大把，还是一个大头兵。他们被号称经验丰富，但实际上是把一年的工作经验用了十多年，对主流的技术一无所知，他们已经无法适应现在的技术发展。这些人，每天看起来非常努力，加班加到很晚。产品经理提需求，他们看起来是在非常努力的完成，但完成的效果非常差。产品给他们提修改意见，他们看起来非常积极地去修改。但是改了A问题，出现B问题，改了B问题，出现C问题，修好C问题，A问题又出现了……产品经理每次一说产出效果不好，他们马上就会蹦出一大堆技术名词，又是什么业界难题，又是什么行业边界，又是什么技术翘翘板，把A改了，那么从理论上说B就一定有问题。ABC三个需求无法同时满足。言语之间时不时蹦出一些他们昨天刷公众号看到的技术名词。但其实真正的原因是这个需求达到了他们知识的边界，而他们又不愿意学习。他们花3个月做出来的东西，换一个应届生2天就能完成，而且效果好十倍。这些人，永远把自己当作一个螺丝钉。产品需要什么，自己就做什么。产品不说的，自己坚决不做。产品找过来，一句“你又没有说要这个功能”就把自己的责任推卸干净。当任务涉及到多 ...继续阅读 (65)

我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样：1result = info['data'][0]['entities']['annotations'][0]['end'] - info['data'][0]['entities']['annotations'][0]['start']光是看到这些方括号和单引号，就够让人头晕了。但如果改成下面这样，看起来就清爽多了：1result = info.data[0].entities.annotations[0].end - info.data[0].entities.annotations[0].start那么如何快速把一个嵌套很深的字典转换为对象呢？其实非常简单，使用Python自带的SimpleNamespace就可以了。使用SimpleNamespace可以快速创建一个空对象，并设置它的属性，用法如下：12345fromtypesimp ...继续阅读 (73)

今天我从网上下载了一批数据。这些数据是Excel格式，我需要把他们转移到MySQL中。这是一个非常简单的需求。正常情况下，我们只需要5行代码就能解决问题：1234567importpandasaspdfromsqlalchemyimportcreate_engineengine = create_engine('数据库链接URI', echo=False)df = pd.read_excel('Excel文件路径')df.to_sql(name='表名', con=engine)但我发现，这个下载的文件有两个工作簿(Sheet)，第一个Sheet叫做Overall，第二个Sheet叫做Result。我们需要的数据在Result这个工作簿中。那么，在使用Pandas读取时，需要这样写代码：1df = pd.read_excel('文件路径','Result')第二个问题，是这个Excel表格的列名，包含了一些不能作为MySQL字段名的值，如下图所示：其中的空格、括号、百分号、&符号都不适合放到MySQL的字段名中。那么怎么快速批量把这些字符全部替换掉呢？可以使用如下的写法：1df.columns = df.columns.str.strip().str.lower().str.repl ...继续阅读 (72)

相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。OpenAI官方文档中给出了一个示例，如下图所示：如果你只有一个API账号，那么你可能不觉得这样写有什么问题。但如果你想同时使用两个账号怎么办？有些同学可能知道，微软的Azure也提供GPT接口，在Python中也需要通过openai库来调用，它的调用示例为：当你全局设置了openai.api_type = 'azure'以后，你怎么同时使用OpenAI的GPT接口？这两个文档中给出的示例写法，都是全局写法，一但设定以后，在整个运行时中，所有调用GPT接口的地方，都会使用这里设置的参数：123importopenaiopenai.xx = yy有些同学不知道怎么在Python SDK中同时使用多个账号，于是他们只有使用GPT的Rest HTTP接口，自己封装一个函数来发起请求从而切换不同的账号。放弃了Python SDK提供的各种便利。但实际上，根本没有那么麻烦。在openai模块里面，天然就可以切换多个账号。虽然文档里面没有写，但是我们可以通过函数签名来找到这种方法。如下图所示，在PyCharm中，随便写一段调用openai模块的代码，然后Windows按下键盘的Ctrl，MacOS按下键盘的Command，并鼠标左键点击create函数：跳转到的函数里面，还有一个c ...继续阅读 (81)

在之前很长一段时间，从PDF文件中提取表格都是一个老大难的问题。无论你使用的是PyPDF2还是其他什么第三方库，提取出来的表格都会变成纯文本，难以二次利用。但现在好消息来了，专业处理PDF的第三方库PyMuPDF升级到了1.23.0，已经支持完美提取PDF中的表格了。还可以把表格转换为Pandas的DataFrame供你分析。PyMuPDF的使用非常简单，首先我们来安装：1pip install pymupdf pandas openpyxl其中安装pandas是为了能让它转成DataFrame，安装openpyxl是为了能把结果导出为Excel。我们来看一个测试的PDF文件，如下图所示：其中表格在第5页，那么我们编写如下代码，读取第五页的表格：1234567importfitzdoc = fitz.open('example.pdf')page = doc[4]# 下标从0开始,第五页对应4tables = page.find_tables()df = tables[0].to_pandas()df.to_excel('table.xlsx', index=False)读取第5页的表格，把它转换为DataFrame，然后输出为Excel文件。生成的Excel文件如下图所示，表格中的所有信息都完整读取，连换行符都能正常保留：当然你也可以不输出 ...继续阅读 (87)

我们知道，在使用Requests发起GET请求时，可以通过params参数来传递URL参数，让Requests在背后帮你把URL拼接完整。例如下面这段代码：12345678910111213# 实际需要请求的url参数为：# https://www.kingname.info/article?id=1&doc;=2&xx;=3importrequestsparams = {'id':'1','doc':'2','xx':'3'}requests.get('https://www.kingname.info/article', params=params)那么在Scrapy中，发起GET请求时，应该怎么写才能实现这种效果呢？我知道很多同学是通过字符串的format操作来拼接URL的：12345678url_template ='https://www.kingname.info/article?id={id}&doc;={doc}&xx;={xx}'params = {'id':'1',' ...继续阅读 (78)

有不少同学在写爬虫时，会使用Scrapy + scrapy_redis实现分布式爬虫。不过scrapy_redis最近几年更新已经越来越少，有一种廉颇老矣的感觉。Scrapy的很多更新，scrapy_redis已经跟不上了。大家在安装Scrapy时，如果没有指定具体的版本，那么就会默认安装最新版。这两天如果有同学安装了最新版的Scrapy和scrapy_redis，运行以后就会出现下面的报错：1TypeError: crawl() got an unexpected keyword argument'spider'如下图所示：遇到这种情况，解决方法非常简单，不要安装Scrapy最新版就可以了。在使用pip安装时，绑定Scrapy版本：1python3 -m pip install scrapy==2.9.0 ...继续阅读 (77)

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作，发布出来没多久也会被人破解。现在只能做到增大反编译的难度，让程序相对无法那么快被破解。我们知道，Python代码默认是公开的。当你要把一个Python项目给别人运行的时候，一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包，编译成.so文件、.dll文件或者是可执行文件，从而在一定程度上避免别人看到你的源代码。我在字节的时候，内部的一个系统就是使用Cython打包的，然后部署到客户的服务器上。Cython、Nuitka在打包大型项目时，需要写大量的配置文件甚至是额外的程序，有一定的使用成本。如果你对安全的要求并没有那么高，那么其实你只需要对Python代码进行混淆，就能防止自己的代码被人轻易看到了。我们可以使用Pyminifier来对Python代码进行混淆。它的使用方法非常简单，pip安装以后，执行几行命令就可以完成。我们来看几个例子。假设我有一段Python爬虫代码。原始代码是这样的：1234567891011121314151617181920212223242526272829303132333435363738394041424344importglobimportuvicornimportrandomfrompathlibimportPathfromfasta ...继续阅读 (63)

最近遇到一个需求，需要抓取Docusaurus上面的全部文档。如下图所示：抓文档的正文非常简单，使用GNE高级版，只要有URL直接就能抓取下来，如下图所示：但现在的问题是，我怎么获取到每一篇文档的URL？Docusaurus是一个文档框架，它的页面和目录都是JavaScript实时渲染的。当我们没有展开它的目录时，XPath只能提取到当前大标题的链接，如下图所示：当我们点开了某个大标题，让里面的小标题出现时，XPath能够提取的数据会随之变化，如下图所示：在这种情况下，我们经常使用的爬虫方案，都会遇到阻碍：直接使用Requests获取源代码——源代码里面没有每条目录的URL使用Selenium——直接执行XPath获取不完整。你需要控制Selenium依次点开每个小箭头，才能使用XPath获取到全部的URL。这时候，有同学就会开始使用Charles来抓网站的Ajax请求了。然后你会发现，目录每一项的URL是在一个js文件中的：Docusaurus还比较简单。你把这个js文件下载下来，用正则表达式从里面把所有URL所在的JSON字符串提取出来，就能拿到文档目录页的所有URL。不过有兴趣的同学可以再试一试这个网站：Uniswap Docs。它的URL是分散在很多JS文件中的，解析起来非常麻烦。遇到这种网站怎么快速获取目录页的所有URL呢？其实不需要使用任何高级工具就能解决。对于Docu ...继续阅读 (79)

写过爬虫的同学都知道，当我们想对App或者小程序进行抓包时，最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候，别人只用了15分钟就已经手动把需要的数据抄写完成了。我的需求如果你不是专业的爬虫开发者，那么大多数时候你的抓包需求都是很小的需求，手动操作也不是不能。这种时候，我们最需要的是一种简单快捷的，毫不费力的方法来解放双手。例如我最近在玩《塞尔达传说——王国之泪》，我有一个小需求，就是想找到防御力最大的帽子、衣服和裤子来混搭。这些数据，在一个叫做『Jump』的App上面全都有，如下图所示：防具总共也就几十个，肉眼一个一个看也没问题，就是费点时间而已。那么，如果我想高效一些，有没有什么简单办法通过抓包再加上Python写几行代码来筛选，快速找到我想要的数据呢？手机上的操作实际上，方法非常简单。我们只需要在手机上安装一个App，叫做『Stream』，如下图所示：这个软件在App Store国区就可以下载。第一次打开这个App的时候，我们设置一下根证书，点击下图中箭头指向的这个按钮：他会一步一步指导你安装根证书。整个过程不超过30秒，这里我就不再赘述了。安装完成根证书以后，我们点击『开始抓包』按钮。此时，手机上面所有的流量就会经过Stream并抓取下来。我们打开Jump App，找到防具列表，然后不 ...继续阅读 (73)