大模型作为人工智能领域的革命性技术，以其强大的泛化能力和跨任务适应性，正在重塑从自然语言处理到多模态应用的边界。本文深入探讨大模型的理论基础，包括Transformer架构、注意力机制和规模化训练的数学原理，并结合实际案例展示其在文本生成、图像理解等场景中的应用。通过详细的代码示例（如Python实现的简易Transformer模型和注意力机制），本文阐释了从理论到工程实践的跨越路径。文章还分析了大模型的挑战，如计算资源需求和伦理问题，并展望其未来发展方向。无论是AI研究者还是工程实践者，本文都提供了全面的 ...继续阅读 (4)

--extra-index-url https://download.pytorch.org/whl/cpu ultralytics requirements中添加如上设定 ...继续阅读 (4)

【摘要】微软在2025年5月的裁员计划对技术团队产生了显著影响，其对微软的.NET开发团队和Python开发团队的影响较大，尤其是对Python开发团队的冲击更为直接。一、.NET开发团队的影响UI项目核心成员遭裁撤微软在华外包公司微创软件的裁员波及.NET生态中的MAUI（多平台应用UI）项目团队。此次裁阅读全文 ...继续阅读 (5)

本周刊由 Python猫 出品，精心筛选国内外的 250+ 信息源，为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景：帮助所有读者精进 Python 技术，并增长职业和副业的收入。 分享了 12 篇文章，12 个开源项目，2 则音视频，3 则热门话题 以下是本期摘要： **[🦄文章&教程](https://xiaobot.net/p/python_weekly)** ① 自由线程 Python 的第一年回顾 ② 编译后 Python 代码性能与能耗的实证研究 ③ 揭开 t-string 的奥秘 ④ 我不喜欢 NumPy ⑤ Typerdrive：高效开发与 API 通信的 Typer 应用 ⑥ 升级 Django 5 后，数据库主键冲突之谜 ⑦ Python 性能监控的关键技术 ⑧ 像专业工程师一样构建 Python 项目 ⑨ 用 Python 分析 X 公司新的 logo ⑩ 将 Python 代码迁移到单体仓库的经验分享 ⑪ FastAPI 日志链路追踪：从原理到实现 ⑫ Cursor 如何快速索引代码库？ **[🐿️项目&资源](https://xiaobot.net/p/python_weekly)** ① deer-flow：字节开源的深度研究框架 ② codeflash：用 AI 自动优化代码 ...继续阅读 (6)

2025年，大语言模型（LLM）已成为驱动行业变革的核心力量，广泛应用于医疗、金融、教育和创意产业。本文深入探讨大模型的技术内核，包括Transformer架构、MoE优化、强化学习（RL）和多模态能力，揭示其如何通过高效训练和推理重塑行业格局。通过大量Python代码示例（涵盖模型构建、API调用和应用开发）、数学公式和中文注释，展示大模型在文本生成、代码生成、数据分析和多模态任务中的应用。文章还分析了大模型的开源趋势、伦理挑战及未来方向，为技术从业者和决策者提供全面参考。 ...继续阅读 (8)

大语言模型（LLM）从诞生到广泛应用，经历了从海量数据预训练到高效微调，再到多场景部署的复杂历程。本文以“成长日记”为喻，深入剖析大模型的训练流程（预训练、指令微调、强化学习）、优化技术（如MoE架构、量化和分布式训练）以及实际应用（代码生成、数学推理、对话系统）。通过大量Python代码示例、数学公式和中文注释，展示如何从零构建、训练和部署一个简化版大模型。文章还探讨了大模型在性能与成本之间的平衡，以及其在2025年的技术趋势与挑战。适合对AI模型开发和应用感兴趣的从业者和研究人员。 ...继续阅读 (8)

DeepSeek，一家成立于2023年的中国AI初创公司，以其高效、低成本的大语言模型（如DeepSeek V3和R1）席卷全球AI领域。本文深入探讨DeepSeek如何通过Mixture-of-Experts（MoE）架构、多头隐式注意力（MLA）和强化学习（RL）技术，显著降低训练成本并提升推理效率，同时在数学推理、代码生成和多模态任务中展现卓越性能。文章结合大量代码示例（Python、API调用等）和数学公式，详细解析DeepSeek的技术创新，包括其独特的数据处理、模型训练和部署策略。此外，还探讨了 ...继续阅读 (7)

Scenario: I often need to write Python functions like:take some parameters and format themcall an API with the formatted parametersparse the result and return chosen valuesThere's a huge problem in step #2.In today's Python world, troubles arise because async/await are "infectious", In practice this function is splitted - like in Python stdlib, where a vanillamethodand its async counterpartamethodoften come in pairs. Package authors scramble to provide sync transport and another async transport. I discovered this ugly fact while reading the source code ofredis-py,httpxandelasticsearch-py. Dup ...继续阅读 (9)

DeepSeek作为一款由中国团队研发的开源AI大模型，以其卓越的数学推理、代码生成和文本处理能力席卷全球。本文深入剖析DeepSeek的架构、技术特点及其在超智能AI引擎开发中的应用，涵盖模型训练、推理优化、数学公式处理及代码生成等核心模块。通过大量代码示例（包括Python、LaTeX及API调用）和详细注释，揭示DeepSeek如何在逻辑推理、学术写作和工程化应用中实现突破。文章不仅适合AI开发者，也为科研人员提供实用指南，助力掌握DeepSeek的强大功能。 ...继续阅读 (12)

[social4i size="small" align="align-left"][This article was first published onEconometrics and Free Software, and kindly contributed toR-bloggers]. (You can report issue about the content on this pagehere)Want to share your content on R-bloggers?click hereif you have a blog, orhereif you don't.If you want to watch a 2-Minute video introduction to{rixpress}, click the image below:InAugust last yearI tried to see how one could use Nix as a built automation tool for data science pipelines, and in March this year, I’ve started working on an R package that would make setting up such pipelines easy ...继续阅读 (9)

为了更好的执行 Python 脚本，杜老师习惯使用 Ubuntu 系统，不过在安装 Python 库时经常报错。收集了安装 Python 库的报错信息，并整理了解决办法，供需要的小伙伴们参考。问题提示这里以上一篇《使用 Python 脚本实现图片相似度匹配》文中代码为例，首次执行时的报错信息如下：12345penn@penn-VMware-Virtual-Platform:~/图片$ python3 1.pyTraceback (most recent call last):File "/home/penn/图片/1.py", line 4, inimport imagehashModuleNotFoundError: No module named 'imagehash'根据报错信息，提醒找不到imagehash模块，使用pip3命令安装需要的模块，结果又出现了错误信息。这个信息表明正在尝试在一个由操作系统管理的 Python 环境中直接安装 Python 相关的包，为了保证系统 Python 环境的稳定性和安全性而采取限制措施：123456789101112131415161718192021penn@penn-VMware-Virtual-Platform:~/图片$ pip3 install imagehasherror: externally-mana ...继续阅读 (12)

深度学习模型的训练是一个高消耗、高复杂度的过程，随着模型规模的增大，如何高效地监控和调优模型变得尤为重要。有效的监控与调优能够帮助我们理解模型训练的动态，及时发现问题，提升模型的性能。本文将全面介绍如何使用Python监控深度学习模型的训练过程，重点介绍如何利用`TensorBoard`工具对模型进行实时监控、调优与性能分析。通过详细的代码示例和解释，本文将帮助读者理解如何在训练过程中跟踪关键指标（如损失函数、精度、学习率等），识别潜在的过拟合或欠拟合问题，并根据反馈优化模型。此外，还将探讨如何利用`Ker ...继续阅读 (16)

在深度强化学习（DRL）领域，异步优势演员-评论家（A3C）算法作为一种高效的强化学习方法，广泛应用于各种决策问题和智能控制领域。A3C算法通过使用多个线程并行地探索环境，提高了训练效率并减少了计算资源的消耗。本文详细介绍了A3C算法的核心原理，并通过Python实现了一个简单的深度强化学习模型。文章中包含了A3C算法的数学基础、模型架构、代码实现以及训练过程的详细步骤。通过结合大量的代码和中文注释，本文旨在帮助读者深入理解A3C算法的实现和应用，进而为更复杂的强化学习问题提供指导和参考。 ...继续阅读 (19)

在分布式系统中，日志数据分散在多个节点，管理和分析变得复杂。本文详细介绍如何基于Python开发一个日志聚合与分析工具，结合`Logstash`和`Fluentd`等开源工具，实现日志的收集、处理和分析。文章从系统设计入手，探讨日志聚合的关键技术，包括数据采集、格式标准化和实时分析。通过大量带中文注释的Python代码，展示了如何集成`Logstash`和`Fluentd`，并利用数学模型（如时间序列预测）分析日志趋势。文中还介绍了日志存储、异常检测和可视化方案，适用于微服务和云原生环境。读者将学习如何构 ...继续阅读 (15)

在数字化时代，掌握技术技能已成为一种必备能力。本文将引导读者通过简单的步骤，快速搭建一个B站视频下载器。事情的起因是这样的：因为想下载一个 B 站视频，用了某个浏览器插件后，下载下来的视频很糊，而且声音和视频分离。用剪映把视频和声音拼在一起，文件大小又太大，索性自己用 Windsurf 攒一个，以后下载视频都不求人。Prompt：https://www.bilibili.com/video/BV1DJ411X7vg/?spm_id_from=333.1007.top_right_bar_window_default_collection.content.click&vd;_source=7cf1f568229c6f5b4a7c23f5a2e85cbc帮我下载链接中的视频非常言简意赅，AI 随后开始理解：看到这，我觉得苗头不对，它还没有试图理解链接内容就开始鼓捣，大概率会出错，赶紧拽回来：Prompt：先解析下该链接的内容再看怎么下载里面的视频AI 继续开始分析，随后调用了 ddg-search / fetch_content ：AI 给我列出了四种方案，怕麻烦，我选择了第四种。随后系统开始检查我是否安装了依赖项：Python 和 pip接下来它使用 pip 命令安装 you-get，并且自己添加了环境变量。接着，系统调用 you-get，开始下载视频，并列出了视频的清晰度和格式且自 ...继续阅读 (2)

Foreword顺便把SD ComfyUI搭建一下ComfyUIhttps://github.com/comfyanonymous/ComfyUI部署安装环境最好先安一下python 3.12的环境， ComfyUI的一些老库可能运行不了uv python install 3.12 uv venv source .venv/bin/activate uv python pin 3.12拉取ComfyUI源码git clone https://github.com/comfyanonymous/ComfyUI.git git checkout v0.3.33安装CUDAwget https://developer.download.nvidia.com/compute/cuda/12.8.0/local_installers/cuda_12.8.0_570.86.10_linux.run sudo sh cuda_12.8.0_570.86.10_linux.runsudo vi ~/.bashrc增加cuda到环境变量中export PATH="/usr/local/cuda-12.4/bin:$PATH" export LD_LIBRARY_PATH="/usr/local/cuda-12.4/lib64:$LD_LIBRARY_PATH"验证 CUDA安装成功nvcc -V安装 ...继续阅读 (18)

本周刊由 Python猫 出品，精心筛选国内外的 250+ 信息源，为你挑选最值得分享的文章、教程、开源项目、软件工具、播客和视频、热门话题等内容。愿景：帮助所有读者精进 Python 技术，并增长职业和副业的收入。分享了 12 篇文章，12 个开源项目以下是本期摘要：🦄文章&教程① Python 3.14 新特性盘点，更新了些什么？② Python π（3.14）③ 再见 PyCon APAC，开启 PAO 新篇章④ 让 AI 做语义单元测试⑤ 解密 Asyncio：从零开始手搓一个⑥ Python 依赖管理的新进展：PEP 751 锁文件标准⑦ 用温度参数调整随机权重⑧ 使用 MCP 和 Amazon Q 开发新闻智能体⑨ Python 任务队列的扩展指南⑩ pip 25.1 发布，支持依赖组管理⑪ Django 模板语言的小怪癖⑫ Python 代码质量工具大全🐿️项目&资源① ty：Rust 开发的 Python 类型检查工具② WeClone：用微信聊天记录创造数字分身③ AI-Media2Doc：将音/视频转化为小红书/公众号/知识笔记/思维导图④ blast：AI 浏览 Web 的高性能服务引擎⑤ contextgem：LLM 提取文档的结构化数据⑥ Fluent-M3U8：PySide6 开发的跨平台 m3u8/mpd 下载器⑦ Python-UIAutomatio ...继续阅读 (19)

随着相机像素越来越大，图片体积也变大了。在图片处理中，较大的文件体积会影响性能，因此杜老师会先生成缩略图，筛选完成后再通过 Python 脚本实现图片相似度匹配。这里是一个简单的示例，供需要的小伙伴们参考。脚本说明以下是个基于 Python 的脚本，使用PIL以及imagehash库来实现。遍历目录 A 中所有图片。在目录 B 中查找相似的图片「通过感知哈希算法判断」如找到匹配项，则将图片复制到目录 C，并以目录 A 图片的名字命名。脚本代码在运行脚本前，需安装所需的 Python 库：1pip install pillow imagehash将dir_a,dir_b和dir_c替换为实际路径；threshold控制图像相似度阈值，可以根据需要调整；支持多种常见格式图片文件；使用imagehash.phash进行感知哈希的比较，适合用于识别视觉上接近的图片：12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758import osimport shutilfrom PIL import Imageimport imagehash# 定义目录路径dir_a = 'path/to/dirA'dir_b = &# ...继续阅读 (42)

[social4i size="small" align="align-left"][This article was first published onR Works, and kindly contributed toR-bloggers]. (You can report issue about the content on this pagehere)Want to share your content on R-bloggers?click hereif you have a blog, orhereif you don't.A new, universal development environmentVS Codeis Microsoft’s open-source software development environment that can be customized for any language. It is arguably the general-purpose GUI programming tool of choice when working across multiple computer languages. As a data scientist, its R <-> Python integration deserves caref ...继续阅读 (11)

Python 3.14.0 稳定版将于 2025 年 10 月正式发布，目前已进入 beta 测试阶段。这意味着在往后的几个月里，3.14 的新功能已冻结，不再合入新功能（除了修复问题和完善文档）。3.14 正好是圈周率 π 的前几位，所以我们将要迎来的其实是一个“圆满”的版本😂本文想梳理这个版本中一些值得关注的新特性，让我们先睹为快吧～重点更新1. 类型提示惰性求值 (PEP 649)Python 3.14 对类型提示机制做了根本性改进。从这个版本开始，函数、类和模块上的类型提示不再立即计算，而是先存储起来，等真正需要时才进行求值。这个特性解决了大型项目中一个老大难问题：大量类型提示导致的启动缓慢。对企业级应用和大型项目来说，这简直就是一个福音！这个改进带来了几个实实在在的好处：项目启动速度大幅提升，尤其是大型代码仓引用未定义类型时不再需要加引号，代码更加简洁新增的annotationlib模块提供了灵活的类型提示检查方式下面的示例直观展示了这个特性带来的好处：# Python 3.14 - 不再需要引号，即使类型未定义>>>fromannotationlibimportget_annotations,Format>>>defnew_way(arg:Undefined):# 直接使用未定义类型...pass# Python 3.13 及之前版本需要这样写>>>defold_way ...继续阅读 (13)

背景起初是早上收到安全同事发出的一个问题整改单，说是提供在预发环境的公网接口存在风险，看到单子里面的内容是https://xxxxx/openapi.json 存在泄露数据风险然后我也访问看了下返回的内容确实存在一定的危险，之前开发的api接口都是在内网，也不存在泄露的问题，这次项目特殊需要走公网接口，web api 使用fastapi 开发。解决方法在 FastAPI 中，如果你想关闭 OpenAPI 文档接口（/openapi.json），你可以通过在创建 FastAPI 实例时将 openapi_url 设置为 None 来实现：from fastapi import FastAPI app = FastAPI(openapi_url=None)这将禁用 /openapi.json 接口，也会间接关闭 Swagger UI（默认依赖该接口）。如果你还想进一步关闭 Swagger UI 和 ReDoc 文档界面，也可以通过设置：app = FastAPI( openapi_url=None, docs_url=None, redoc_url=None )这样将完全禁用 FastAPI 的所有自动生成文档功能。 ...继续阅读 (10)

在现代软件开发中，应用程序的稳定性和可用性至关重要。本文深入探讨如何使用Python实现一个高效的应用程序健康检查与监控系统，涵盖运行状态检测、资源消耗监控以及服务可用性验证。文章从设计理念出发，详细介绍了系统架构、核心功能实现，并提供了大量带中文注释的Python代码示例。通过结合`psutil`、`requests`和`threading`等库，系统能够实时监控CPU、内存使用率，检测网络服务状态，并记录日志以供分析。此外，还探讨了如何通过数学模型（如指数平滑法）预测资源使用趋势，并以LaTeX公式展示 ...继续阅读 (14)

推荐系统是当今数据驱动世界中的一项核心技术，广泛应用于电商、社交平台、媒体等领域。协同过滤（Collaborative Filtering）是最常见的推荐算法之一，它基于用户历史行为数据来推荐用户可能感兴趣的物品。协同过滤可以分为基于用户的协同过滤和基于物品的协同过滤两种方法。本篇文章将详细介绍协同过滤的基本原理，结合Python中的`Surprise`库实现一个简单的推荐系统。文章包括了从数据预处理、模型构建到评价指标等全方位的内容，帮助读者理解推荐系统的基本操作和实现步骤。通过丰富的代码示例和详细的中文 ...继续阅读 (14)

随着信息爆炸时代的到来，海量文本数据的高效处理与理解成为亟待解决的问题。文本摘要作为自然语言处理（NLP）中的关键任务，旨在自动生成简明扼要的文本摘要，帮助用户快速获取关键信息。近年来，基于深度学习的预训练语言模型，尤其是BERT（Bidirectional Encoder Representations from Transformers），在文本理解和生成任务中取得了显著进展。本文深入探讨了如何利用Python和BERT模型进行文本摘要，包括数据预处理、模型构建与训练、摘要生成及结果评估等环节。首先，介 ...继续阅读 (18)

摄影：产品经理回锅肉当我们采购数据集时，有时候供应商会以JSON Lines的形式交付给我们。这种格式，本质上是文本格式，它每一行是一个JSON。例如，供应商给我们了一个文件小红书全量笔记.json文件，我们可以使用如下Python代码来一行一行读取：123456importjsonwithopen('小红书全量笔记.json')asf:forlineinf:info = json.loads(line)note = info['note']print('笔记内容为：', note)这个格式的好处在于，每一次只需要把少量内容读取到内存中。即便这个文件有1TB，我们也可以使用一个4GB内存的电脑来处理。今天出了一个乌龙事件，某数据供应商在给我数据的时候，说的是以JSON Lines格式给我。但我拿过来解压缩以后一看，100GB的文件，里面只有1行，如下图所示：也就是说，他用的是一个超大JSON直接导出给我，并没有使用JSON Lines格式。正常情况下，如果我要直接解析这个数据，需要我的电脑内存超过100GB。这个大JSON大概格式是这样的：1[{"question":"xxx111","answer":"aaa","crawled_time":"2025-05-01 12:13:14"},{" ...继续阅读 (4)

[social4i size="small" align="align-left"][This article was first published onGetting Genetics Done, and kindly contributed toR-bloggers]. (You can report issue about the content on this pagehere)Want to share your content on R-bloggers?click hereif you have a blog, orhereif you don't.Reposted from the original athttps://blog.stephenturner.us/p/uv-part-3-python-in-r-with-reticulate.Two demos using Python in R via reticulate+uv: (1) Hugging Face transformers for sentiment analysis, (2) pyBigWig to query a BigWig file and visualize with ggplot2.—This is part 3 of a series on uv. Other pos ...继续阅读 (15)

有小伙伴反馈说侧边栏随机图出现了重复，有些审美疲劳，要求杜老师再更新一些图片，正好聊天广场有小伙伴分享了一个美图的网址。本文分享如何使用 Python 脚本下载指定网页的图片文件，需要的小伙伴可以参考文中代码。代码需求使用 Python 的语言编写一个脚本，下载指定网址中包含的多种格式图片文件，如 JPG 和 PNG 格式图片。将图片保存至指定的目录中，可以指定绝对路径，或者相对路径。并用随机数重命名，防止同名图片触发覆盖事件。尽可能使用 Python 的标准库，尽量避免使用第三方库。变更解释导入必要的库：包括os/requests/re以及random；定义函数：download_images函数可用于下载图片；获取图片链接：使用正则表达式从网页内容中提取图片 URL；下载保存图片：使用requests库下载图片，并且使用random库生成随机数作为文件名；指定目录：确保保存目录存在，如果不存在则创建；获取内容：使用requests库获取网页内容。功能代码12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152import osimport requestsimport reimport randomdef download_i ...继续阅读 (16)

花下猫语：uv 项目自发布起就大受欢迎，目前 Github star 52.6 K，远超过它的同类竞品们。前不久，它的创始人在 X 上披露了一组惊人的数据：uv 曾占据了 PyPI 超过 20% 的流量，用户每天通过它发起约 4-5 亿次下载请求！我在去年翻译过 uv 首发时的新闻文章，根据博客后台不完整的统计，从 Google 搜索进入的访问量已经超过 3000，妥妥成为了我博客的搜索访问 TOP 1！这侧面也反映出 uv 的火爆程度！uv 刚过一周岁不久，如此年轻，成绩斐然啊。趁着这波热点（实际是假期有时间），我抽空把 uv 重要版本更新的文章也翻译出来了，enjoy reading～作者：@charliermarsh译者：豌豆花下猫@Python猫英文：uv: Unified Python packaging (https://astral.sh/blog/uv-unified-python-packaging)声明：本翻译是出于交流学习的目的，为便于阅读，部分内容略有改动。转载请保留作者信息。简述：uv是一个用 Rust 开发的超高性能 Python 包管理器。我们最初在 2 月份发布了 uv，作为常见pip工作流的即插即用替代方案。（译注：uv 在 2024.02 发布，本文写于 2024.08，翻译于 2025.05）今天，我们发布一系列新功能，这些功能将 uv 从一个 ...继续阅读 (14)

[social4i size="small" align="align-left"][This article was first published onT. Moudiki's Webpage - R, and kindly contributed toR-bloggers]. (You can report issue about the content on this pagehere)Want to share your content on R-bloggers?click hereif you have a blog, orhereif you don't.Toleave a commentfor the author, please follow the link and comment on their blog:T. Moudiki's Webpage - R.R-bloggers.comoffersdaily e-mail updatesaboutRnews and tutorials aboutlearning Rand many other topics.Click here if you're looking to post or find an R/data-science job.Want to share your content on R-bl ...继续阅读 (15)

随着企业IT基础设施的复杂性不断增加，手动运维已无法满足高效管理的需求。本文详细介绍如何基于Python构建一个自动化运维平台，利用`Flask`提供轻量级Web界面，结合`Celery`实现异步任务调度。文章从环境搭建开始，逐步讲解如何设计任务管理系统、实现前端交互、调度后台任务，并处理任务结果。通过大量代码示例和中文注释，读者将学习如何集成`Redis`作为消息队列、使用`Bootstrap`美化界面，以及实现常见的运维功能（如服务器状态检查、批量脚本执行）。本文适合对Python有一定基础且希望深入学 ...继续阅读 (16)