Three weeks passed since theprevious article. Here are the answers to the previous three questions:Q1: The original paper of CLIP uses L2 normalization on multimodal embeddings. But in my test, the model will not converge with it.Answer 1: The reason the model didn’t converge is that the learning rate is too large. After reducing the learning rate a bit and adding the L2 normalization, the model could get above 80% validation accuracy. The L2 normalization essentially projects embeddings to a high-dimensional sphere with a one-unit radius, which by intuitive could regularize the model.Q2 ...继续阅读 (70)

...继续阅读 (35)

在创建和解决许多涉及自定义集合的练习时，我意识到从list，dict和set继承通常会带来一些微妙的困扰。我写这篇文章是为了解释为什么我通常不建议在Python中从这些内置类继承。我的示例将重点放在dict和list上，因为这些很可能更常见地被子类化。创建一个自定义词典我们想要创建一个双向字典。当添加一个键值对时，键映射到值，同时值也映射到键。这个字典中的元素总是偶数个。如果d[k] == v是True，那么d[v] == k也总是True。我们可以尝试通过自定义删除和设置键值对来实现这一点。class TwoWayDict(dict): def __delitem__(self, key): value = super().pop(key) super().pop(value, None) def __setitem__(self, key, value): if key in self: del self[self[key]] if value in self: del self[value] super().__setitem__(key, value) super().__setitem__(value, key) ...继续阅读 (61)

在深度学习中，很多 LLM 的训练都使用 Transformer 架构，而在 Transformer 架构中计算的过程涉及到的最关键的就是注意力，它是整个过程中重要的基础。注意力抽象除了 3 个重要的概念，在计算过程中对应着 3 个矩阵，如下所示：Query：在自主提示下，自主提示的内容，对应着矩阵 QKeys：在非自主提示下，进入视觉系统的线索，对应着矩阵 KValues：使用 Query 从 Keys 中匹配得到的线索，基于这些线索得到的进入视觉系统中焦点内容，对应着矩阵 V我们要训练的模型，输入的句子有 n 个 token，而通过使用选择的某个 Embedding 模型获取到每个 token 的 Word Embedding 是一个 d 维向量。本文我们详细说明自注意力（Self-Attention）的计算过程，在说明，我们先定义一些标识符号，以方便后面使用：x：输入训练数据的 Embedding 是一个 n x d 矩阵Q：查询矩阵，矩阵形状 n x dqK：键矩阵，矩阵形状 n x dk，其中 dk=dqV：值矩阵，矩阵形状 n x dv计算自注意力（Self-Attention）的基本流程，如下图所示：计算过程及其示例演示，描述如下：1. 计算生成 Embedding 矩阵x 是基于输入数据得到的 n x d 的 Embedding 矩阵：通过使用某个 Embeddin ...继续阅读 (118)

一、项目介绍在深度学习领域中，目标检测一直是一个备受关注的研究方向。为了更深入地理解深度学习目标检测的原理和实现，我写了一个简单的单目标检测项目。在这个项目中，我用最简单的方式实现了数据迭代器、网络模型、预测脚本和训练模型脚本，以及一些辅助脚本，通过这个过程提高对目标检测的认识和实践能力。项目地址：https://github.com/78778443/QingNet1.1 项目概要要实现目标检测系统，离不开数据加载器，网络模型，训练脚本，预测脚本这四大项；数据加载器的作用是将数据集加载出来，并将数据集的标注数据给格式化，便于后续训练；网络模型的主要作用是提取网络特征，比如你给一张图，他把图里面的特征信息提取并返回给你；训练脚本的主要作用是桥接数据集和网络模型，通常是给模型一个图片，模型返回特征结果后，对结果进行偏差(损失)计算；预测脚本的主要作用是训练好一个模型(权重)后，将模型(权重)文件用于实际生产；1.2 项目结构这个项目的结构相对简单，主要涉及以下几个文件：data.py: 数据迭代器，负责加载和处理训练和测试数据。net.py: 网络模型的定义，包括卷积层、激活函数以及输出标签、位置、排序和置信度的信息。train.py: 训练模型的脚本，包括数据加载、模型训练、损失函数计算、优化器更新等过程。predict.py: 预测脚本，用训练好的模型进行单张图像的预测。tool ...继续阅读 (97)

不知不觉即将迎来2024龙年春节了。龙的形象在中国传统文化中有着广泛的应用，比如在传统文化中，龙代表着权力、威严、吉祥和神灵的象征，同时也是生命力和繁荣的象征。今天的文章将用原生JavaScript和Canvas API实现一个烟花的效果，效果如下所示，在放烟花的过程中将「龙年大吉」的文字逐渐显示出来。接下来开始具体的代码实现过程，针对重点实现代码进行解析，详情完整代码请看源码实现。烟花效果通常由多个元素组成，包括烟花、粒子、画布等。以下是对代码中关键部分的详细解析：Fireworks 类Fireworks类定义了烟花的行为，包括创建、绘制和更新烟花。其中的canvasLoop方法用于循环绘制画布，drawFireworks方法用于绘制烟花的效果，updateFireworks方法用于更新烟花的位置和状态。// Fireworks 类 var Fireworks = function () { // ... 省略部分代码 ... self.canvasLoop = function () { // 循环绘制画布 window.requestAnimationFrame(self.canvasLoop, self.canvas); self.ctx.globalCompositeOperation = 'destination-out'; se ...继续阅读 (86)

在 PyTorch 中使用 TensorBoard，可以实现样本数据、模型、训练过程的可视化，能够非常直观地查看在整个训练过程中产生的效果，方便分析和解决一些问题。本文完全根据 PyTorch 官方的 TensorBoard Tutorial 文档进行实践操作，体验 TensorBoard 的基本可视化功能。首先，需要下载 tensorboard 模块：pip3 install tensorboard这样就可以使用 TensorBoard 了，需要通过如下命令，启动 TensorBoard 服务：tensorboard --logdir=runs上面 runs 目录是我们写数据的目录，可以根据自己的需要设置目录名称。在使用 PyTorch 过程中需要可视化的话，就把对应的数据写入到这个目录下面的指定文件中，TensorBoard 会直接从该目录下读取并进行可视化。启动成功后，可以打开浏览器链接http://localhost:6006/，查看 TensorBoard UI 界面。我们向 runs 目录中写入数据，直接使用 torch.utils.tensorboard.SummaryWriter 就可以实现，所以先要创建可用的 SummaryWriter 对象，代码如下：from torch.utils.tensorboard import SummaryWriter write ...继续阅读 (79)

LeNet-5 是由 Yann LeCun提 出的卷积神经网络，在论文《Gradient-Based Learning Applied To Document Recognition》中可以看到 LeNet-5 网络模型的结构，如下图所示：通过上图可以看到，从左至右网络各个层顺序连接：输入层 ：图片大小 32×32卷积层1 ：卷积核数 6，大小 5×5，步长 1池化层 ：过滤器大小2×2，步长为2卷积层2 ：卷积核数 16，大小 5×5， 步长 1池化层2 ：过滤器大小 2×2，步长 2全连接层1：节点数 120全连接层2：节点数 84全连接层3：节点数 10我们只需要准备好数据集，并基于上图连接结构，使用 PyTorch 搭建 CNN 网络的结构并进行训练和使用。我们只需要准备好数据集，并基于上图，使用 PyTorch 搭建好 CNN 网络的结构就可以进行训练。实现 LeNet-5 模型基本环境配置如下：Python：3.11.3PyTorch：2.0.1（torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2）1 准备数据集使用经典的手写数字数据集 MNIST，可以直接通过 PyTorch 的 datasets.MNIST 下载并准备数据：import torch fr ...继续阅读 (74)

RASP是Runtime Application Self-Protection（运行时应用自我保护）的缩写，是一种应用程序安全技术。RASP 技术能够在应用程序运行时检测并阻止应用级别的攻击。随着云计算和大数据的发展，应用程序安全越来越受到重视。RASP 技术作为一种新型的安全防护手段，正在逐渐被业界接受并广泛应用。 ...继续阅读 (93)

引本篇博客介绍一个入门图神经网络（Graph Neural Network, GNN）的例子。严格来说，使用到的技术为图卷积神经网络（Graph Convolution Neural Network, GCN），看名字也就知道它是在卷积神经网络（Convolution Neural Network, CCN）的基础上改进而来。这里先做一个剧透：GCN就是在CNN的过程中加上一个图结构——邻接矩阵（Adjacency Matrix）。如果你已经对传统CNN结构有非常熟悉的了解，那么你可以非常轻松地看懂本篇博客。如果您对CNN和PyTorch还不够熟悉，可以先来看看我的其他博客：「卷积神经网络」深入浅出「Deep Learning」PyTorch初步认识关于图论（Graph Theory, GT）部分的知识，只会涉及到邻接矩阵，下文我会单独再进行讲解，如果你对GT感兴趣，可以参考我的这篇博客：图论入门——从基础概念到NetworkX案例介绍本案例来自《PyTorch深度学习和图神经网络（卷1）》，算是我自己的学习小总结，我在书本附带代码的基础上又进行了一定的优化。本案例的内容呢，主要是利用论文间的相互引用关系，设计一个GCN网络进行论文分类。具体的数据结构与内容会在下文详细介绍。代码实战1. 引包import hues import torch import numpy as np i ...继续阅读 (71)

QuestionGiven an integer arraynums, returnan arrayanswersuch thatanswer[i]is equal to the product of all the elements ofnumsexceptnums[i].The product of any prefix or suffix ofnumsisguaranteedto fit in a32-bitinteger.You must write an algorithm that runs inO(n)time and without using the division operation.Example 1:Input: nums = [1,2,3,4] Output: [24,12,8,6]Example 2:Input: nums = [-1,1,0,-3,3] Output: [0,0,9,0,0]Constraints:2 <= nums.length <= 105-30 <= nums[i] <= 30The product of any prefix or suffix ofnumsisguaranteedto fit in a32-bitinteger.AlgorithmTypical array questions, use prefix prod ...继续阅读 (13)

...继续阅读 (52)

针对FSD将在中国市场正式启用的消息，有特斯拉中国内部人士表示，“此为假消息。”今日，有网传图片显示，疑似特斯拉中国方面发文称，公司预计将于北京时间2024年1月8日凌晨3点推送全自动驾驶（Full Self-Driving，FSD）版本12的更新，这一版本将首次在中国区域全面推出。（财联社） ...继续阅读 (45)

Note To Self Mail 是最快的笔记应用，没有迂回，毫不费力，直接将笔记发送到收件箱中。Note To Self Mail 设计支持从常用待办事项应用如 Trello、Evernote、Wunderlist、Todoist、Any.do 等导入邮件。测试申请地址：https://testflight.apple.com/join/dYMPAThh ...继续阅读 (45)

I just saw many bloggers share their defalut apps inApp Defaults. Here's my list:📨 Mail ClientApple MailSkiff Mailforhi@lawrenceli.me.📮 Mail ServerOutlook (available in China Mainland)Skiff Mail. Unfortunately, POP3/IMAP is not supported yet.📝 NotesApple Notes (withmontaigne.ioyou can make your Apple Notes be a website)✅ To-DoApple Reminders📷 iPhone Photo ShootingApple Camera🟦 Photo ManagementApple Photos with iCloud Sync📆 CalendarService: iCloud CalendarClient: Apple Calendar📁 Cloud File StorageiCloud Drive (iCloud+)Aliyun Drive(for Apple TV)📖 RSSClient:Reederon iOS/MacService: Self-hostedFre ...继续阅读 (45)

IntroductionWakapi is an open-source, self-hosted backend service compatible with WakaTime, designed to track and display a developer’s coding activity. ...继续阅读 (52)

IntroductionWakapi is an open-source, self-hosted backend service compatible with WakaTime, designed to track and display a developer’s coding activity. ...继续阅读 (37)

本文介绍 Self-Supervised Learning 的原理和合理性，并记录MoCo系列对SeIf-Supervised Learning领域产生的影响。 ...继续阅读 (57)

基本原理最大堆是一个二叉树，要求这个二叉树的父节点大于它的子节点，同时这个二叉树是一个完全二叉树，也就是说这个二叉树除了最底层之外的其它节点都应该被填满，最底层应该从左到右被填满。显然，最大堆的顶部节点的值是整个二叉树中最大的。我们使用数组来构建一个最大堆，使用数组构建一个二叉树最大堆存在如下性质。假设二叉树某节点在数组中的下标索引为index，则它的父节点在数组中的下标索引为parent = (index - 1) // 2，它的左子节点的下标索引为child_left = index * 2 + 1，右子节点的下标索引为child_right = index * 2 + 2。如果计算出来parent小于0或者child大于了数组最大值，就说明没有父节点或者子节点。代码实现接下来我们创建最大堆类，存储一些堆的基本信息以及工具方法1234567classHeap(object):def__init__(self) ->None:self._data = []def_size(self) ->int:returnlen(self._data)def_swap(self, i:int, j:int) ->None:self._data[i], self._data[j] = self._data[j], self._data[i]Heap类包含了三个方法，一个初始化方法创建了一个数组， ...继续阅读 (97)

Mutex是最常用的一种同步原语，它提供了互斥锁的功能,多线程可以互斥访问共享数据以及通过锁保护临界区。Rust标准库提供了Mutex的实现，接下来我们看看它是怎么实现的。Mutex的定义Mutex包含三个字段。一个是内部实现的锁(sys::Mutex)，根据不同的操作系统，可能选择不同的实现。一个是poison，用来标记锁是否被破坏，是否中毒了。最后一个是data，用来存储被保护的数据。1234567891011pubstructMutex{inner: sys::Mutex,poison: poison::Flag,data: UnsafeCell,}implMutex{pubconstfnnew(t: T) -> Mutex{Mutex { inner: sys::Mutex::new(), poison: poison::Flag::new(), data: UnsafeCell::new(t) }}}另外一个关联的数据结构是MutexGuard, 它是Mutex的一个智能指针，用来管理锁的生命周期。它实现了Deref和Drop，所以可以通过*来访问被保护的数据，当MutexGuard离开作用域时，会自动释放锁。12345```rustpubstructMutexGuard<'a, T: ?Sized + 'a> {lock: &'a Mutex,poison: poiso ...继续阅读 (76)

缘起假如你用 FastAPI/Starlette框架，写了一段Server-sent Events@app.get('/api/my_stream') async def api_stream(): async def gen(): while 1: yield "data: {}\n\n" await asyncio.sleep(1.0) return StreamingResponse(gen, media_type="text/event-stream", headers={ 'X-Accel-Buffering': 'no', 'Cache-Control': "no-cache", 'Connection': "keep-alive", })FastAPI 事件然后你重启了服务器，比如 gunicorn+uvicorn，你会发现这个连接不会断开，一直输出结果。直到 worker 进程超过配置里的timeout参数（默认60秒），被 master 强行杀死然后重启。一开始尝试了FastAPI 官方的shutdown事件，再在代码的while 1加一个if判断。发现不管用@app.on_event('shutdown') def on_server_shutdown(): app.state.run ...继续阅读 (111)

概述记录爬取scu教务处的事项。模拟登陆使用requests.session()保存爬虫状态首先需要进行登录：前往登录界面，F12打开network，输入错误的登录信息可以查看网络请求记录。真正有用的登录请求信息已经标出。只需要对照着General中的Request Method(POST)、Request Headers和Form Data使用requests.session进行请求即可。注意Form Data中的_spring_security_remember_me参数是装了基兄的scu插件才能看到，加上这个参数可以增加session的保存时间，不需要每次爬取信息都要登录一遍。Form Data中的j_password不是明文密码，而是MD5加密后的密码。Request Headers一定要打对，Cookie参数可以忽略。验证码可以先用GET方法获取，再POST登陆。爬取姓名&头像爬取课表参考代码1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001 ...继续阅读 (46)

介绍CSGO-RealTimeMap是一个致力于将CSGO服务器内的信息实时显示到网页上的一个无数据库项目，灵感来源自Minecraft的插件dynmap。插件分为两部分：游戏服务器的sourcemod插件和服务器本地的网站。项目开源地址：GitHub。开发日期：2020-12-3至2021-01-01。技术栈flask做网页显示。websocket实现前端与数据的同步。sourcemod实现游戏内数据向网站的同步。最初版演示见B站视频。功能目标易于部署&维护的插件/网站结构网页上平滑的玩家移动丰富的图标显示：玩家朝向、所持武器、所属阵营等详细的服务器内信息：玩家在线时间、击杀情况等在线聊天系统开发记录2020-12-5feature更新了道具效果的显示：道具效果更多的关键帧，现在关键帧增加到了10，网页上人物移动的显示效果更加流畅bug内存不释放，怀疑是道具的记录引起的程序运行日志未删除2020-12-6bug fix& feature1.解决内存不释放的问题，采用garbage collector主动释放内存。 >python中的dict删除某个元素之后并不会直接释放内存，需要用gc.collect()来主动释放2. 实现服务器到网页的聊天信息显示(server2web) 3.实现网页到服务器的聊天信息显示(web2server)bug1. 人物移动在网页上显示越来越滞后202 ...继续阅读 (43)

对于图的基础认识和问题描述，进而给出基本的图遍历求解问题的思路0x01 对于图的基本认识对于数据结构的存储无非就是“增删改查”，所以对于图（Graph）的认识也可以从这个角度出发。不过与基本的数组和链表不同的是，数组作为顺序存储、链表作为链接存储更多的是代表计算机存储的一种方式，是更为适合计算理解而对人类不友好的；图作为一个存在日常生活中的数据结构，可以很容易的被人理解，但是往往在计算机存储中存在困难。所以对于图的理解可以从图的本身，以及从图对应的计算机存储方式入手，之后再给出图中一些经典问题。1.1 图的本身含义图（Graph）作为一种描述节点（Vertex or node）和节点之间连接的边（Edge）的抽象数据结构，在现实场景中存在很多的应用，比如说具体的交通网络流量、水管布设、计算机网络流量、电路图等等，在抽象中包括人与人之间的社交关系、车与车之间的安全关系等等。同时我们可以节点根据连接边的数量可以增加几个重要的特征：度（Degree），其中出度表示多少边是从节点发出的，入度表示多少边是从节点接受的；通路（Path）表示有m+1顶点和m条边组成的序列首尾相同的通路则为环路（Cycle），同时特殊的环路包括欧拉环路、哈密尔顿环路根据对节点和边我们可以对图进行简单的分类：根据边是否有权可以将其分为有权图（Weighted graph）和无权图。这里的区别是图中的边是代表固定的连 ...继续阅读 (21)

结构体结构体像是TypeScript中的Interface，在大括号中定义每一部分数据的名字和类型123456structUser{active:bool,username:String,email:String,sign_in_count:u64}解构赋值与Javascript类似，Rust可以使用解构赋值，如下12345678fnmain() {// --snip--letuser2= User {email: String::from("another@example.com"),..user1};}不同的是，Rust使用..来解构没有命名字段的元组结构体与之前不同，可以创建没有字段的结构体，如下1234567structColor(i32,i32,i32);structPoint(i32,i32,i32);fnmain() {letblack=Color(0,0,0);letorigin=Point(0,0,0);}没有任何字段的类单元结构体常用在想要在某个类型上实现trait但不需要在类型中存储数据的时候。12345structAlwaysEqual;fnmain() {letsubject= AlwaysEqual;}方法方法和函数类似，都是用fn关键字和名称声明，可以拥 ...继续阅读 (175)

堆栈 Stack是一种线性表数据，只允许在表的一端进行插入（push）和删除（pop）操作。堆栈的好处在于操作时间为线性的。因此可以极大的提供效率。最基本的题目是《T20 有效的大括号》，而在其中更加复杂的是单调栈：单调栈（Monotone stack）：一种特殊的栈，在先进先出的基础上，要求从top到bottom的元素是单调的（单调递增 or 单调递减）0x01 理解单调栈维护一个单调栈的过程如图：单调栈可以解决的问题包括：寻找左侧第一个比当前元素大的元素寻找左侧第一个比当前元素小的元素寻找右侧第一个比当前元素大的元素寻找右侧第一个从当前元素小的元素单调栈思路模版1234567stack = []fornum in nums:whilestackandrule(stack[-1],num):# rule should be definedstack.pop()stack.push(gen(num))# gen should be related to the num0x02 单调解决问题2.1T901 股票价格跨度典型的单调栈记录中值下标123456789101112131415classStockSpanner:def__init__(self):self.stack = []self.index = [0]self.record =0defnext(self, price:i ...继续阅读 (33)

程序员日，也就是每年的第 256 天。 256 是可以用一个字节表示的不同值的数量，这是程序员众所周知的数字。为了庆祝这个日子，Fanatical 送出一个包含 4 本电子书的捆绑包，包含了 Mathematics for Game Programming and Computer Graphics、Game Development with Blender and Godot、Functional Programming in Go 以及 Fundamentals for Self-Taught Programmers。 ...继续阅读 (49)

这次详细介绍一下transformer框架，以及潜在的想法。在我心中这个是和Alexnet一样的文章。主要从基于RNN的encoder-decoder缺陷中引入attention，并从并行的角度完全引入attention。在第二章介绍attention的机制，在第三章介绍相关的论文细节。在第四章介绍基于torch的实现过程。参考了很多文章！0x01 从RNN到Attention的Encoder- Decoder结构在这里还没有介绍Attention之前，请把它看作是一种计算权重的方式！第二章会详细介绍，这里不了解attention不会本章的理解。在时序信息处理中RNN、GRU、LSTM均体现出卓越的优势，通过隐藏状态可以捕获之前的信息，通过时间迁移（Time shift）来不断的预测下一个时间，通过时间梯度反向传播来弥补其中梯度的传播。同时在RNN系列的基础上，Encoder-Decoder架构完善了序列生成的模型框架，在DNA预测、机器翻译转录中取得非常好的效果。那么什么是Encoder-Decoder框架呢？最基本、最原始的形式沐神在《动手学深度学习》中已经给出但是如果直接从基本知识跳跃到《Attention is all you need》论文中会发现存在一个GAP，因为在Transformer提出之前，已经有Attention应用在编码器-解码器框架之中，我们会发现上述编码 ...继续阅读 (22)

Self InjectionWhat我们知道Spring中有依赖注入Dependency Injection，是将依赖的实例的获取交给Spring来执行。而self Injection是在一个类中注入他自己，从而获取到他自己的一个实例。Why从@Transactional讲起。我之前在做的需求就出现了这个使用。@ServicepublicclassMyService{publicvoiddoSomething() {// ...doSomethingElse();}@TransactionalpublicvoiddoSomethingElse() {// ...}}当我们调用doSomething 的时候发现@Transactional并未生效。-> 在一个实例方法中调用被@Transactional注解标记的另一个方法，且两个方法都属于同一个类时，事务不会生效。@Transactional是基于切面编程实现，在执行的时候会将原来的类包装成为一个新的代理类。切面是一段代码执行在本身业务代码前后的增强型代码。在当前类调用他自己的另一个方法doSomethingElse过程中，没有外部调用，所以代理类中的function就不会被执行（即切面代码就不会被执行）（因为可能会再次执行切面本身，无限循环。）对应到这个例子中就是(伪代码)Spring生成的代理方法是publicObjectinv ...继续阅读 (13)

相比较MLP和CNN，RNN结构仿佛尤其的神秘。相比较更加直观的可视化，实现端到端的输出，包含隐藏状态（Hidden state）的时序建模方式对于RNN代码的理解真是尤其的困难。虽然Torch为我们提供封装好函数，但是我更加希望去探索其封装借口背后的结构，来提高自己的理解能力。0x01 缘起相比较MLP和CNN，RNN结构仿佛尤其的神秘。相比较更加直观的可视化，实现端到端的输出，包含隐藏状态（Hidden state）的时序建模方式对于RNN代码的理解真是尤其的困难。虽然Torch为我们提供封装好函数，但是我更加希望去探索其封装借口背后的结构，来提高自己的理解能力。0x02 数学公式对于神经网络的计算方式可以考虑层层递进，包括单个神经元的前向传播、单个神经元的反向梯度下降、批量梯度下降。由此来理解它是如何使用的、如何学习的以及如何更好的工程化学习。2.1 基本思想RNN、LSTM、GRU等等这类循环神经网络更多的是参考如何应用在序列的数据中，参考沐神的解释，这一类网络结构的特点优势包括：跨时间权重共享时间平移不对称适用不同长度这里有点太晦涩了。当我们以时间序列预测（Time series forecasting）的方式来理解一个问题，我们如何从t的状态来预测t+1，经过分析我们会知道t+1状态并不完全取决于t。比如同一支股票在相同的价格均会存在下跌和上涨的状态，因此我们会希望另外 ...继续阅读 (28)