发表于
2024-03-20 15:21:53
lse 的概念
在做深度学习的时候，softmax是一个经常遇到的计算公式来，但是还没深究过这个究竟是怎么算的。计算的基础公式是知道的，但是没想到在底层实现的时候还是有不少玄机。背景我们定义有 N 个值的数值集合{x_n}_{n=1}^N，我们想要求z = \log \sum_{n=1}^N \exp{x_n}的值，应该如何计算？看上去这个问题可能比较容易，但是实际上我们在使用这个数值集合来进行概率分布的时候，通常会涉及到一个问题。在神经网络中，softmax函数得到一个概率分布，softmax的形式为：\frac{e^{x_j}}{\sum_{i=1}^n e^{x_i}}这里的x_j是其中的一个值。最经典的loss函数就是使用cross entropy，那么就涉及到需要对这个对数\log \left( \frac{e^{x_j}}{\sum_{i=1}^n e^{x_i}} \right) = \log(e^{x_j}) – \log \left( \sum_{i=1}^n e^{x_i} \right)= x_j – \log \left( \sum_{i=1}^n e^{x_i} \right)这里的分母是所有的和，也就是我们上面所求的 z ，即LogSumExp（之后简称LSE）。数据溢出问题因为我们通过softmax想要得到概率分布，假设我们目前有两个例子：一个
...继续阅读
(58)
发表于
2024-03-19 14:37:38
homebrew客户端 Applite
Applite是一个免费且开源的macOS应用程序，它使用Homebrew简化第三方应用程序的安装和管理。该应用程序使用Swift和SwiftUI构建。应用程序的主要目标是为非技术用户带来Homebrew casks的便利。因此，UI的设计考虑了简洁和易用性。虽然提供了可视化界面，但是主要针对的是软件，像博主会借助brew安装一些开发环境包，比如python 等等，这个没办法在这个软件层面展示了。主要特点一键安装、更新和卸载应用程序为非技术用户设计的简洁易用的用户界面免费且开源精选的精彩应用程序展示馆可以与现有的brew安装一起使用安装下载地址：https://github.com/milanvarady/Applite/releases
...继续阅读
(42)
发表于
2024-03-02 08:50:51
LLM基底模型的记忆测试
最近开始研究Agent记忆这块，现在的大模型都是有指定的窗口限制，比如gpt3.5 8k token 的窗口。理论上在这个窗口内的聊天信息，gpt都应该了如指掌，现在gpt4-128k，那么在这128k内它真的是什么都记住了？基于此才有这篇文章的存在。在 github上看到这个项目 https://github.com/gkamradt/LLMTest_NeedleInAHaystack 做了这样的一个测试。测试在一个长篇背景中（称为“needle”），将一个随机的事实或陈述（称为“haystack”）放在中间请模型检索此陈述迭代不同的文档深度（即放置haystack的位置）和上下文长度，以衡量性能将 haystack放在不同的位置就是用来测试模型的记忆能力，比如放在最开始和最后LLM输出的结果就是不一样，那么就验证了首尾存在着差异。目前代码只支持OpenAI和Anthropic分析的代码。如果运行并且save_results = True，那么这个脚本将会生成一个result/目录，并填充评估信息。由于可能存在并发请求，每个新的测试将会保存为多个文件。我已经将原始测试结果放在/original_results中。由于我升级了脚本，所以数据格式可能与您的脚本结果不匹配。关键参数：- 将放置在您的上下文（“干草堆”）中的陈述或事实haystack_dir– 包含要
...继续阅读
(82)
发表于
2024-02-29 15:07:09
关于python list和dict继承的讨论
在创建和解决许多涉及自定义集合的练习时，我意识到从list，dict和set继承通常会带来一些微妙的困扰。我写这篇文章是为了解释为什么我通常不建议在Python中从这些内置类继承。我的示例将重点放在dict和list上，因为这些很可能更常见地被子类化。创建一个自定义词典我们想要创建一个双向字典。当添加一个键值对时，键映射到值，同时值也映射到键。这个字典中的元素总是偶数个。如果d[k] == v是True，那么d[v] == k也总是True。我们可以尝试通过自定义删除和设置键值对来实现这一点。class TwoWayDict(dict):
def __delitem__(self, key):
value = super().pop(key)
super().pop(value, None)
def __setitem__(self, key, value):
if key in self:
del self[self[key]]
if value in self:
del self[value]
super().__setitem__(key, value)
super().__setitem__(value, key)
...继续阅读
(54)
发表于
2024-02-27 14:58:05
gradio dom.js异常处理
今天在写gradio代码的时候出现了下面这个错误dom.js:238 Uncaught (in promise) DOMException: Failed to execute 'insertBefore' on 'Node': The node before which the new node is to be inserted is not a child of this node.相应的gradio 版本是4.16最新版，我的逻辑是radio组件联动chatbot组件，在radio组件中选择选项的时候，gradio出现卡死的现象，打开f12看到如上的错误。根本原因在于：输出到chatbot的内容包含了markdown table 语法，如果是纯文字没有问题在github上搜了下也有类似的问题，出现在3.50版本，这都4.16了好像还没修复。现在有两个方案：继续保持原样，想要切换radio选项的时候先刷新页面，在做选择，但是这样交互很不友好对gradio进行降级，目前试了3.40下使用无异常pip3 install gradio==3.40ok,今天顺利又水了一文，哇咔咔
...继续阅读
(60)
发表于
2024-02-25 15:47:41
Python技巧学习(3)-容器类型
来到的容器类型的阅读，今天分享5个点：NameTuple字典中的setdefault方法frozenset值传递vs引用传递深浅拷贝除了2，3其他都是了解的，2还是按顺序一个一个来说下吧！namedtuple中文名字命名元组，意思就是可以通过指定的变量名去访问元组里面的数据，本质上还是元组。平时用的比较少，先看下初始化方式：from collections import namedtuple
info=namedtuple('info','name,website')
test=info('xiaocui','www.deeplearn.me')
test.name对比于元组的索引访问，这个就是可以使用定义好的参数名去访问，因为涉及参数命名，相对来说更好理解。但是想要实现这样的效果，自定义类也是可以的，主要看使用的方便性，如果是博主的话，估计会考虑类实现吧，有点无脑。。。字典中的setdefault方法对于的key 赋值一般写代码都是直接对key进行赋值，除非有些特殊的格式要求。比如value是list，如果不使用这个fuction你要走以下几步：判断key在不在，不在设置默认值[]，然后往里写数据在的话继续向value里插入数据其实在使用的时候会考虑defaultdict类from collections import defaultdict这个类允许你在初始化的时候指定valu
...继续阅读
(60)
发表于
2024-02-21 15:36:56
Python技巧学习(2)-数值与字符串
趁着热情继续，今天就来看看数值与字符串，跟着书本的节奏就是从最基础的数据类型开始，然后逐级进阶吧，大部分书的结构都是这样吧！今天看看博主觉得还不错的几个地方。No1：字符串格式话使用 f 进行格式化目前博主使用的大量格式化方式还是基于format，也有看到其他同事提交的代码里使用f进行格式化。的确f格式化会显得代码更简洁，后续博主也会使用起来。但是有些时候还是觉得format比较方，比如下面这个场景>>> '{0}:{0}网站是由{1}于{2}开始搭建'.format('算法之道','xaiocui',2015)
'算法之道:算法之道网站是由xaiocui于2015开始搭建'
>>>可以看到format可以借助索引来实现字段重复赋值，这个也是不错的。No2：几个我不太常用的内置方法，但是看起来还不错#partition方法、translate方法
#下面就来看看这两个方法的用法
# patition vs split
>>> 'test:alg'.partition(':')
('test', ':', 'alg')
>>> 'test:alg'.split(':')
['test', 'alg']
>>> 'alg'.partition(':')
('alg', '', '')
#translate vs replace
>>> s='test,.alg'
>>> templat
...继续阅读
(57)
发表于
2024-02-20 16:31:42
Python技巧学习(1)-变量与注释
平时python写的也不少，主要还是在堆业务的逻辑，只要性能上没有特别大的问题，优先完成业务的需求为首要任务。一般情况下写完的业务代码也很少再回去看了，因为新的需求已经过来了。去年的时候就买了一本书，Python 工匠，主要就是讲解一些优雅的技巧，拖了这么久还是得看完学习。能抽出的时间只有晚上宝宝睡觉之后了。今天就是对看的第一章内容的感悟总结吧！第一章主要讲的是变量与注释，其实自己在写一些函数的时候不会去写，变量的含义只有在当时能理解，过了两周之后自己再回去看甚至都看不懂，更不要说别人看自己的代码了。所以看完这章还是感慨不少，清晰的变量定义和有效的代码注释是理解代码的前提。书中提到很多的细节点，我拎出来我之前遇到的一些问题点，也许你也会有。Q1：无效的代码不要注释，应当直接删除回顾自己的代码的确很多地方会出现这样的情况，企图在下一次的时候可以把注释取消掉，然后这些逻辑生效，殊不知再也没有机会关闭注释。与此相反，代码文件变长，自己看代码还是会无意识的看到这部分代码，对于代码的通读还是有不小的影响。所以，用不到的代码请删掉，而不是注释。Q2：擅长使用解包语法先看个例子吧>>> person_info=['xiaocui',30]
>>> name,age=person_info
>>> name
'xiaocui'
>>> age
30
>>>上面的列表还算是比较短的，如果来个很长的该
...继续阅读
(104)
发表于
2024-02-05 15:46:31
DrissionPag：不一样爬虫库
写这篇文章是因为从hellogithub看到2023年度热榜上的一些项目，其中这个项目DrissionPage 就挺有意思的。虽然博主爬虫爬的不多，偶尔爬爬，看了这个项目之后觉得值得研究一下。在之前的一篇文章中，博主用selenium还在找 chrome driver在到处找资源，这不DrissionPage 就不依赖于 webdriver 也省了不少心。对于静态页面其实抓取数据很简单，但是目前大部分都是动态的，甚至有需要登陆状态等，使用chrome 等浏览器就可以不用去处理js加载等多种问题，不然你要自己去处理很麻烦耗时，影响效率。这也是selenium 和DrissionPage诞生的主要原因吧！看了下DrissionPage的文档，早期也是依赖于selenium，在后来的3.x开始摆脱selenium 的依赖，想要”开发的快，爬的也快”。DrissionPage 看目前的最新的版本是4.0，一些相关的特性如下：🎇 强大的自研内核本库采用全自研的内核，内置了 N 多实用功能，对常用功能作了整合和优化，对比 selenium，有以下优点：无 webdriver 特征无需为不同版本的浏览器下载不同的驱动运行速度更快可以跨 iframe 查找元素，无需切入切出把 iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰可以同时操作浏览器中的多个标签页
...继续阅读
(58)
发表于
2024-01-31 15:06:05
使用COS加速你的网站
问题在国内带宽小水管的情况下，如果出现很多的照片或者照片大一点会出现加载比较慢的情况，这个时候是会影响用户的体验。还有一点就是本地存储和性能的问题，一定程度上会有影响。解决方案为此我们可以使用类似阿里oss 或者腾讯 cos 等对象存储服务来实现加速访问，本文主要介绍腾讯的cos加速本网站的教程。其实我用cos很久了，最近发现自己cos有些配置还是不太合理，顺带记录一下。step1wordpress需要安装相应的插件，腾讯云有提供开发好的cos插件，检索安装即可。安装之后的效果如下所示上面第一张图中的一些配置信息都是在腾讯云的后台获取的，你需要按照实际你自己的信息填写即可。第二张图中的一些配置需要小心配置。自动重命名–如果你是在wp后台上传图片的话可以勾选，我一般都是在本地写，使用xnip和upic来实现自动截图上传，不存在命名冲突的问题不在本地保存–你上传到云端之后本地就会删除的意思禁止缩略图—wp本身提供缩略图裁剪的功能，看你是否需要上传数据万象– 这个也是腾讯的服务，我这里主要是用来进行照片打码，防盗哈下面的其他的功能我也没用过，不太清楚，有兴趣的可以参考文档使用。step2腾讯云里的cos配置，首先你得买资源包哈，新用户好像有赠送，其实量不大买资源包也很便宜的，花不了多少钱。我现在的买的是10g通用包存储，够用了。主要关注两个
...继续阅读
(54)
发表于
2024-01-30 15:14:43
RAG 对比大模型Finetune
序幕随着对大型语言模型 （LLM） 的关注浪潮，许多开发人员和组织正忙于利用大模型的能力来构建应用。但是，当开箱即用的预训练LLM没有按照预期或希望的结果执行时，问题成为了如何提高LLM应用的性能。最终，我们到了要回过头来问问自己的地步：我们到底应该使用检索增强生成Retrieval-Augmented Generation(RAG)还是使用模型微调来改善结果？ 在深入研究之前，我们先揭开这两种方法的神秘面纱：RAG：这种方法将检索（或搜索）的强大能力集成到LLM的文本生成中。它将检索系统（从大型语料库中获取相关文档片段）和LLM（使用这些片段中的信息生成答案）结合了起来。从本质上讲，RAG是帮助模型“查找”外部信息来改进其响应的内容。Finetuning微调：这是采用预训练的LLM并在较小的特定数据集上进一步训练模型的过程，以使其适应特定任务或提高其性能。我们可以通过微调根据我们的数据调整模型的权重，使其更适合我们应用的个性需求。RAG和微调都是能够增强LLM应用性能的强大工具，但它们设法解决的是优化过程的不同方面，这在二选一的时候时至关重要。以前，我经常建议各团队在进行微调之前先尝试使用 RAG。这是基于我的看法，即两种方法都取得了相似的结果，但在复杂性、成本和质量方面有所不同。我甚至曾经用这样的图表来说明这一点：在此图中，复杂性、成本和质量等各种因素沿单个维度表示。结论？RA
...继续阅读
(66)
发表于
2024-01-30 13:31:54
RAG 对比 大模型Finetune
发表于
2024-01-29 13:20:19
局域网无法访问wsl2服务问题
发表于
2024-01-16 14:39:05
ChromeDriver小记
发表于
2024-01-04 15:31:45
Macos更新后[oh-my-zsh] Can’t update: not a git repository
发表于
2023-05-14 13:49:44
POSO实践的一些总结
发表于
2023-04-02 13:48:42
看看MF和FM
发表于
2023-03-28 13:47:54
grouping sets 用法
背景需要对多个维度的数据做不同维度的聚合操作，正常情况下你想要的统计维度需要单独通过一个SQl来实现，那么有多个维度可能就需要多个SQl。举个例子，有班级、性别、分数，现在我想要统计每个班级的平均分数每类性别的平均分数统计每个班级、每类性别下的平均分数那么假想的情况是select class,avg(score) from XXXXX group by class
select sex,avg(score) from XXXXX group by sex
select class,sex,avg(score) from XXXXX group by class,sexgrouping setsok，到这里就会引出今天要讲的 grouping sets 了，它的优势就是可以使用一条SQL来完成上述的需求。select
grouping__id, -- 内置变量，只要使用grouping sets就可以调用
class,
sex,
avg(score) as avg_score
from
XXXXX
group by
class,
sex
grouping sets(
class,
sex,
(class, sex)
)这里会出现一个关键词 grouping__id ，这个 grouping__
...继续阅读
(65)
发表于
2023-03-27 13:16:10
tfra中的两种 embedding 稀疏参数的使用方法
发表于
2023-03-23 14:21:29
ps-lite_part5_kvworker和kvsever
发表于
2023-03-22 13:25:48
ps-lite_part4_customer讲解
距离上一次发文又间隔了一段时间，都有点忘记写到哪一部分了，先回顾一下之前写到哪里了介绍ps-lite的基本概念https://www.deeplearn.me/4302.html介绍ps-lite核心组成 postOfficehttps://www.deeplearn.me/4303.html介绍ps-lite 通信模块vanhttps://www.deeplearn.me/4306.html本篇文章主要讲解 customer。customer的角色主要干的事情其实是一个中介的事情，它主要负责server 和worker之间的一些信息传递。我们先看看 customer 在哪里被创建使用？在test/test_kv_app_multi_workers.cc文件中我们看下如何调用的，先看下server端调用void StartServer() {
if (!IsServer()) return;
//重点是kvserver的初始化，传递的参数是app_id
auto server = new KVServer(0);
server->set_request_handle(KVServerDefaultHandle());
RegisterExitCallback([server](){ delete server; });
}对于一个server来说app_id可以
...继续阅读
(72)
发表于
2023-03-11 10:30:50
ps-lite_part3_Van讲解
学习还是要继续，在上一篇文章讲解PostOffice当中其实也提到了Van，但是那一篇文章主要还是在讲PostOffice相关的信息，所以Van 暂时搁置放到这里。还是延续之前的学习的思路，按照ps服务启动的顺序，到那个模块加载的时候，在重点介绍这块的信息。一句题外话，其实在写这些东西的时候，也是会看很多大佬们的讲解，单靠自己去看源码，很多时候也看不懂，也许c++代码看懂了，但是为什么这么设计？所以写的有些不足或者错误也欢迎email我。ok，那我们先回顾一下Van是在哪里被调用的,是在Postoffice的启动过程中。InitEnvironment 负责创建，van_->Start(customer_id) 负责启动。void Postoffice::InitEnvironment() {
const char* val = NULL;
std::string van_type = GetEnv("DMLC_PS_VAN_TYPE", "zmq");
van_ = Van::Create(van_type);
val = CHECK_NOTNULL(Environment::Get()->find("DMLC_NUM_WORKER"));
num_workers_ = atoi(val);
val = CHECK_NOTNULL(Environment:
...继续阅读
(68)
发表于
2023-03-09 14:46:23
ps-lite_part2_Postoffice讲解
晚上也在思考这篇文章该以怎样的结构来撰写，ps-lite虽然是轻量版，但是很多东西都是在复用，东西都混在一起，所以在解释理清思路的时候有点绕。思来想去还是按照ps程序启动的逻辑来讲，涉及到本文需要讲的点在重点描写。ps启动启动一个完整的 ps 服务，需要启动scheduler、sever和worker,启动的时候都会产生一个实际的物理进程，这个进程里都会包含PostOffice，负责管理全局信息。ps-lite给出一个简单的demo,启动的顺序是先启动schedule，然后是server 、worker#!/bin/bash
# set -x
if [# -lt 3 ]; then
echo "usage:0 num_servers num_workers bin [args..]"
exit -1;
fi
export DMLC_NUM_SERVER=1
shift
export DMLC_NUM_WORKER=1
shift
bin=1
shift
arg="@"
# start the scheduler
export DMLC_PS_ROOT_URI='127.0.0.1'
export DMLC_PS_ROOT_PORT=8000
export DMLC_ROLE='scheduler'{bin}{arg} &
# start servers
ex
...继续阅读
(57)
发表于
2023-03-08 14:29:02
ps-lite_part1_基础介绍
发表于
2023-03-05 02:51:31
typora使用技巧之图片管理
发表于
2023-03-02 13:43:42
一文看懂深度学习模型压缩和加速–part2
发表于
2023-03-02 13:22:07
一文看懂深度学习模型压缩和加速–part1
发表于
2023-03-01 12:46:50
边缘计算简介
发表于
2023-01-29 13:23:52
IFTTT了解一下
发表于
2023-01-12 14:41:05
pdrunner18.1.1版本升级啦！