深度强化学习（Deep Reinforcement Learning）是一种结合深度学习和强化学习的技术，适用于解决复杂的决策问题。深度Q网络（DQN）和近端策略优化（PPO）是其中两种经典的算法，被广泛应用于游戏、机器人控制等任务中。本文将从零讲解深度强化学习的基础概念，深入探讨DQN和PPO的核心思想，并基于PyTorch逐步实现这两种算法。通过丰富的代码示例和详细的注释，读者将逐步掌握深度强化学习的基本原理和PyTorch的实际操作，为深入学习高级算法打下坚实基础。 ...继续阅读 (128)

auth_request /auth; 获取验证信息server { listen 8080; resolver 1.1.1.1; location @error401 { return 401 "Unauthorized"; } location = /auth { internal; proxy_pass http://backend-server/authenticate; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } location / { auth_request /auth; error_page 401 = @error401; proxy_bind $server_addr; proxy_pass $scheme://$http_host$request_uri; proxy_set_header HOST $http ...继续阅读 (161)

Read Time:21 Second近期搬瓦工推出了最新的套餐，该套餐的配置信息如下：方案名称：The DC99 Plan VPS 方案配置： 硬盘：10 GB SSD 内存：500MB CPU：1 核 流量：500 GB/月 带宽：1Gbps需要说明的是，当前该套餐的机房只有DC9，且官方明确不对该套餐做线路保证，也就是说后续可能会跟随实际运营情况切换其他非优化机房，各位童鞋在购买前需要注意这一点。基础配置瓦工此次的MiniBox套餐，CPU是EPYC 7003系列，终于不再是传家宝级别的E5了，硬盘IO还算不错：遗憾的是，此次瓦工仍然没有提供IPv6，不知道什么时候能够支持。线路信息简单总结下来，去程走各自的优化线路，回程统一走CN2 GIA：电信：双程CN2GIA联通：去4837/回CN2GIA移动：去程CMIN2/回CN2GIA解锁信息搬瓦工的流媒体解锁一向不是很多，这次自然也不意外：跑了一下IP测试的脚本，结果如上图。最后附上一张Youtube测速图：购买建议1.购买前请务必阅读搬瓦工的用户协议，重点包含退款政策等内容，避免后期退款遇到困难2.该套餐本身不保证线路，如果长期持有可能会面临线路变差的风险3.不支持IPv6，如果有IPv6的使用需求请不要考虑如果你需要购买该套餐，可以通过我的链接进行购买。Happy00%Sad00%Excited00%Sleepy00% ...继续阅读 (117)

QUIC 是种基于 UDP 实现的传输层协议，由 Google 提出，旨在减少握手延迟，实现快速连接建立、多路复用、连接迁移功能。本教程分享如何在 OpenResty 开启 QUIC 支持。准备工作确保已经成功安装了 OpenResty。如果看到 OpenResty 的欢迎页面，说明安装成功。OpenResty 通过集成 Nginx 并利用其模块化特性支持 QUIC。需要在 Nginx 配置文件中启用 QUIC 支持。通常涉及到配置监听 UDP 端口，因为 QUIC 运行在 UDP 上。OpenResty 从 1.25 版本开始支持 QUIC，如果是之前的版本，需要自行编译安装模块以支持 QUIC。使用支持 QUIC 的客户端工具测试 QUIC 连接是否成功建立。监听端口对于每个站点，需在 Nginx 配置文件中为 QUIC 配置监听端口。由于 QUIC 运行在 UDP 上，需为每个站点配置一个监听 UDP 端口的指令。例如，如果有两个站点site1和site2，可以这样配置：12345server{listen443quic reuseport;server_namesite1.dusays.com;# site1 的其它配置...}这里的443和444是用于 QUIC 的 UDP 端口，quic指定 QUIC 协议，reuseport是为了提高性能：1234 ...继续阅读 (161)

Dunia teknologi terus berkembang pesat. Setiap hari, berbagai inovasi baru muncul untuk mengubah cara kita berinteraksi dengan perangkat digital. Salah satu inovasi terbaru yang menarik perhatian adalahJaksel Script. Ini adalah bahasa pemrograman yang diciptakan oleh anak bangsa, yang kini semakin populer di kalangan pengembang perangkat lunak Indonesia. Jaksel Script menawarkan cara baru dalam pengembangan aplikasi dan situs web. Dengan fitur-fitur unik, bahasa pemrograman ini memberikan pengalaman baru yang sangat bermanfaat.Lalu, apa sebenarnya Jaksel Script? Bagaimana bahasa pemrograman in ...继续阅读 (75)

Gemini AIadalah salah satu inovasi terbaru di dunia kecerdasan buatan (AI) yang menawarkan solusi mutakhir untuk berbagai kebutuhan teknologi modern. Dikembangkan dengan teknologi canggih dan algoritma yang disempurnakan, Gemini AI menjadi salah satu pilihan utama bagi perusahaan dan individu yang ingin memanfaatkan potensi penuh AI dalam meningkatkan produktivitas, efisiensi, dan pengambilan keputusan berbasis data.Apa Itu Gemini AI?Gemini AI adalah platform kecerdasan buatan yang dirancang untuk menangani berbagai tugas kompleks dengan memanfaatkan pembelajaran mesin (machine learning) dan p ...继续阅读 (67)

又是出差又是居家隔离，好长时间没有去公司了，到公司后发现同组的同事都不在，一问才知道不是居家录视频就是外出交付课程，这么好的条件不摸摸鱼岂不可惜，今天分享一个挂机放置类小游戏，希望有小伙伴喜欢！没想到之前发布的摸鱼游戏深受小伙伴们喜爱，不过游戏过于单调，长期可玩性不太高。作为一枚贴心的杜老师，为大家准备了另外一款摸鱼游戏，希望有小伙伴喜欢！游戏方法首先领取新手礼包，礼包的装备可刷新，装备的级别从大到小分别是天地玄黄。装备好后，即可开始修练。到一定级别后，需要探索秘境刷一定数量怪，才可继续修炼。剩下的就请小伙伴们自行探索了！在线摸鱼如果感觉在页面中操作不便「页面中无法使用右键」点击这里在独立页面中打开游戏：注意事项本游戏数据存放在浏览器缓存中，服务端不保存任何个人数据，清除缓存和更换浏览器都会导致进度消失，务必做好游戏备份。如需备份可以点击右下方的导出记录，复制数据文本，再次导入即可恢复进度。more游戏地址文明放置https://xiuxian.dusays.com/游戏截图注意事项游戏数据存于浏览器本地缓存中，杜老师说不会保留任何用户数据，也请大家做好数据备份，避免因缓存清理等原因丢失游戏记录。 ...继续阅读 (102)

X-CMD 是一款强大的终端美化和功能增强工具，它通过模块化设计和集成的包管理器，为用户提供丰富的功能和便捷的使用体验。无论是日常的命令行操作还是开发环境的搭建，X-CMD 都能提供有效的支持。概述X-CMD 是一款开源轻量级 POSIX 脚本工具，集成了 500+语言、工具，不需要 root 权限即可使用，提供了原生命令的增强以及现代化的命令行界面 TUI。本文将详细介绍 X-CMD 安装、基本使用及一些专业术语和功能特性。安装X-CMD 支持在主流 POSIX shell 系统环境下运行，包括 bash/zsh 等。以下是在 Linux 系统的安装步骤，打开终端，输入以下命令之一来安装 X-CMD：1eval"$(curl https://get.x-cmd.com)"或使用wget，这将下载并执行 X-CMD 安装脚本，自动配置环境变量，使得 X-CMD 命令在任何新终端会话中可用：1eval"$(wget -O- https://get.x-cmd.com)"使用X-CMD 自带的包管理器x pkg可以快速安装并管理脚本引擎，例如 Node.js/Python 等。例如，安装并切换 Node.js 版本，使用下面命令安装并切换到指定版本的 Node.js：12x env usenode=v20.11.1node-v支持快速执行代码，如 Python 和 Node.js，下面 ...继续阅读 (119)

午休时间，使用 chrome 浏览网页太耀眼了。简单研究了一下，Chrome 可以强制页面变暗色，操作起来非常简单：在 Chrome 地址栏输入以下内容并回车：chrome:*//flags/#enable-force-dark*找到Auto Dark Mode for Web Contents选项。将其设置为Enabled。重启 Chrome。这样，无论网页本身是否支持暗色模式，都会以暗色显示。顺便，我系统是 macOS 15.1PS：这个功能对一些网页可能会有点影响，如果觉得不合适，可以随时切回去。 ...继续阅读 (144)

你是否觉得自己的Windows桌面太单调，想要让它变得更加美观和个性化？那么MD3-Windows美化工具绝对是你不容错过的选择。这款工具不仅可以为你的桌面添加各种实用的小部件，还能根据壁纸颜色自动调整外观，支持明暗两种模式，简直是桌面美化的神器。什么是MD3-Windows？MD3-Windows是一款基于Rainmeter的桌面美化工具，它为你的Windows桌面带来了类似于Android 12+的Material You风格小部件。无论是时钟、日期、天气、音乐还是电池状态，这些小部件都可以根据你的壁纸颜色自动调整，给你带来整洁美观的桌面体验。主要功能时钟：显示本地时间，有三种样式可供选择。日期：显示当前日期，有两种样式。天气：显示你所在位置的天气情况。音乐：显示当前播放的音乐，包括专辑封面、歌曲和艺术家名称。电池：显示电脑的电池电量，还可以显示你的名字。文件夹：提供WiFi、蓝牙、下载、文档和图片等各种工具选项。活动：显示即将到来的假日活动及其日期和时间。问候语：根据一天中的时间显示一天的进度、问候消息和报价以及更多...这些小部件不仅功能丰富，而且都能根据你的壁纸颜色自动调整，确保你的桌面始终保持美观和谐。安装步骤安装MD3-Windows非常简单，只需几个步骤，其中Rainmeter for Windows和MD3-Windows均可在文末获取。首先安装Rainmeter ...继续阅读 (96)

一直想对笔记的地理位置进行可视化的查看，社区里面https://github.com/esm7/obsidian-map-view这个插件实现了一部分，但是初始化的地理位置录入还是笔记麻烦。琢磨了下，实现了部分，因为比较个人化，不准备上架商店。代码仓库：https://github.com/Yaob1990/obsidian-geomacmac 是比较容易的，使用的是 mac 的捷径，通过天气的接口获取到的地理位置。（pc 写的图片后补）pcconstcommand=` Add-Type -AssemblyName System.Device; $GeoWatcher = New-Object System.Device.Location.GeoCoordinateWatcher; $GeoWatcher.Start(); Start-Sleep -Milliseconds 1000; $status = $GeoWatcher.Status; if ($status -eq 'Ready') { $lat = $GeoWatcher.Position.Location.Latitude; $lon = $GeoWatch ...继续阅读 (176)

一直想对笔记的地理位置进行可视化的查看，社区里面https://github.com/esm7/obsidian-map-view这个插件实现了一部分，但是初始化的地理位置录入还是笔记麻烦。琢磨了下，实现了部分，因为比较个人化，不准备上架商店。代码仓库：https://github.com/Yaob1990/obsidian-geomacmac 是比较容易的，使用的是 mac 的捷径，通过天气的接口获取到的地理位置。（pc 写的图片后补）pcconstcommand=` Add-Type -AssemblyName System.Device; $GeoWatcher = New-Object System.Device.Location.GeoCoordinateWatcher; $GeoWatcher.Start(); Start-Sleep -Milliseconds 1000; $status = $GeoWatcher.Status; if ($status -eq 'Ready') { $lat = $GeoWatcher.Position.Location.Latitude; $lon = $GeoWatch ...继续阅读 (25)

🖋️ PyTorch 的自动微分机制在进行PINNs代码实战前，有必要对 PyTorch 的自动微分机制，也就是autograd模块的实现进行复习。它使得神经网络中的梯度计算变得非常简单和高效。以下是复习自动微分机制的基本概念和步骤：张量及梯度追踪 (requires_grad=True)在 PyTorch 中，张量（Tensor）是主要的数据结构，类似于多维数组。自动微分机制会记录对张量的操作以构建计算图，但前提是张量需要启用梯度追踪。这可以通过设置requires_grad=True来完成：x = torch.tensor(2.0, requires_grad=True) t = torch.tensor(3.0, requires_grad=True)这段代码创建了两个张量x和t，并开启了梯度追踪。这样在计算过程中，PyTorch 会自动记录对x和t的操作，以便在之后计算梯度。定义函数并构建计算图PyTorch 会基于操作来构建计算图。每个操作都创建一个节点，并将输出作为另一个节点的输入。这样，计算图会记录下从输入到输出的所有依赖关系：f = x ** 2 + 3 * x * t + t ** 2这定义了一个函数：$$ f(x, t) = x^2 + 3xt + t^2 $$由于x和t都开启了梯度追踪，f也会有梯度属性，并且 PyTorch 会自动构建计算图。计算梯度为了得到 ...继续阅读 (92)

base 关键字在 C# 中用于在派生类中访问基类的成员（字段、方法、属性等）。在派生类中调用基类的成员函数（当你需要在派生类中调用基类的方法，而该方法被重写时）。C#里怎么样使用继承实现不同的功能，以及调用基类函数？访问基类被隐藏的成员（当基类和派生类有同名成员时）。调用基类的构造函数（在派生类构造函数中）。在C#中，经常需要调用基类相同的函数，这时候要使用base对象来访问基类。 ...继续阅读 (89)

JavaParser 由 Danny van Bruggen 开发JavaSymbolSolver 由 Federico Tomasetti 开发JavaSymbolSolver 是JavaParser的一个扩展功能组件。 ...继续阅读 (97)

在这个例子中，let totalMarks = objStudent.Sum(mark => mark.Marks)声明了一个totalMarks变量，它保存了每个名字的长度。在C#中，let关键字是用来在查询表达式中声明一个范围变量的。范围变量是在迭代过程中保存查询产生的序列中的元素的临时变量。最后，在select子句中，我们选择了所有满足的成员。C#里怎么样使用LINQ的let关键字实现查询？ ...继续阅读 (108)

曾经对100万的数据进行查找，二分法查找就会比较快，使用Where查找，就慢上很多。因为LINQ对数据的访问，并没有优化的功能，往往速度很慢，比特定的算法慢很多。不过，要学会使用这部分的功能，需要比较多的学习时间，否则，使用起就比较难。如果数据量比较大，又有排好序的，这时候就不要一味地使用LINQ，当数据量比较小，没有特定的顺序时，使用LINQ访问会比较好。因为它的表现方式，与编程语言通用的功能，还是差别比较大。比如使用二分法查找，就比Where快N个数量级。在C#里使用LINQ，是一个方便的功能， ...继续阅读 (94)

RAG 结合了大型语言模型和信息检索模型的力量，允许它们用从大量文本数据中提取的相关事实和细节来补充生成的响应。事实证明，这种方法在提高模型输出的实际准确性和总体质量方面是有效的。然而，随着 RAG 系统得到更广泛的采用，它们的局限性开始浮出水面，具体而言：平面检索: RAG 将每个文档作为一个独立的信息。想象一下，阅读单独的书页，却不知道它们之间是如何连接的。这种方法错过了不同信息片段之间更深层... ...继续阅读 (102)

byzhangxinxufromhttps://www.zhangxinxu.com/wordpress/?p=11437本文可全文转载，独立域名个人网站无需授权，但需要保留原作者、出处以及文中链接，任何网站均可摘要聚合，商用请联系授权。一、subgrid若干常识性知识subgrid表示子网格，这个东西不是和Grid布局一起出来的，要滞后数年（CSS Grid Level2的内容），其兼容性么……对外的项目还要等个一两年，如果是内部的中台项目，则可以尝鲜了。subgrid并不是一个CSS属性，而是grid-template-columns和grid-template-rows属性支持的关键字，其使用的场景需要外面已经有个Grid布局，否则……嗯，虽然语法上不会识别为异常，但是渲染结果上却是没有区别的。例如：.container { display: grid; } .item { display: grid; grid-template-columns: repeat(3, 1fr); grid-template-rows: subgrid; }二、什么时候使用subgridGrid布局负责大的组织结构，而里面更细致的排版对齐效果，则可以使用subgrid布局。实际上，subgrid布局其实并非必须的，因为Grid布局形成的尺寸是可计算尺寸，再其中使 ...继续阅读 (108)

多线程在读取文件过程中，可能不存在读取快的优势，不过可以把工作分时进行，不影响界面的工作。要注意两个线程的同步，都需要两个线程结束之后，才能进行文件内容的操作。C#里怎么样使用多线程读取多文件？这里主要比较两个文件是否一样的。每个线程分别读取一个文件，这段代码要注意进行同步。在这里演示两个线程， ...继续阅读 (98)

Dalam dunia teknologi yang berkembang pesat, pengembang aplikasi web dituntut untuk terus beradaptasi dengan framework dan teknologi terbaru. Salah satu framework JavaScript yang kini mendapatkan perhatian besar adalahRhapsodyJS. Framework ini menawarkan solusi inovatif untuk membangun aplikasi web yang dinamis, responsif, dan mudah diintegrasikan dengan teknologi lain.Pada artikel ini, kita akan membahas secara mendalam tentang RhapsodyJS, mulai dari pengenalan, keunggulan, hingga alasan mengapa framework ini layak untuk digunakan dalam pengembangan aplikasi web modern.Apa Itu RhapsodyJS?Rhap ...继续阅读 (68)

今天才想起前段时间安装 Win11 后，碰到多种情况想着敲一下记录，并发点牢骚，但现在回想起来又记不了几个了，囧。随便敲敲吧...》Win11 的文件资源管理器安装好 Win11 时，第一感觉就是文件资源管理器感觉有时很慢，看网上是可以更改为 Win10 的文件资源管理器不折腾方法：搜索“控制面板”并打开，然后点左上角的向上箭头 ↑ 就是 Win10 的文件资源管理器，好奇葩，难道 Win11 真的就是 Win10 的加壳版本么？还增加了不必要的 Bug？修改注册表直接把文件资源管理器改成 Win10 的（来自https://www.freedidi.com/12787.html  ）1. 把下面代码存成 reg 文件并执行（utf-8格式）Windows Registry Editor Version 5.00 [HKEY_CURRENT_USER\Software\Classes\CLSID\{2aa9162e-c906-4dd9-ad0b-3d24a8eef5a0}] @="CLSID_ItemsViewAdapter" [HKEY_CURRENT_USER\Software\Classes\CLSID\{2aa9162e-c906-4dd9-ad0b-3d24a8eef5a0}\InProcServer32] @="C:\\Windows\\System32\\Wind ...继续阅读 (95)

重度 obsidian 用户，几乎每天一篇或多篇笔记，常见的人员管理也放到了上面。希望有个插件能够查看往年今日，于是有了本插件。安装obsidian 商店搜索History Today安装之前就可以使用了。开发流程仓库：https://github.com/Yaob1990/obsidian-history-today使用的官方脚手架进行的开发，代码主要是cursor写的，我打打下手。开发结束之后，提交到官方仓库：https://github.com/Yaob1990/obsidian-releases先是程序自动审核，给我提了样式写死的问题，不想改，直接把这个功能删除了。后续人工审核：https://github.com/obsidianmd/obsidian-releases/pull/4611#issuecomment-2477461352不得不说，这老哥 review 是非常详细了，我上面不想改导致一些多余的文件，也都提出来了，得，咱安心修改吧。提交之后，很快再次 review ，何入到主分支，商店就能搜索到了。想法ai 已经非常强了，能生成很多的业务逻辑ai 知识库原因新的 api 往往不清楚，需要手动去调整，设置里面的自动建议就是这个原因ob 审核流程比较长，尽量完善之后再提交 ...继续阅读 (179)

Neo4j 是一种专门为处理图数据而设计的开源数据库管理系统，其通过节点（Node）、关系（Relationship）和属性（Property）直观地表示数据，能够以高效的方式存储和查询复杂关系网络。Neo4j 特别适用于涉及连接关系的场景（如社交网络、推荐系统和知识图谱等）。 本文首先会介绍一下 Neo4j 的基础知识，然后以实例的方式介绍 Neo4j 基本功能的使用。 ...继续阅读 (116)

【摘要】本章目标 多租户简介 实现public租户下的用户数据隔离 出于开发进度考虑，本章暂不会完全实现多租户的整套体系，而是会实现其中的一小部分：基于默认public租户的数据隔离，并在本章节中会讨论多租户的实现框架结构。在后续的系列文章章节中，我们会完成多租户的实现。 多租户（Multi-Tenancy阅读全文 ...继续阅读 (103)

当在3.1.4版本中添加对Java 9文件的解析支持时，并没有默认启用它。默认语言级别设置为8，打算在JDK 9发布时将其设置为9。那么，如何获得支持呢？通过更改对AST的验证。这些验证在哪里设置？JavaParser 在实现上使用了一个后处理器，将抽象语法树（AST）转换为所需Java版本的AST，并选择一个验证器来查找AST中的问题。JavaParser 为了支持Java 10，进行了一些重构，在下面的“pre 3.5.14”部分可以看到旧的方法。 ...继续阅读 (101)

PendahuluanSummon Night 5adalah salah satu game RPG taktis yang dirilis oleh Bandai Namco Games untuk platform PSP pada tahun 2013 di Jepang, dan kemudian dirilis untuk pasar global oleh Gaijinworks pada tahun 2015. Sebagai entri kelima dalam seriSummon Night, game ini menghadirkan pengalaman unik dengan cerita mendalam, karakter yang menarik, serta gameplay berbasis strategi yang menantang.Summon Night 5 menggabungkan elemen taktis dan narasi yang kaya, menjadikannya salah satu game favorit para penggemar genre RPG taktis. Dalam artikel ini, kita akan membahas detail game Summon Night 5, term ...继续阅读 (67)

正则表达式是由普通字符（如英文字母）以及特殊字符（也称为元字符）组成的一种文字模式。在C#里要使用System.Text.RegularExpressions。所以，正则表达式可以是单个字符，也可以是更复杂的模式。C#里怎么样使用正则表达式？也可以进行字符串的替换和提取。输入的用户名是否满足条件等。输入的身份证号码是否合法。验证输入的邮箱是否合法。 ...继续阅读 (114)

在软件开发中，使用到的链表还是比较多的。不过，目前C#语言，基本上都类库，所以需要自己创建链表的机会，基本不存在了。不同的数据结构，就需要采用不同的算法。但是作为理解原理，还是学习一下吧。数据结构，是程序基本表示方法。C#里怎么样实现单向链表？ ...继续阅读 (95)

日志文件记录了系统和服务器运行的重要信息，是排查问题、优化性能的重要数据来源。本篇文章将以实际需求为导向，使用Python构建一个完整的日志分析系统。我们将介绍如何解析常见的服务器日志格式，并将其存储到数据库中，随后使用`Matplotlib`和`Dash`实现动态的日志数据可视化。通过丰富的代码示例和详细中文注释，读者将学会如何高效处理和分析日志数据，为日志驱动的运维和决策提供可靠支持。 ...继续阅读 (72)