IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    love 0
    dudu
    发表于
    2024-02-06 11:19:00

    阿里云轻量级 GPU 实例安装 NVIDIA 驱动 - dudu

    【摘要】实例规格:轻量级 GPU 实例 vgn6i-vws / ecs.vgn6i-m4-vws.xlarge(4vCPU 23GiB) 操作系统:Ubuntu 22.04 第一部分:尝试失败的安装方法 查询 NVIDIA 产品型号 lspci | grep -i nvidia 输出 00:07.0 VGA阅读全文 ...继续阅读 (130)


    love 0
    leileiluoluo@leileiluoluo.com (磊磊落落)
    发表于
    2024-02-06 08:00:00

    你聽過陳母問勇的故事嗎?

    你聽過陳母問勇的故事嗎? 陳氏有男兒,名祥榕,閔州屏南縣人士。時印寇犯南境,圍榕部。榕挺身入圍,斃傷寇數十人,力竭身死。寇畏其勇,潰,爲榕所部俘者數百。 陳母姚氏,聞榕死,不悲不泣,問使者:「吾兒勇否?」答曰:「勇冠三軍!」陳母傲之,乃涕。世皆稱善。 摘錄自知乎網友「萬馬奔騰甩尾巴」 ...继续阅读 (115)


    love 0
    usubeni fanstay
    发表于
    2024-02-06 07:57:46

    前端测试的策略

    原文传送门What to test and your approach决定测试内容,而非测试本身是什么,对于所有团队而言是个关键议题。测试是实现最终目标的一种方式,而确定对代码库中哪些部分进行优先测试则是一项挑战。决定测试的优先顺序应当基于你的代码库及团队目标。但需要注意的是,尽管撰写众多小型测试(比如位于测试金字塔底层的单元测试)耗时少且能涵盖广泛的代码,这并不意味着它们能显著降低项目的整体风险。通过考虑你的应用程序、网站或库的主要使用场景,你可以确定首先需要测试什么。这可能意味着对网站的关键部分,即那些构成用户体验核心的组件,进行组件测试。比如,一个让用户上传和管理时间序列数据的网站的开发者应该模拟并测试用户可能以各种方式进行这些操作的场景。获得尽可能多的信息是另一种优先测试的情况。如果你的代码库中有一部分是“危险”的、老旧的或编写不良的,并且你的团队成员都不愿意处理它,那么在你选择进一步忽视它或是重构它之前,为它建立测试以使其行为更加稳定可能是个不错的选择。可以将其视为给一个已经被废弃但还在存放数据中心的建筑加上的支架。维度我们介绍了测试金字塔或其他形状的测试,但这些通常只呈现测试的单一维度:一条线,从范围小、简单的单元测试延伸到复杂、广泛的测试——单元测试、集成测试和端到端测试。然而,可能的测试类型的长列表中有些并不反映复杂性层次,而是反映了测试的目的或方法。举个例子,冒烟 ...继续阅读 (200)


    love 0
    Usubeni Fantasy
    发表于
    2024-02-06 07:57:46

    前端测试教程——前端测试的策略

    > 原文传送门 What to test and your approach 决定测试内容,而非测试本身是什么,对于所有团队而言是个关键议题。测试是实现最终目标的一种方式,而确定对代码库中哪些部分进行优先测试则是一项挑战。 决定测试的优先顺序应当基于你的代码库及团队目标。但需要注意的是,尽管撰写众多小型测试(比如位于测试金字塔底层的单元测试)耗时少且能涵盖广泛的代码,这并不意味着它们能显著降... ...继续阅读 (161)


    love 0
    FranzKafka95
    发表于
    2024-02-06 06:59:05

    Android12.1中自定义网卡默认配置

    Read Time:4 Minute, 3 Second在安卓系统开发过程中,难免会涉及到安卓系统内部的网络栈。比如我们需要了解其网卡配置的IP地址,网关地址,DNS配置等等。当我们的安卓设备接入局域网时,一般都会由DHCP Server下发这些配置,安卓系统内的网络栈会解析这些配置并将其作用于系统。但在某些场景下,可能没办法通过DHCP完成配置,此时我们就可以考虑自定义网卡默认配置。网卡配置流程在我们开始进行自定义网卡默认配置前,我们应当了解当前安卓系统是如何去检测、识别网卡并进行配置的。在安卓12中,整体网络堆栈参考如下:大体可以分为四部分:Java Framework API:向应用提供android.net.*的API支持,其源码大部分位于/frameworks/base/core/java/android/net内,可以提供如IP配置、DNS配置、DHCP通信、SSL管理、VPN配置等相关接口。Java Framework Service:面向应用与API的service实现,源码比较分散,包括frameworks/base/services/core/java/com/android/server/net与frameworks/base/services/core/java/com/android/server/connectivity等,提供如NetworkMan ...继续阅读 (131)


    love 0
    usubeni fanstay
    发表于
    2024-02-06 05:19:41

    自动化测试的类型

    原文传送门Types of automated testing在各种代码库中,对不同类型的测试进行命名通常遵循一定的共性,尽管这些命名并没有严格的定义标准。本课程尝试对每种测试类型给出了一些建议和解释,但你可能在其他地方看到有所不同的定义。之前的内容中提到了单元测试和组件测试(以我们讨论的 React 组件为例)。这两种测试类型在我们的测试金字塔(或其他形状的模型)中处于较低位置,原因在于它们相对简单、执行速度快。然而,相较于更为复杂的集成测试,它们的实用性可能就不那么显著了。测试的类型单元测试单元测试关注的范畴是最细微的。它们倾向于针对代码的某些小片段进行测试,或者测试绝对无状态的代码,这几乎就像解数学题一样:假设向你的代码提供了输入 X、Y 和 Z,那么它应当返回输出 A、B 和 C。具备单元测试的代码通常不涉及外部依赖,比如从网络上拉取数据或者隐式地调用其他函数或库。可以把它看作是代码中的一个节点,你可以把它单独拿出来进行测试。尽管单元测试编写起来简单且执行迅速,但要注意,测试代码的这些微小单元并不总能提供我们真正需要的信息。往往,这些代码单元缺乏与其他部分的互动,实际上我们可能需要在更宏观的层面上进行测试,以此来减少潜在的风险。组件测试对于网页开发者而言,“组件”这一术语有着多重含义,它既可以指用户能够直接看到的界面元素,如 React 组件或 Web 组件,也可以泛指任何 ...继续阅读 (234)


    love 0
    Usubeni Fantasy
    发表于
    2024-02-06 05:19:41

    前端测试教程——自动化测试的类型

    > 原文传送门 Types of automated testing 在各种代码库中,对不同类型的测试进行命名通常遵循一定的共性,尽管这些命名并没有严格的定义标准。本课程尝试对每种测试类型给出了一些建议和解释,但你可能在其他地方看到有所不同的定义。 之前的内容中提到了单元测试和组件测试(以我们讨论的 React 组件为例)。这两种测试类型在我们的测试金字塔(或其他形状的模型)中处于较低位置,... ...继续阅读 (166)


    love 0
    诺多
    发表于
    2024-02-06 00:08:25

    Loom:一款轻量级的新生代快捷工具,速度杠杠滴!

    Loom是一款基于 Rust 构建的新生代生产力工具,拥有卓越的性能和超小的体积。它可以帮助用户保持高产出,释放出更多时间专注于创新和创造。目前Loom已支持Windwos(10/11)和MacOS(x86/arm)两大平台。1️⃣ 功能特性剪贴板历史:Loom 可以查看你的剪贴板历史记录,这样你就不必担心丢失复制的任何内容。只需几次点击,你就可以访问过去复制的所有文本,无论是图片、链接还是文本片段。翻译:Loom 还具有翻译功能。你可以向 Loom 提供需要翻译的文本,然后立即在屏幕上看到翻译的结果。这个功能非常适合快速查找特定单词或翻译不熟悉的词语,而无需打开浏览器或使用其他翻译工具。快贴:Loom 的另一个非常有用的功能是快贴。它可以将你经常使用的文本片段存储在任何地方,以便你在应用程序或网站上快速查找和使用它们。这减少了记忆成本,使你可以专注于创造和创新。快链:最后,Loom 还具有快链功能。只需告诉 Loom 你想访问的网站和查询的内容,它就可以在不打开浏览器的情况下直接带你到达目标网页。这个功能对于节省时间并提高工作效率非常有用。2️⃣ 界面展示1、唤醒快捷键点击右下角的北极熊图标,可以打开Loom的设置界面。在 设置->Loom界面,可以修改唤醒Loom的快捷键,比如在Mac平台默认的快捷键是Shift+Option+Space,笔者把它改成了Option+Space ...继续阅读 (151)


    love 0
    10k
    发表于
    2024-02-06 00:00:00

    171. Excel Sheet Column Number

    QuestionGiven a stringcolumnTitlethat represents the column title as appears in an Excel sheet, returnits corresponding column number.For example:A -> 1 B -> 2 C -> 3 ... Z -> 26 AA -> 27 AB -> 28 ...Example 1:Input: columnTitle = "A" Output: 1Example 2:Input: columnTitle = "AB" Output: 28Example 3:Input: columnTitle = "ZY" Output: 701Constraints:1 <= columnTitle.length <= 7columnTitleconsists only of uppercase English letters.columnTitleis in the range["A", "FXSHRXW"].ApproachSame idea with question 168 and this question is easier to implement.Each digit of column title string is the coeffic ...继续阅读 (73)


    love 0
    10k
    发表于
    2024-02-06 00:00:00

    168. Excel Sheet Column Title

    QuestionGiven an integercolumnNumber, returnits corresponding column title as it appears in an Excel sheet.For example:A -> 1 B -> 2 C -> 3 ... Z -> 26 AA -> 27 AB -> 28 ...Example 1:Input: columnNumber = 1 Output: "A"Example 2:Input: columnNumber = 28 Output: "AB"Example 3:Input: columnNumber = 701 Output: "ZY"Constraints:1 <= columnNumber <= 231 - 1ApproachFigure out how the column title and numbers are converted, it's can be regarded as a 26-based conversion;Then you will find that for each title appended it's the abcd...x;You don't have to create a map or array to store all the number to ...继续阅读 (58)


    love 0
    Teacher Du
    发表于
    2024-02-05 17:11:57

    通过 OpenSSL 生成 SSL 证书

    随着互联网技术发展和普及,网络安全问题日益突出。SSL 证书作为一种有效的网络安全解决方案,可以确保数据在传输过程中的保密性和完整性。OpenSSL 是一个开源 SSL 工具包,它可用于生成和管理 SSL 证书。本文详细说明如何使用 OpenSSL 生成 SSL 证书,并提供详细的操作步骤。生成 RSA 密钥对1openssl genrsa -outkey.pem 2048注意:要生成 RSA 密钥对可使用以下命令,这个命令将生成一个 2048 位的 RSA 密钥对,并将其保存在key.pem文件中。生成 DSA 密钥对1openssl dsaparam -outdsa.pem2048注意:要生成 DSA 密钥对可使用以下命令,这个命令将生成一个 2048 位的 DSA 密钥对,并将其保存在dsa.pem文件中。生成证书请求1openssl req -new-keykey.pem -out cert.csr注意:生成密钥对后下一步是生成证书请求。证书请求文件将包含公钥和其他信息,这些信息被 CA 用于验证证书请求。要生成证书请求可使用上面命令,这个命令生成一个证书请求文件,并将其保存在cert.csr文件中。在生成过程中,您需提供一些信息,例如国家代码、城市、组织名称、组织单位名称等等。签署证书1openssl x509 -req -incert.csr -signkeykey.p ...继续阅读 (131)


    love 0
    Denis &amp;#124; 邓鸿华
    发表于
    2024-02-05 16:26:48

    我做了一个极简的网址导航 WordPress 插件

    先说一件小事啊,就是做推广的时候,如果没有任何想法的时候,可以通过「夹带私货」的方式进行推广,什么意思呢?这就引出了行业网址导航的最大好处。😄行业网址导航的用途我在公司有一部分工作是帮助市场部们做推广,每次要做新产品的时候,我都建议他们做个行业的网址导航站点,然后把自己的产品放在其中,并且放到第一个,这样一些「不明真相」的用户以为该产品真的是属于行业前茅。😎这样可以一石二鸟,我们有一个很好的行业网址导航网站,可以方便和行业上下游公司合作,还可以在用户群体中达到了品牌宣传的效果。该一招屡试不爽,当然这样做能够成功还是有前提,首先就是要产品做得足够好,至少是行业第一梯队的水平的,然后就是运营人员能够有足够的资源把这个行业网址导航网站推出去,在该行业让很多人知道。因为任何行业都存在一定的信息不对称,如果有人帮你把这个常用的方方面面的网站和工具都集合在一起,本身就是一件有价值的事情,很多人可以把这类网站作为公司电脑的浏览器首页,方便自己的工作。当然对于行业网站来说,还有工具,资讯,供需信息等都是很强的需求,我这2年的工作都有涉猎,也做了一些开发,之后我还会做更多介绍,今天还是回归今天的主题,网址导航。极简网址导航插件因为公司涉及的业务线比较多,所以这2年其实做了好几个网址导航插件,之前使用市面的上的一些模板,但是都不太满意,所以我慢慢就自己一行一行手写代码了,前后端都是自己手写的,😁 然后 ...继续阅读 (291)


    love 0
    admin
    发表于
    2024-02-05 15:46:31

    DrissionPag:不一样爬虫库

    写这篇文章是因为从hellogithub看到2023年度热榜上的一些项目,其中这个项目DrissionPage 就挺有意思的。虽然博主爬虫爬的不多,偶尔爬爬,看了这个项目之后觉得值得研究一下。在之前的一篇文章中,博主用selenium还在找 chrome driver在到处找资源,这不DrissionPage 就不依赖于 webdriver 也省了不少心。对于静态页面其实抓取数据很简单,但是目前大部分都是动态的,甚至有需要登陆状态等,使用chrome 等浏览器就可以不用去处理js加载等多种问题,不然你要自己去处理很麻烦耗时,影响效率。这也是selenium 和DrissionPage诞生的主要原因吧!看了下DrissionPage的文档,早期也是依赖于selenium,在后来的3.x开始摆脱selenium 的依赖,想要”开发的快,爬的也快”。DrissionPage 看目前的最新的版本是4.0,一些相关的特性如下:🎇 强大的自研内核本库采用全自研的内核,内置了 N 多实用功能,对常用功能作了整合和优化,对比 selenium,有以下优点:无 webdriver 特征无需为不同版本的浏览器下载不同的驱动运行速度更快可以跨 iframe 查找元素,无需切入切出把 iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰可以同时操作浏览器中的多个标签页 ...继续阅读 (189)


    love 0
    bluishglc
    发表于
    2024-02-05 15:19:28

    Flink CDC 与 Kafka 集成:State Snapshot 还是 Changelog?Kafka 还是 Upsert Kafka?

    我们知道,尽管 Flink CDC 可以越过 Kafka,将关系型数据库中的数据表直接“映射”成数据湖上的一张表(例如 Hudi 等), 但从整体架构上考虑,维护一个 Kafka 集群作为数据接入的统一管道是非常必要的,这会带来很多收益。在 Flink CDC 之前,以 Debezium + Kafka Connect 为代表的技术组合都是将数据库的CDC数据先接入到 Kafka 中,然后再由后续的组件解析和处理。 ...继续阅读 (185)


    love 0
    Teacher Du
    发表于
    2024-02-05 14:54:17

    MySQL 预编译语句

    MySQL 预编译语句是一种强大的工具,它不仅提高了应用程序性能,还提升数据安全性。本文将深入探讨 MySQL 预编译语句的原理、优势及如何在实际应用中有效地使用它们。简介预编译语句也被称为参数化查询,是一种在数据库层面处理 SQL 语句方法。它允许开发者在编译时将 SQL 语句中参数值替换为占位符,然后在运行时再将实际的参数值传递给数据库。原理预编译语句的工作原理分为两个阶段:编译阶段、执行阶段。在编译阶段时,MySQL 将 SQL 语句进行语法分析和优化,生成对应执行计划。在执行阶段是,MySQL 根据执行计划执行 SQL 语句,并将结果返回给客户端。以此提升执行效率。优势提高安全:预编译语句可以防止 SQL 注入攻击,这是一种常见安全漏洞,攻击者可以利用它修改或删除数据库中的数据。通过用预编译语句,开发者可以确保所有 SQL 语句在编译时都已经过验证,从而防止 SQL 的注入攻击。提升性能:预编译语句可以显著提高应用程序的性能。当相同 SQL 语句被多次执行时,预编译语句可以重用编译后的 SQL 语句,从而节省编译时间。此外,预编译语句还可减少 SQL 解析器的负担,进一步提高 MySQL 性能。简化代码:使用预编译语句可简化 SQL 语句的编写,特别是在处理动态 SQL 语句时。开发者可将参数值直接传递给预编译语句,而无需手动拼接 SQL 语句,从而降低出错的可能性。使用1 ...继续阅读 (173)


    love 0
    bluishglc
    发表于
    2024-02-05 14:44:40

    Flink 动态表 (Dynamic Table) 解读

    根据过去在流上维持状态的编程经验,我们可以深刻地体会到:Dynamic Table 的本质其实是基于 changelog 数据流维持的一个流上的状态(State)! 动态表是 Flink 能以 SQL 驱动和操纵流式处理的基础,也是 Flink 实现 ”批流一体“ 的一项内在的技术支撑。简单地说,它的思想就是:将一个”流“抽象成一张”无界”的数据表,这样就可以在上面施加 SQL 操作了。静态的关系表和数据流有可以类比的地方,这是能将两者映射在一起的理论基础,同时,它们之间也有难以弥合的差异,所以在某些方面 ...继续阅读 (140)


    love 0
    云风的 BLOG
    发表于
    2024-02-05 14:17:22

    为 log 实现的无锁 Ringbuffer

    这两天在改 log 模块。我们需要一个并发写 log 的模块,它有多个 log 生产者一个消费者,这个唯一的消费者在 log 线程中把 log 数据持久化。大多数 log 生产者是在第三方库的 callback 函数中调用的,比如 bgfx ,如果写 log 不够快的话,就会阻塞渲染。这个 callback 需要自己保证线程安全。因为 bgfx 支持多线程渲染,所以写 log 的 callback 可能在不同的线程触发。过去在实现bgfx 的 luabinding时,我实现了一个简单的 mpsc 队列,get_log这个函数就是那个单一消费者,它取出队列中所有的 log 信息,返回到 lua 虚拟机中。它是用spin_lock实现的。这两天,我想应该可以实现一个更通用的无锁版本。在我的需求中,log 信息是允许丢掉的。所以我开了一个固定大小的 ringbuffer 收集各个不同线程生产出来的 log ,然后在一个单一线程定期(通常是一个渲染帧一次)取出它们。只要取的频率够高,而生产的 log 数量不那么快的话,一个合适大小的 ringbuffer 就能以最简单的数据结构解决问题。我觉得一个无锁结构的 log 系统需要两个 ringbuffer 。我们缓存的 log 条目数目上限估计不用太大,4096 或许是个合适的数字:即,每帧不会产生超过 4000 条 log 。那么就用一个 4 ...继续阅读 (184)


    love 0
    Teacher Du
    发表于
    2024-02-05 14:12:53

    MySQL 如何启用 SSL 加密连接

    MySQL 是一种流行的开源数据库管理系统,广泛应用于各种 Web 应用程序和数据存储中。然而,传统的 MySQL 连接在传输数据时并未加密,可能存在安全风险。启用 SSL 加密连接可确保数据在传输过程中的安全性和完整性。本文详细说明如何在 MySQL 中启用 SSL 加密连接。准备工作SSL 是一种被广泛使用的网络协议,用于在客户端和服务器之间建立安全通信通道。通过使用 SSL 可以确保传输的数据不被第三方窃听或篡改。启用 SSL 加密连接第一步是准备 SSL 证书。SSL 证书由可信证书颁发机构签发,用于验证服务器的身份。您可以从 CA 购买 SSL 证书,也可使用 OpenSSL 等工具自行生成。在开始启用 SSL 之前,需要确保 MySQL 服务器和客户端已经安装了 SSL 模块。如果您使用的是 MySQL 二进制包,那么可能已经安装了 SSL 模块。如果您使用的是源码包,则需手动编译并安装 SSL 模块。安装证书将 SSL 证书安装到 MySQL 服务器上。通常,您需要将 SSL 证书和私钥文件复制到 MySQL 服务器的指定目录,如/etc/mysql/ssl。编辑 MySQL 服务器配置文件,以启用 SSL 并指定 SSL 证书和私钥文件的路径。配置示例以下是一个 SSL 示例配置:1234[mysqld]ssl-ca=/etc/mysql/ssl/ca.pemssl ...继续阅读 (139)


    love 0
    ysicing (i@ysicing.me)
    发表于
    2024-02-05 13:06:04

    使用 Terraform 在 AWS 实现自动化创建VPC和EC2

    需求新建vpcMysql所在节点不允许被公网访问,但是可以访问公网(NAT出去)Web所在节点只允许80,443,22端口访问准备工作这里定义了variables.tf一些变量,主要是aws地域、vpc相关子网,以及EC2节点配置免密信任variable "aws_region" { description = "aws region" default = "us-east-1" } variable "vpc_cidr" { description = "CIDR block for the subnet" default = "10.20.0.0/16" } variable "vpc_subnet_public_cidr" { default = "10.20.0.0/24" } variable "vpc_subnet_private_cidr" { default = "10.20.1.0/24" } variable "public_key_location" { description = "Location of the public key to be used for SSH access" default = "/root/.ssh/id_rsa.pub" }创建vpc、子网、路由及网关resou ...继续阅读 (188)


    love 0
    惜分飞
    发表于
    2024-02-05 11:32:53

    ORA-01595-ORA-600 4194处理

    联系:手机/微信(+86 17813235971) QQ(107644445)标题:ORA-01595-ORA-600 4194处理作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]又一个客户由于服务器断电,导致oracle无法正常启动报ORA-600 4194错误Sat Jan 20 13:45:22 2024 ALTER DATABASE OPEN Beginning crash recovery of 1 threads parallel recovery started with 32 processes Started redo scan Completed redo scan read 31 KB redo, 5 data blocks need recovery Started redo application at Thread 1: logseq 9, block 3 Recovery of Online Redo Log: Thread 1 Group 3 Seq 9 Reading mem 0 Mem# 0: D:\ORACLE\ORADATA\xff\REDO03.LOG Completed redo application of 0.02MB Completed crash recovery at ...继续阅读 (190)


    love 0
    惜分飞
    发表于
    2024-02-05 11:32:53

    ORA-01595/ORA-600 4194处理

    联系:手机/微信(+86 17813235971) QQ(107644445)标题:ORA-01595/ORA-600 4194处理作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]又一个客户由于服务器断电,导致oracle无法正常启动报ORA-600 4194错误Sat Jan 20 13:45:22 2024 ALTER DATABASE OPEN Beginning crash recovery of 1 threads parallel recovery started with 32 processes Started redo scan Completed redo scan read 31 KB redo, 5 data blocks need recovery Started redo application at Thread 1: logseq 9, block 3 Recovery of Online Redo Log: Thread 1 Group 3 Seq 9 Reading mem 0 Mem# 0: D:\ORACLE\ORADATA\xff\REDO03.LOG Completed redo application of 0.02MB Completed crash recovery at ...继续阅读 (174)


    love 0
    xiaoz
    发表于
    2024-02-05 09:05:43

    关于注册英国公司那点事

    在《2023年个人项目经历分享》中xiaoz给自己定下一个计划:“上线至少一款海外产品”,为了将这个计划顺利完成,思来想去感觉有必要注册一个海外公司来开展海外业务。网上搜索了一番,发现英国公司注册成本相对较低,确定后立即开展行动,于是xiaoz成功注册了一家英国公司。去哪里注册xiaoz对注册英国公 ...继续阅读 (192)


    love 0
    Yanjun
    发表于
    2024-02-05 08:59:04

    PyTorch 使用 DP 模式实现数据并行

    PyTorch 使用 torch.nn.DataParallel 来实现基于数据并行的单机、多 GPU 并行训练。使用 DP 方式在多 GPU 上训练模型,需要保证模型能够在每个 GPU 上放得下,训练过程中会把整个模型都复制到每个 GPU 内,通过数据并行的方式提高训练模型的速度。虽然 DataParallel 使用起来非常容易,但是通常不能够获得最佳的性能。DataParallel 在每一轮的前向传播过程中,会复制一遍模型,同时这种基于单进程、多线程的并行方式也会存在 GIL(Global Interpreter Lock) 竞争问题。DP 数据并行训练流程下面我们分析一下 DP 数据并行模式在多 GPU 的情况下训练模型的基本流程,如下图所示:基于 DP 模式,模型训练的基本过程分为三个阶段,描述如下:前向传播计算过程1.Scatter mini-batch inputs to GPUs我们通过指定 batch_size 大小,对输入的训练数据集进行了分割,在训练神经网络模型的前向传播过程中,会将每一个小批数据(Mini-Batch)分发到每一个 GPU 上。具体过程是:将 4 个小批数据 i1 ~ i4 复制到 GPU-1 上,再将 4 个小批数据分别发送到 GPU-1 ~ GPU-4 上。2.Replicate model on GPUs将整个模型都拷贝到所有的 GPU ...继续阅读 (187)


    love 0
    月小升
    发表于
    2024-02-05 08:57:58

    docker 快速操作笔记

    使用 ubuntu 镜像启动一个容器 docker run -it ubuntu /bin/bash -i: 交互式操作。 -t: 终端。 ubuntu ubuntu镜像 /bin/bash:放在镜像名后的是命令,这里我们希望有个交互式 Shell,因此用的是 /bin/bash。 直接就进了一个ubuntu系统了,要退出直接输入exit 启动已经停止的容器 docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES ecc2450bfe40 ubuntu "/bin/bash" 2 minutes ago Exited (0) 14 seconds …Continue reading→ ...继续阅读 (107)


    love 0
    ysicing (i@ysicing.me)
    发表于
    2024-02-05 02:26:40

    什么是Terraform

    我的个人见解: 降低学习云服务成本(如AWS),相比较国内阿里云/腾讯云,AWS真TM复杂,如AWS的公网子网和私有子网TerraformTerraform 是一种安全有效地构建、更改和版本控制基础设施的工具(基础架构自动化的编排工具)​。它的目标是Write, Plan, and create Infrastructure as Code, 基础架构即代码。Terraform 几乎可以支持所有市面上能见到的云服务。具体的说就是可以用代码来管理维护 IT 资源,把之前需要手动操作的一部分任务通过程序来自动化的完成,这样的做的结果非常明显:高效、不易出错*提供了对资源和提供者的灵活抽象​该模型允许表示从物理硬件、虚拟机和容器到电子邮件和 DNS 提供者的所有内容。由于这种灵活性,Terraform 可以用来解决许多不同的问题。这意味着有许多现有的工具与Terraform 的功能重叠。但是需要注意的是,Terraform 与其他系统并不相互排斥。它可以用于管理小到单个应用程序或达到整个数据中心的不同对象。使用配置文件描述管理的组件(小到单个应用程序,达到整个数据中心)Terraform 生成一个执行计划,描述它将做什么来达到所需的状态,然后执行它来构建所描述的基础结构。随着配置的变化,Terraform 能够确定发生了什么变化,并创建可应用的增量执行计划。简单来说:咱们遵循Terraf ...继续阅读 (152)


    love 0
    Artech
    发表于
    2024-02-05 01:42:00

    WebAssembly核心编程[4]: Memory - Artech

    【摘要】由于Memory存储的是单纯的二进制字节,所以原则上我们可以用来它作为媒介,在wasm模块和数组程序之间传递任何类型的数据。在JavaScript API中,Memory通过WebAssembly.Memory类型表示,我们一般将它内部的缓冲区映射相应类型的数组进行处理。WebAssembly也提供了相应的指令来提供针对Memory的读、写、扩容等操作阅读全文 ...继续阅读 (135)


    love 0
    诺多
    发表于
    2024-02-05 00:16:57

    万万没想到,威联通QuMagie相册不显示缩略图,原来问题出在这!

    得益于天地极限大佬的阔绰,我的威联通系统中的自带了CAYIN MediaSign Player Plus许可证,此前使用QuTS hero系统时,QuMagie的缩率图显示是完全正常的,无论是照片还是视频,都能正常显示出来。1️⃣ 风云突变后来,因为hero系统一些兼容性的情况,我又把系统换成了QTS,自此以后,QuMagie死活不显示缩率图了,就是下面这样。在Multimedia上可以看到,索引、缩略图、人脸识别啥的都是正常生成,更吊诡的是无论是File Station还是QFile,也都能正常显示缩率图,说明缩率图本身是正常生生成了。2️⃣ 火速求援问遍了一圈大佬,都看不出来原因在哪,最后只能求助威联通官方了!微信上加了对方的客服,然后把现象描述了一遍,留了电话号码(第一次还留错了!),不一会就接到技术小哥的电话了。下面是与对方通话的全过程(稍有演绎)技术小哥:你好。我:你好(此处省略200字,吧啦吧啦把现象说了一遍)技术小哥:哦,那奇怪了,我先远程下你电脑,看看啥情况。我:咋远程?技术小哥:有🌻吗?我:没有。。。电脑上不让装(公司的电脑)技术小哥:额。。。容我想想我:好的技术小哥:是QTS系统对吧,怀疑是权限问题,没远程不好办啊我:是的,要不你直接跟我说说,我会一点技术小哥:那行,ssh可以进吧?我:没问题(手到擒来),于是ssh进入终端技术小哥:先cd /share目录,看 ...继续阅读 (147)


    love 0
    Elmagnifico\'s Blog
    发表于
    2024-02-05 00:00:00

    雾锁王国

    Foreword雾锁王国,高清版英灵神殿,发售时间好巧不巧遇到了帕鲁,虽然也百万套了,不过被帕鲁抢了太多风头了服务器需求CPU,4coresRAM,16G,这次直接给32G,防止意外Network,Port UDP 15636、15637硬盘,30G,建议给多点,不支持linux比较麻烦的是雾锁王国没有linux服务器,目前有的linux使用docker,内涵了wine等转译方式运行的steam和游戏,这种如果游戏更新了,docker没更新就跟不上,那就不如自己windows开一个得了linuxlinux版本建服,可以参考这里https://github.com/PR3SIDENT/enshrouded-serverwindows安装首先安装steamcmdhttps://steamcdn-a.akamaihd.net/client/installer/steamcmd.zip解压后运行完成以后就有steam的基础环境了接着上面的命令行,继续执行,匿名登陆login anonymous下载游戏app_update 2278520 validate退出quit服务器启动路径\steamcmd\steamapps\common\EnshroudedServer\enshrouded_server.exe服务器第一次启动以后会生成enshrouded_server.json配置文件,就可 ...继续阅读 (170)


    love 0
    Elmagnifico\'s Blog
    发表于
    2024-02-05 00:00:00

    2023游戏短评

    Forewordsteam自建的2023年游戏回顾https://store.steampowered.com/replay/76561198094167163/2023今年游玩迷雾回升 demo海港物语 demo觅长生Springblades奇怪的RPGSail ForthMr. Sun’s Hatbox 日先生的帽盒地牢100我们曾到此探险:友谊考验矮人军团自走棋魔王终局暗黑4卧龙铁轨与墓穴 Railroads & Catacombs绝世好武功拼贴冒险传GroundedEmber KnightsSuper Raft Boat Together魔法工艺 Magicraft清零计划2:天启派对幻兽帕鲁雾锁王国新游期待Summary ...继续阅读 (175)


    love 0
    wireless_com
    发表于
    2024-02-04 20:24:13

    大模型系列——解读RAG

    RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上,覆盖了结合网络搜索引擎和 LLM 的问答服务,到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构,但什么是RAG呢?RAG又涉及了哪些具体的技术呢?1. 什么是RAGRAG即检索增强生成,为 LLM 提供了从某些数据源检索到的信息,并基于此修正生成的答案。RAG ... ...继续阅读 (167)

上一页 396/4404 下一页
沪ICP备19023445号-2号
友情链接