开始技术细节之前，关于有声书想多絮叨两句（也算是一种产品需求分析）：有声书的主要需求来源：随着生活节奏加快，人们越来越依赖碎片时间获取信息，有声书允许用户在通勤、做家务、运动等场景中同步进行 “阅读”；特殊人群的阅读需求，老人、视障等天然存在阅读困难的人，儿童等尚需启蒙的人群等都需要借助有声书来“阅读”；情感陪伴与心理健康支持需求，声音的陪伴属性使其成为心理健康的 “软支撑”，睡前听书还可能通过影响梦境内容（如高频 β 波激活记忆）间接改善心理状态，广播剧、小说等内容通过角色演绎引发情感共振。技术可行性：丰富的kindle、z-library等电子书资源提供了高质量的有声书文本资源；AI 技术（如 TTS 语音合成）大幅降低制作成本；MCP协议生态的丰富大大增强了AI的能力边界；从业务价值的角度做这件事情是有待商榷的：已经有喜马拉雅这样平台了，折腾有声书转换的必要性不高；已经有NotebookLM了，自己去开发基于LLM的工具必要性不高；平台和工具皆有竟品的情况下，这件事情的效率和性价比都会有问题，所以这个项目只能是个人兴趣和副业；基于上述的分析，打算用MCP Servers + LLM实现将电子书转换为有声书的小工具，使用方式很简单在AI交互框中输入“将xxx目录中xxx转为成音频”，这样我就拥有了一个低配版的喜马拉雅，将任意自己喜欢电子书变成自己和家人喜欢的有声书了。技术思路首 ...继续阅读 (7)

...继续阅读 (33)

...继续阅读 (43)

import numpy as np def chunks_with_numpy(numbers, chunk ...Read more使用Numpy将数值列表按等份拆成子列表chunk ...继续阅读 (58)

国外的程序员休完他们的假期之后在玩什么？他们在玩十亿行的代码挑战。工程师贡纳尔·莫林在元旦发起一个挑战(1BRC),挑战从 1 月 1 日持续到 1 月 31 日。如果你决定接受它，你的任务看似简单：编写一个 Java 程序，用于从文本文件中检索温度测量值并计算每个气象站的最小、平均值和最高温度。只有一点需要注意：文件有1,000,000,000 行！（1 billion， 10亿行)。这个文本文件结构简单，每行一个测量值, 气象站和它的测量温度：123456Hamburg;12.0Bulawayo;8.9Palembang;38.8St.John's;15.2Cracow;12.6...程序应打印出每个站的最小值、平均值和最大值，按字母顺序排列，如下所示：1{Abha=5.0/18.0/27.4, Abidjan=15.7/26.0/34.1, Abéché=12.1/29.4/35.6, Accra=14.7/26.4/33.1, Addis Ababa=2.1/16.0/24.3, Adelaide=4.1/17.3/29.7,...}1BRC挑战的目标是为这项任务创建最快的实现， 在这样做的同时，探索现代 Java 的好处，并找出你可以将这个平台推向多远。 因此，使用所有的（虚拟）线程，利用 Vector API 和 SIMD，优化你的 GC，利用 AOT 编译，或者使用你 ...继续阅读 (72)

本文摘录自《Nodejs学习笔记》，更多章节及更新，请访问github主页地址。欢迎加群交流，群号197339705。写在前面body-parser是非常常用的一个express中间件，作用是对post请求的请求体进行解析。使用非常简单，以下两行代码已经覆盖了大部分的使用场景。app.use(bodyParser.json()); app.use(bodyParser.urlencoded({ extended: false }));本文从简单的例子出发，探究body-parser的内部实现。至于body-parser如何使用，感兴趣的同学可以参考官方文档。入门基础在正式讲解前，我们先来看一个POST请求的报文，如下所示。POST /test HTTP/1.1 Host: 127.0.0.1:3000 Content-Type: text/plain; charset=utf8 Content-Encoding: gzip chyingp其中需要我们注意的有Content-Type、Content-Encoding以及报文主体：Content-Type：请求报文主体的类型、编码。常见的类型有text/plain、application/json、application/x-www-form-urlencoded。常见的编码有utf8、gbk等。Content-Encoding：声 ...继续阅读 (40)

为什么选择利用node来写爬虫呢？就是因为cheerio这个库，全兼容jQuery语法，熟悉的话用起来真真是爽依赖选择cheerio： Node.js 版的jQueryhttp：封装了一个HTPP服务器和一个简易的HTTP客户端iconv-lite：解决爬取gb2312网页出现乱码初步实现既然是要爬取网站内容，那我们就应该先去看看网站的基本构成选取的是电影天堂作为目标网站，想要去爬取所有最新电影的下载链接分析页面页面结构如下：我们可以看到每个电影的标题都在一个class为ulink的a标签下，再往上定位，我们可以看到最外部的盒子class为co_content8ok，可以开工了获取一页电影标题首先引入依赖，并设定需要爬取的urlvar cheerio = require('cheerio'); var http = require('http'); var iconv = require('iconv-lite'); var url = 'http://www.ygdy8.net/html/gndy/dyzz/index.html';核心代码index.jshttp.get(url, function(sres) { var chunks = []; sres.on('data', function(chunk) { chunks.push(chunk); } ...继续阅读 (5)

Prometheus是什么Prometheus是一个开源的系统监控和报警工具，特点是多维数据模型（时序列数据由metric名和一组key/value组成）在多维度上灵活的查询语言(PromQl)不依赖分布式存储，单主节点工作.通过基于HTTP的pull方式采集时序数据可以通过push gateway进行时序列数据推送(pushing)可以通过服务发现或者静态配置去获取要采集的目标服务器多种可视化图表及仪表盘支持pull方式Prometheus采集数据是用的pull也就是拉模型,通过HTTP协议去采集指标，只要应用系统能够提供HTTP接口就可以接入监控系统，相比于私有协议或二进制协议来说开发、简单。push方式对于定时任务这种短周期的指标采集，如果采用pull模式，可能造成任务结束了，Prometheus还没有来得及采集，这个时候可以使用加一个中转层，客户端推数据到Push Gateway缓存一下，由Prometheus从push gateway pull指标过来。(需要额外搭建Push Gateway，同时需要新增job去从gateway采数据)组成及架构Prometheus server主要负责数据采集和存储，提供PromQL查询语言的支持客户端sdk官方提供的客户端类库有go、java、scala、python、ruby，其他还有很多第三方开发的类库，支持nodejs、php、 ...继续阅读 (25)

LAST UPDATE:Jun 15, 2011APPLIES TO:Oracle Server - Enterprise Edition - Version: 9.2.0.1 to 11.1.0.8 - Release: 9.2 to 11.1 Information in this document applies to any platform. Customers should have limited access to these scripts. There can be database hangs and impacts to performance running these too often.PURPOSE:There are a number of x$ queries in various notes in WebIV. This note is an attempt to collect the commonly used scripts for investigating Shared Pool problems in one place. Attached is a ZIP file with the common scripts for analysis of fragmentation and/or memory problems.Cl ...继续阅读 (34)

一、使用GridFS的理由1）存储用户产生的文件内容大多数Web应用都允许用户上传文件。当用户使用关系数据库时，这些用户产生的文件会存储在文件系统中，与数据库相隔离，而不是放在数据库内。这就带来了一些问题。如何将文件复制到所有需要文件的服务器上？当文件删除后，怎样删除所有的拷贝？怎样保障文件的安全以及做灾备呢？GridFS很好地解决了这些问题，你可以利用你的数据库备份来备份你的文件。而且由于MongoDB自身的复制技术，在MongoDB集群中的每一个副本处都有你的文件拷贝。删除文件跟删除数据库中的对象一样简单。2）访问文件内容的分区当把文件上传到GridFS后，文件会被分割成大小为256KB的块，并单独存放。因此当你需要读文件中的某个范围的字节时，只需把相应的文件块载入内存，而无需把整个文件加载到内存。这一点对于选择读或编辑尺寸很大的媒体内容文件时非常有用。3）在MongoDB中存储16MB以上的文件MongoDB默认的文件大小上限为16MB。所以，如果你的文件超过了16MB，那么你就应该使用GridFS。4）克服文件系统的限制如果你需要存储大量的文件，你就需要考虑文件系统自身的限制，因为文件系统对目录下的文件数量是有要求的。而使用GridFS后，你无需再担心这个问题。GridFS和MongoDB的分片使得你的文件可以分布到多个服务器上，而且没有增加操作的复杂性。二、深入GridF ...继续阅读 (32)

在「如何学习」这点上，一直觉得自己做的不够好，曾经想学吉他，坚持了两个礼拜就以「手指太短，不适合」终结了，后来想学数学，却终究连翻开书的勇气都没有，工作一忙更是顾不上这些了。所以在 Youtube 上看到 Barbara Oakley 的Learning How to Learn时，才发现自己在学习上的各种问题，收获颇多。如果有兴趣的话，建议直接看视频，讲解地很有条理且生动。Barbara Oakley是系统工程学博士，但对于「学习」方面也颇有研究，在Coursera上也有相应的课程。还出了几本书，比如A Mind For Numbers: How to Excel at Math and Science，这里对于她在Google 的分享做一个简单的翻译和摘要。摘要(主持人)我记得查理芒格说过，他认识的人中没有一个不每天阅读的，还把巴菲特形容为一台学习机器。那么如何才能成为一个高效学习者呢？正文我小的时候，想要学习其他语言，但大学的助学金不太容易拿到，而我又迫切想要学习一门语言，然后我想到了一个既可以学习语言，又能得到些收入的方法，那就是参军。然后我确实学了一门语言：俄语。虽然俄国的环境不怎么样，但我喜欢冒险和新的视角。我回想在西点的工程师们，他们解决问题的能力非常出众，往往能想到我想不到的。然后我就想，我能不能也达到跟他们一样的程度？有学生提了这么个问题：如何改变你的大脑。然后我 ...继续阅读 (9)

QUESTION NO: 510Which statement describes the information returned by the DBMS_SPACE.SPACE_USAGE procedure forLOB space usage?A. It returns space usage of only BasicFile LOB chunks.B. It returns space usage of only SecureFile LOB chunks.C. It returns both BasicFile and SecureFile LOB space usage for only nonpartitioned tables.D. It returns both BasicFile and SecureFile LOB space usage for both partitioned and nonpartitioned tables.Answer: B哪个语句描述由用于大对象空间使用率的数据库管理系统空间.空间使用程序返回的信息？B.它只返回安全文件大对象块的空间使用率。 ...继续阅读 (28)

QUESTION 9Which statement describes the information returned by the DBMS_SPACE.SPACE_USAGE procedurefor LOB space usage?A. It returns space usage of only BasicFile LOB chunks.B. It returns space usage of only SecureFile LOB chunks.C. It returns both BasicFile and SecureFile LOB space usage for only nonpartitioned tables.D. It returns both BasicFile and SecureFile LOB space usage for both partitioned and nonpartitionedtables.Correct Answer: B该声明介绍了dbms_space.space_usage程序返回的信息对于LOB空间使用?B.它的回报只有securefile LOB块空间的使用。 ...继续阅读 (33)

0x00 Heap当进程开始运行时，堆管理器会创建一个新的堆，其被称为进程的默认堆。c/c++应用程序也会创建所谓的CRT堆 （在进行与new/delete、 malloc/free有关的操作及涉及他们的变量时会使用到）。通过HeapCreate API函数也可以创建其它的堆。堆管理器分为：前端分配器（Front End Allocator）和后端分配器 （Back End Allocator）。0x01 前端分配器前端分配器(Front End Allocator)是后端分配器(Back End Allocator)的一种抽象优化层。不同的使用案例会涉及到不同类型的前端分配器。前端分配器为：旁视列表（Look aside list,LF）前端分配器低碎片堆（Low fragmentation ,LF）前端分配器LAL是一个由128个链表组成的表.每个列表含有特定大小的空闲块，其始于16字节。每个块的大小包含元数据的8个字节，它被使用于管理块。在决定所给出大小的列表中，求其索引值的公式为index = ceil((size + 8)/8) – 1，”+8”是用于元数据的计数。索引值总为正。从Windows Vista开始，就没再使用LAL前端分配器，取而代之的是使用LF 前端分配器。 LF前端分配器非常复杂，主要是试图通过分配最小的内存块(具有足够大小来容纳被请求大小的数据)来减少 ...继续阅读 (38)

检测命中率是一个最基本的、最宏观的方式，使用telnet连接到memcached服务器，然后执行stats命令就可以看到宏观的一些信息。这个命令中比较关键的属性是get_hits和get_misses，get_hits表示读取cache命中的次数，get_misses是读取失败的次数，即尝试读取不存在的缓存数据。命中率=get_hits / (get_hits + get_misses)：命中率越高说明cache起到的缓存作用越大。但是在实际使用中，这个命中率不是有效数据的命中率，有些时候get操作可能只是检查一个key存在不存在，这个时候miss也是正确的，这就像用memcached作为一种定时器，将一些临时数据在memcache中存放特定时间长度，业务逻辑会根据cache是否存在而作不同的逻辑，这种数据其实已经不是单纯的缓存了，也不应该统计到命中率中。再者，这个命中率是从memcached启动开始所有的请求的综合值，不能反映一个时间段内的情况，所以要排查memcached的性能问题，还需要更详细的数值。但是高的命中率还是能够反映出memcached良好的使用情况，突然下跌的命中率能够反映大量cache丢失的发生。Stats items：Stats items命令可以查看每个slab中存储的item的一些详细信息。关键属性有：最后被剔除的数据在cache中存放的时间，以秒为单位s ...继续阅读 (85)

1：启动mongodb，往week10数据库中存放一个500M以上的大文件 2：观察fs.chunks和fs.files，发现存放一个文件，就在fs.files增加一个文档，而在fs.chunks中增加了文件大小除以chunksize个文档，并且fs.chucks中的filws_id字段就是fs.files中的_id字段值。  ...继续阅读 (27)

【摘要】1. 名词解释Shards : 每一个shard包括一个或多个服务和存储数据的mongod进程（mongod是MongoDB数据的核心进程）典型的每个shard开启多个服务来提高服务的可用性。这些服务/mongod进程在shard中组成一个复制集Chunks: Chunk是一个来自特殊集合中的一个数据范围，（collection，minKey，maxKey）描叙一个chunk，它介于minKey和maxKey范围之间。例如chunks 的maxsize大小是100M，如果一个文件达到或超过这个范围时，会被切分到2个新的chunks中。当一个shard的数据过量时，chunks将会被迁移到其他的阅读全文 ...继续阅读 (8)

1. 名词解释Shards : 每一个shard包括一个或多个服务和存储数据的mongod进程（mongod是MongoDB数据的核心进程）典型的每个shard开启多个服务来提高服务的可用性。这些服务/mongod进程在shard中组成一个复制集Chunks: Chunk是一个来自特殊集合中的一个数据范围，（collection，minKey，maxKey）描叙一个chunk，它介于minKey和maxKey范围之间。例如chunks 的maxsize大小是100M，如果一个文件达到或超过这个范围时，会被切分到2个新的chunks中。当一个shard的数据过量时，chunks将会被迁移到其他的本文链接：MongoDB源码阅读之Shard源码分析--CongfigServer启动，转载请注明。 ...继续阅读 (19)