GPT 系列模型对应的论文及 Tech Report，参考如下表所示：GPT 模型Paper/Tech ReportGPT-1Improving Language Understanding by Generative Pre-TrainingGPT-2Language Models are Unsupervised Multitask LearnersGPT-3Language Models are Few-Shot LearnersGPT-3.5Training language models to follow instructions with human feedbackGPT-4GPT-4 Technical ReportGPT-4VThe Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)下面，对 GPT 系列每一个模型的网络架构和相关优化技术要点进行详细说明。GPT-1 模型GPT-1 模型的基本架构，以及基于预训练模型进行微调应用于下游 NLP 任务的流程，如下图所示：GPT-1 模型的训练过程，可以分为两个阶段：无监督预训练（Unsupervised Pre-training）GPT-1 模型采用了基于自注意力（Self-Attention）机制的 Transformer 模型，模型架构只包括解码器 ...继续阅读 (118)

目前，已经有研究提出了多模态 Agent AI（Multimodal Agent AI，MAA）的概念，类似这样的一个 MAA 系统，能够基于对多模态感知输入的理解，在一个给定的环境中生成有效的行为。例如，下面是一个交互增强的 Agent 系统，如图所示：上面这个多模态的 Agent AI 系统展示了基于 2D/3D 在跨现实（ross-reality）中实现生成，和进行编辑交互。我们对图中上面的会议室场景，说明如下：首先，在物理世界交互中，通过人类输入的指令，使用 DALLE-2 模型，通过文生图得到一个会议室场景图片。然后，通过 Knowledge Agent 问答系统，得到一个与会议相关的各种元素，如投影仪、桌子、椅子、白板等等。接着，通过虚拟现实（Virtual Reality） Agent 能够看到一个虚拟的会议室场景。最后，通过模拟器或一些 AR/MR 设备实现从物理世界与虚拟世界的交互，可以操作 AR/MR 设备完成特定任务，如远程会议的“现场”开会任务。另外两个例子（2D 到 3D 的交互；物理世界公交车场景到游戏场景的生成与交互）也是一样的，都实现了从物理世界到虚拟世界的映射与交互。新的 Agent 范式通过上面图示的例子，我们可以看到，要实现一个基于多模态跨现实的 Agent AI 系统，涉及到很多 Agent 之间的集成（Integration）与交互（Int ...继续阅读 (69)

HuggingGPT 是浙江大学、微软亚洲研究院合作开发的开源项目，以 ChatGPT 和 Hugging Face 为基础构建的一个 AI Agent 框架，融合了 LLM 和 AI 领域模型的能力，用来解决不同领域和不同模态的 AI 任务。HuggingGPT 是一个以 LLM（比如 ChatGPT）为控制器，以专家模型（HuggingFace）为执行任务的 AI Agent 系统，主要通过连接到各个领域内的专家模型以尝试自动地解决各种复杂的 AI 任务。HuggingGPT 以自然语言为接口，通过 ChatGPT 进行任务规划、模型选择，并通过使用专家模型处理对应领域的问题，生成最终结果，从而能够很好地解决 AI 任务。HuggingGPT 对应的相关代码和工具，都托管在 Github 上，对应的项目名是 JARVIS：https://github.com/microsoft/JARVIS。HuggingGPT 设计概览HuggingGPT 的总体处理流程，如下图所示：通过上图可以看到，HuggingGPT 的处理过程可以分为如下 4 个阶段：任务规划（Task Planning）使用一个 LLM（ChatGPT）分析用户的请求，了解用户的意图。通过用户输入到 LLM（ChatGPT）的 Prompt，根据对话结果将用户任务分解为可执行的多个任务。模型选择（Model Sel ...继续阅读 (83)

在深度学习中，很多 LLM 的训练都使用 Transformer 架构，而在 Transformer 架构中计算的过程涉及到的最关键的就是注意力，它是整个过程中重要的基础。注意力抽象除了 3 个重要的概念，在计算过程中对应着 3 个矩阵，如下所示：Query：在自主提示下，自主提示的内容，对应着矩阵 QKeys：在非自主提示下，进入视觉系统的线索，对应着矩阵 KValues：使用 Query 从 Keys 中匹配得到的线索，基于这些线索得到的进入视觉系统中焦点内容，对应着矩阵 V我们要训练的模型，输入的句子有 n 个 token，而通过使用选择的某个 Embedding 模型获取到每个 token 的 Word Embedding 是一个 d 维向量。本文我们详细说明自注意力（Self-Attention）的计算过程，在说明，我们先定义一些标识符号，以方便后面使用：x：输入训练数据的 Embedding 是一个 n x d 矩阵Q：查询矩阵，矩阵形状 n x dqK：键矩阵，矩阵形状 n x dk，其中 dk=dqV：值矩阵，矩阵形状 n x dv计算自注意力（Self-Attention）的基本流程，如下图所示：计算过程及其示例演示，描述如下：1. 计算生成 Embedding 矩阵x 是基于输入数据得到的 n x d 的 Embedding 矩阵：通过使用某个 Embeddin ...继续阅读 (115)

在深度学习中，Transformer 架构被广泛使用，而它所基于的注意力机制是最核心的部分，这里通过参考网上各种介绍注意力机制的资料，经过简化并重新组织内容，来说明注意力机制到底是一种什么样的机制。注意力（Attention）框架19 世纪 90 年代，美国心理学家威廉·詹姆斯（William James）提出了视觉注意力的工作原理类似于聚光灯，他认为：我们在日常中会聚焦一些事物，在这个焦点上可以清楚地看到一些物体；而在这个焦点周围的区域（称为边缘）仍然可见其他一些物体但不是很清楚。基于这个注意力的原理，后来提出了双组件（two‐component）的框架，其中两个非常重要的概念就是：非自主性提示和自主性提示，通过这两种方式都能够引导我们注意力关注焦点的改变。非自主性提示我们在所处环境中，时刻都能不由自主地目及一些事物，还有另外一些事物，这时进入视觉系统的物体如果有特别突出的特征，我们就会将注意力的焦点放在其上面，如下图所示：上面指定了 5 个物品：一份报纸、一篇论文、一杯咖啡、一个笔记本、一本书，其中装有红色咖啡的杯子的特征最突出，我们不自主地看向这些物品时会把注意力焦点放到咖啡杯上面，通过默认的提示选择了所关注的物品，它应该并不受我们意识控制，这就是非自主提示。自主性提示自主提示，就是我们有意识地将注意力改变，选择聚集到一个并非是由于特征突出才关注的物体上。当我们可以将注意力焦 ...继续阅读 (212)

目前 LLM 技术发展非常迅速，虽然 LLM 看似已经具备了丰富的知识与足够的智慧，但是在一些场景下我们可能需要更加精确的答案，而不是得到一些幻觉类答案，或者答案不够实时，或者人类诉求太过复杂以至于 LLM 无法理解，等等，这些问题也是目前阻止很多 AI 应用落地的主要原因。基于 AI Agent（AI 智能体）自身所具备的能力，同时借助于 LLM 所释放的潜力，或许在不久的将来能够不断优化改进，达到满足人类更方便、更智能地使用 AI 完成各种任务的需求，实现普惠 AI 的目标。下面，首先了解一下 LLM 和 AI Agent 有什么不同：人类与 LLM 之间的交互，是基于给定的 Prompt 提示词来实现的，而对于 Prompt 的设计不同 LLM 给出的对话回答质量也是不同的，所以需要人类通过一些特定的方法或经过多次尝试，才有可能逐步提高对话的精确度和满意度。可见，目前基于 LLM 的应用作为工具，能够在一定程度上提高人类日常生活、工作等的效率，同时反过来也对人类使用 LLM 提出了一定的要求，而且这一部分工作更多的是需要人类主动请求，而 LLM 被动执行动作来完成一次一次地交互。AI Agent 提供了更广泛的功能，特别是在与环境的交互、主动决策和执行各种任务方面。在基于 LLM 的场景下，我们给 AI Agent 设定一个目标，它就能够针对这个目标独立思考并执行动作，对给定 ...继续阅读 (50)

LangChain 是一个用来开发大型语言模型（LLM）应用的框架，为了简化构建基于 LLM 的应用，它能够为开发 LLM 应用带来如下能力：根据给定的 Prompt 方便构建上下文，并连接到 LLM， 得到更加符合查询的回答结果在构建整个基于 LLM 的应用提供各种工具，如各种模块（Modules）、LCEL、LangGraph 等提供工具支持，使用户自己的 LLM 应用从原型版本到上线到生产环境过程中，一站式的调试、测试、评估等迭代功能当前，已经发布了最新的 v0.10.0 稳定版本，可以参考这里LangChain v0.1.0。本文我们通过介绍 LangChain 框架的方方面面（算是对官方文档的一个入门的内容浓缩）使我们对它有一个更全面的认识，以帮助我们使用 LangChain 构建基于 LLM 的应用，具体包括如下几个方面的内容：LangChain 是什么LangChain 模块（Modules）概览LangChain 模块：Model I/OLangChain 模块：RetrievalLangChain 模块：AgentsLangChain 模块：ChainsLangChain 模块：MemoryLangChain 模块：CallbacksLCEL（LangChain Expression Language）LangServe 工具介绍LangGraph 介绍LangC ...继续阅读 (82)

RAG（Retrieval Augmented Generation），是指“检索增强生成”，它主要通过检索已有文档（如，企业内部，或者某一领域，或者某个垂直行业等等的内容）的方式，进而将得到的结果作为输入 LLM 的 Prompt 更相关的上下文 Context 来给出更好的回答。我们都知道，对于一些通用的 LLM，它们所能回答的内容是基于训练该 LLM 时使用的数据集，而且由于模型超大所以使用的训练数据的时效性也是会差一些。而对于某个特定的领域内的内容， LLM 它可能没有或者“知道”得不够精细，甚至对一些最新变化的内容它也不一定包含，所以，需要通过一些方法将 LLM 所不包含的内容“增强”进去，这样就有了类似 RAG 之类的方法，能够解决我们所面临的一些问题。具体来说，使用 RAG 能够获得的好处，可以概括成如下 4 点（来自 databricks，详见文末参考链接）：Providing up-to-date and accurate responsesReducing inaccurate responses, or hallucinationsProviding domain-specific, relevant responsesBeing efficient and cost-effective使用 RAG 构建基于 LLM 的应用，基本流程如下图所示：通过上图可以看 ...继续阅读 (89)

发布时间LLM/LMM 名称模型参数量组织名称论文及模型优势2024-01Qwen-VL-Max96亿Alibaba[论文]LMM。信息推理，扩展创作，视觉定位，针对画面区域问答。2023-12Gemini18/23.5亿DeepMind[论文]LMM。包含三个版本 Ultra/Pro/Nano。2023-12Qwen-VL-Plus96亿Alibaba[论文]LMM。细节识别，处理图像中的文本的能力也显著提升。2023-12Claude 2.1Anthropic[论文]2023-09GPT-4VOpenAI[论文]LMM。情绪识别、支持提供图像输入，推理能力突出。2023-09Qwen-VL70亿Alibaba[论文]LLM。大规模视觉语言模型。2023-09Falcon1800亿TII[论文]LLM。开源，基于 3.5万亿 token 训练，击败 LLaMA 2。2023-09GPT4All130亿Nomic AI[论文]LLM。开源，基于 LLaMA 微调。PC 上运行，不需要显卡。2023-08Guanaco650亿[论文]LLM。基于 LLaMA 衍生的 LLM。2023-07Llama2700亿Meta[论文]LLM。基于 2万亿 token 训练。强大的逻辑表达能力。2023-07Claude 2860亿Anthropic[论文]LLM。支持 200K 上下文，注重有 ...继续阅读 (90)

Autograd 是一个反向自动微分系统（或梯度计算引擎），基于记录所有的操作来构建一个有向无环图——Autograd 计算图，其中叶子节点是输入 Tensor，根节点 root 是输出 Tensor，通过跟踪图中从根节点 root 到叶子节点的路径上的操作，能够自动地计算出梯度。在 PyTorch 中，模型训练的每一轮迭代，都会创建对应的 Autograd 计算图：在前向传播阶段动态地创建 Autograd 计算图，在反向传播阶段根据 Autograd 计算图来进行梯度的计算。构建分布式 Autograd 计算图对于分布式模型训练环境下，需要在各个节点（主机）之间进行大量的 RPC 调用，统一协调各个过程来完成模型的训练。PyTorch 实现的分布式 Autograd，在前向传播过程中构建 Autograd 计算图，并且基于 Autograd 计算图在反向传播过程中计算梯度。在前向传播过程中，PyTorch 持续跟踪各个 RPC 调用的情况，必须确保在反向传播过程中计算是正确的，所以 PyTorch 在实现过程中使用了 send、recv 这一对函数来进行跟踪，当执行 RPC 调用时将 send 和 recv 绑定到 Autograd 计算图上。send 函数被绑定到 RPC 调用的源节点（Source Node）端，send 函数的输出边指向 RPC 的输入 Tensor 变量 ...继续阅读 (66)

PyTorch 使用 DDP（Distributed Data Parallel） 实现了真正的分布式数据并行，在下面的两个场景下都可以使用 DDP 实现模型的分布式训练：单机、多 GPU（单进程多线程的伪分布式）多机、多 GPU（多机多进程的真正分布式）上面第一种方式，就是类似使用简单的 DP 数据并行模式，但是 DP 使用的单进程、多线程的范式来实现的；而 DDP 完全使用了多进程的方式，包括单机多进程、多机多进程，如果是多机的情形则对应着物理上的分布式多进程模式。为了获得更好的性能，最好是使用 DDP 模式来训练模型，即使是在单机、多 GPU 的情况下，也建议使用 DDP 模式来实现基于数据并行的模型训练，使用单机 DDP 模式训练模型的性能要比 DP 模式好很多。DDP 基于集合通信（Collective Communications）来实现分布式训练过程中的梯度同步。在反向传播过程中，DDP 使用 AllReduce 来实现分布式梯度计算和同步。下面，我们从与 DDP 相关的几个方面来理解 DDP 的设计与实现，包括：集合通信（Collective Communication）通信后端（Communication Backend）DDP 内部实现概览分布式梯度 AllReduceDDP API 实现集合通信（Collective Communication）DDP 模式是 ...继续阅读 (60)

PyTorch 使用 torch.nn.DataParallel 来实现基于数据并行的单机、多 GPU 并行训练。使用 DP 方式在多 GPU 上训练模型，需要保证模型能够在每个 GPU 上放得下，训练过程中会把整个模型都复制到每个 GPU 内，通过数据并行的方式提高训练模型的速度。虽然 DataParallel 使用起来非常容易，但是通常不能够获得最佳的性能。DataParallel 在每一轮的前向传播过程中，会复制一遍模型，同时这种基于单进程、多线程的并行方式也会存在 GIL（Global Interpreter Lock） 竞争问题。DP 数据并行训练流程下面我们分析一下 DP 数据并行模式在多 GPU 的情况下训练模型的基本流程，如下图所示：基于 DP 模式，模型训练的基本过程分为三个阶段，描述如下：前向传播计算过程1.Scatter mini-batch inputs to GPUs我们通过指定 batch_size 大小，对输入的训练数据集进行了分割，在训练神经网络模型的前向传播过程中，会将每一个小批数据（Mini-Batch）分发到每一个 GPU 上。具体过程是：将 4 个小批数据 i1 ~ i4 复制到 GPU-1 上，再将 4 个小批数据分别发送到 GPU-1 ~ GPU-4 上。2.Replicate model on GPUs将整个模型都拷贝到所有的 GPU ...继续阅读 (101)

流水线并行（Pipeline Parallelism）最早是 Google 在 Gpipe 论文中提出的，这种并行训练模式能够充分利用多 GPU 高效地训练大模型。目前 PyTorch 最新版本是 2.2，流水线并行的功能是基于 torchgpipe 论文中的设计来实现的，该功能当前还处于试验阶段。问题背景大模型无法直接放到单个 GPU 中进行训练，通过模型并行（Model Parallelism）可以把模型进行分片，每一个分片放置到一个 GPU 上，能够很好地利用多 GPU 的资源。虽然使用这种较为初级的方式能够实现大模型的训练，但在训练的过程中并不能充分利用 GPU 资源，因为对顺序（Sequential）模型来说它每次只能激活一个 GPU 来进行训练，其它的 GPU 此时是闲置的，所以在底层设备上其实仍然是顺序执行。例如，对一个有 4 层的顺序（Sequential）神经网络模型，经过模型分片后，训练过程中每一层放在一个 GPU 上，先进行前向传播计算得到 Loss，然后反向传播计算梯度，如下图所示：使用这种方式利用 GPU 训练，我们可以看到在训练过程中 GPU 完全没有并充分利用，如下图示：训练过程中，在同一时刻基本上只有一个 GPU 在使用，其它的都处于闲置状态，只有在完成前向传播计算、反向传播计算之后，同时使用多个 GPU 更新梯度信息。对于上述多 GPU 不能被充分 ...继续阅读 (69)

我们知道，在深度学习中有两类基本的参数：模型参数（Model Parameters）和超参数（Hyperparameters），它们都对模型训练的结果有非常重要的影响。有些研究表明，对于超参数的选择不仅能够影响模型训练的质量好坏，而且也在一定程度上决定了模型训练需要耗费的时间以及内存资源的需求总量。甚至在一些深度模型训练过程中证明，超参数的选择比模型本身的参数更重要，影响也更大。可见，超参数选择是否合理，直接影响了企业开发并使用模型的成本，所以在深度学习应用领域，业界已经把超参数调优作为开发深度学习应用流程中一个不可或缺的步骤。这样我们就能够把超参数调优解耦成一个独立的组件或模块，然后聚焦该组件的核心能力去做更多探索尝试，最终实现整个深度学习应用开发的业务目标，同时获得了灵活的开发模式，也具有较低的成本优势。什么是超参数超参数是指一类静态的参数，这些参数在模型训练之前被定义和设置，而且无法从给定的训练数据中进行学习估计。在模型训练算法中会存在很多超参数，少的话有几个，多的话可能达到几十成百上千个。下面，我们列出一些深度学习模型训练中比较常见的超参数：神经网络深度：搭建的神经网络架构有多少层神经元数：某一层设置多少个节点模型优化器：选择使用哪个优化器，比如 SGD、Adam 等等迭代次数：epochs 设置为迭代多少次Loss Function：选择哪个 loss function学 ...继续阅读 (70)

使用预训练模型有两种方式：一种是直接使用得到的预训练模型进行推理，并满足应用的需要，使用起来非常简单；另一种是在预训练模型的基础上，进行微调，使得到的新模型能够更好地满足我们解决问题的需要，这种方式需要能够对模型进行调优有一定门槛。这里，我们尝试第一种方式直接使用预训练模型，着重关注使用预训练模型处理图片分类的过程，从而熟悉在实际应用中都需要做哪些处理工作。预训练模型预训练模型（Pre-trained Models, PTMs）是一种深度学习架构，它在大规模数据集上进行训练，以获取丰富的特征表示。训练得到的模型可以进行复用，不仅能够适用于最初要解决的问题，还可以迁移到其他类似的应用场景中，从而提高在这些新领域的应用的性能。预训练模型通常具有较大的参数规模，需要使用海量的数据和高昂的计算资源代价，才能完成模型训练并最终得到模型参数，这对于一些不具备基于超大规模数据训练能力的使用者来说，就无法发挥模型的作用，而且也不能很方便地在特定应用领域内探索并验证一些应用的想法。例如，在 NLP 领域，预训练模型应用的特别广泛，因为它们可以从海量的文本数据中学习到有用的语义信息。而从头开始训练这些 NLP 模型需要大量的计算资源，这对于基于此类模型的下游应用场景几乎是不可能的，如解决诸如语言理解、机器翻译、自动问答等问题都受到了极大的限制。所以使用预训练模型，可以极大地降低下游应用场景使用的代价和 ...继续阅读 (65)

PyTorch 实现了 SWA（Stochastic Weight Averaging，随机加权平均），相比于传统的 SGD，使用 SWA 能够明显改善一些深度神经网络模型的测试精度（Test Accuracy）。而且，SWA 使用起来非常简单，能够加速模型训练，并提高模型的泛化能力。SWA 基本原理SWA 依赖两个重要的因素：第一个是，SWA 使用一个不断修改的 LR 调节器（Learning Rate Schedule），使得 SGD 能够在最优值附近进行调整，并评估最优解附近的值对应的模型的精度，而不是只选取最优解对应的模型。因为，最优解对应的模型不一定是最优的，而且泛化能力可能也不一定最好。比如，在 75% 的训练时间里，可以使用一个标准的衰减学习率（Decaying Learning Rate）策略，然后在剩余 25% 的训练时间里将学习率设置为一个比较高的固定值。如下图所示：第二个是，SWA 计算的是 SGD 遍历过的神经网络权重的平均值。例如，上面提到模型训练的后 25% 时间，我们可以在这 25% 时间里的每一轮训练（every epoch）后，计算一个权重的 running 平均值，在训练结束后再设置网络模型的权重为 SWA 权重平均值。SWA 论文提供了对其算法的过程的描述，如下图所示：上面算法描述，给出了下面几个重要的内容：学习率在模型训练过程中是不断调整的， ...继续阅读 (75)

在 PyTorch 中使用 TensorBoard，可以实现样本数据、模型、训练过程的可视化，能够非常直观地查看在整个训练过程中产生的效果，方便分析和解决一些问题。本文完全根据 PyTorch 官方的 TensorBoard Tutorial 文档进行实践操作，体验 TensorBoard 的基本可视化功能。首先，需要下载 tensorboard 模块：pip3 install tensorboard这样就可以使用 TensorBoard 了，需要通过如下命令，启动 TensorBoard 服务：tensorboard --logdir=runs上面 runs 目录是我们写数据的目录，可以根据自己的需要设置目录名称。在使用 PyTorch 过程中需要可视化的话，就把对应的数据写入到这个目录下面的指定文件中，TensorBoard 会直接从该目录下读取并进行可视化。启动成功后，可以打开浏览器链接http://localhost:6006/，查看 TensorBoard UI 界面。我们向 runs 目录中写入数据，直接使用 torch.utils.tensorboard.SummaryWriter 就可以实现，所以先要创建可用的 SummaryWriter 对象，代码如下：from torch.utils.tensorboard import SummaryWriter write ...继续阅读 (78)

在 AI 大模型训练场景中，数据是海量的，模型也是超大的，对于训练大模型会带来很大挑战，比如对算力的需求，对处理大模型的工程复杂度，等等。PyTorch 给出了一种实现方式——FSDP（Fully Sharded Data Parallel），它提供了易用的 API，可以非常方便地解决大模型分布式训练的难题。FSDP 是在 DDP（DistributedDataParallel）的基础上提出的，首先我们了解一下 PyTorch 的 DDP（DistributedDataParallel） 训练模式的一些特点：在 DDP 中，核心的能力还是训练数据并行（Data Parallel）。以多机多卡方式为例，每个 process/worker 都会持有模型的一个副本（Replica），通过使每个 process/worker 处理一个 batch 的数据试下并行处理，最后使用 all-reduce 操作对多个不同 process/worker 计算得到的梯度进行累加求和；接着，再将优化器状态、梯度通过跨多个 process/worker 进行复制，使得每个 process/worker 上的模型参数都得到同步更新。也就是说，在 DDP 中并没有实现对模型参数的分片管理，即模型并行（Model Parallel）。在 FSDP 中实现了模型的分片管理能力，真正实现了模型并行。将模型分片后，在 ...继续阅读 (64)

LeNet-5 是由 Yann LeCun提 出的卷积神经网络，在论文《Gradient-Based Learning Applied To Document Recognition》中可以看到 LeNet-5 网络模型的结构，如下图所示：通过上图可以看到，从左至右网络各个层顺序连接：输入层 ：图片大小 32×32卷积层1 ：卷积核数 6，大小 5×5，步长 1池化层 ：过滤器大小2×2，步长为2卷积层2 ：卷积核数 16，大小 5×5， 步长 1池化层2 ：过滤器大小 2×2，步长 2全连接层1：节点数 120全连接层2：节点数 84全连接层3：节点数 10我们只需要准备好数据集，并基于上图连接结构，使用 PyTorch 搭建 CNN 网络的结构并进行训练和使用。我们只需要准备好数据集，并基于上图，使用 PyTorch 搭建好 CNN 网络的结构就可以进行训练。实现 LeNet-5 模型基本环境配置如下：Python：3.11.3PyTorch：2.0.1（torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2）1 准备数据集使用经典的手写数字数据集 MNIST，可以直接通过 PyTorch 的 datasets.MNIST 下载并准备数据：import torch fr ...继续阅读 (72)

通过 PyTorch 官网给出的 Quickstart，了解使用 PyTorch 完成一个模型的数据准备、模型训练和评估、模型加载并应用。在实际应用中，只需要按照这个流程来编程构建即可。下面，我们通过分步骤来说明开发机器学习应用程序的基本流程。我们使用 PyTorch-2.0.1，安装该版本 PyTorch 执行如下命令：pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.21 准备数据PyTorch 使用 torch.utils.data.DataLoader 和 torch.utils.data.Dataset 来实现数据的加载，并转换成包含样本和标签的 DataSet。我们可以在https://pytorch.org/vision/stable/datasets.html中找到 Torchvision 提供的大量内置 DataSet，通过这些工具类就可以方便构建并使用 DataSet。如果是使用我们自己的数据集，可以继承自 torch.utils.data.Dataset 实现我们自己的 DataSet 以及 DataLoader。这里使用了 FashionMNIST 数据集，这个数据集是一个包含时尚衣物图像，其中包括衣物图像和它们对应的标签.首先，下载 FashionMNIST 数据集，可以直接通过 Py ...继续阅读 (87)

Kafka 使用 JAAS（Java Authentication and Authorization Service）来实现 SASL 认证授权。我们这里通过使用 Kafka 提供的 SCRAM 方式实现动态认证授权的配置，动态认证授权的好处非常直接，不用根据实际需求修改各种配置文件添加账号及授权，可以像操作数据库服务器一样，通过命令行就能实现认证授权的管理。准备工作操作系统：我们使用 CentOS 系统，系统版本是 CentOS-7.9。我们使用默认的单机安装方式，ZooKeeper 是内置在 Kakfa 安装包里面的，所以不需要单独下载。如果希望单独安装，可以自行准备。为了方便操作，保证使用 ZooKeeper 的可访问性，这里直接把防火墙关闭掉：systemctl stop firewalld下载软件：wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz wget https://archive.apache.org/dist/kafka/3.3.1/kafka_2.13-3.3.1.tgz解压缩包：tar xzvf jdk-17_linux-x64_bin.tar.gz tar kafka_2.13-3.3.1.tgz cd kafka_2.13-3.3.1JDK 配置这里就 ...继续阅读 (72)

Stable Diffusion 是一个文本到图像（txt2img）的潜在扩散模型（LDM），是由 CompVis、Stability AI 和 LAION 的研究人员实现并开源的。我们站在 Stable Diffusion 模型应用用户的角度来看，其实没有多么复杂，核心就是根据文本生成图像，其中可以通过一些技巧或者说调整用户参数，来改变文本生成图像的过程，从而达到优化最终生成图像的目的。但是，Stable Diffusion 底层技术的角度看，这个过程非常非常复杂，所以我们这里先给出模型的 Architecture Overview，先从总体上看整个架构或结构是什么样的，然后深入到每一个部分去了解具体的技术细节或原理。1 模型架构概览从 High-level 的视角，Stable Diffusion 模型都包含哪些主要组件，以及整体的处理流程，我们引用了The Illustrated Stable Diffusion一文中的一个图，并在原图上做了微小改动（为了方便理解添加了表示三个核心步骤的数字序号），来表示 Stable Diffusion 模型的处理机制，如下图所示：基于上图，我们分步骤描述一下 txt2image 处理的整个过程：首先，输入 Prompt 提示词 “paradise, cosmic, beach”，经过 Text Encoder 组件的处理，将输入的 Pro ...继续阅读 (113)

Stable Diffusion 是 2022 年发布的深度学习文本到图像生成模型，是主要用于“文本生成图像”的深度学习模型，也就是常说的 txt2img 的应用场景中：通过给定文本提示词（text prompt），该模型会输出一张匹配提示词的图片。Stable Diffusion 模型能够根据文本的描述生成图像，另外它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下生成图像。Stable Diffusion 是基于“潜在扩散模型”（Latent Diffusion Model，LDM）的模型，Diffusion 是扩散的意思，通常我们简称 Stable Diffusion 模型为 SD 模型。SD 模型是开源的，我们可以在 Github 上找到它的源码和使用方法：https://github.com/Stability-AI/StableDiffusion，也可以在 Huggingface 网站上获取到相关资源：https://huggingface.co/stabilityai。实验环境我们实验的基础环境的基本配置，作为参考，如下所示：CentOS 7.6 64Anaconda3-2023.07-1-Linux-x86_64Python 3.11.3GPU Tesla P40（显存24 G/1 core）CPU 6 vCore/56G我们使用的 Anaconda， ...继续阅读 (92)

BERT 是 Bidirectional Encoder Representations from Transformers 的缩写，是由 Google 发布的先进的嵌入模型，BERT 是自然语言处理领域的一个重大突破，它在许多自然语言处理任务中取得了突出的成果，比如问答任务、文本生成、句子分类等。BERT 之所以能够成功，主要是因为它是基于上下文的嵌入模型，不同于像 word2vec 等其他一些流行的嵌入模型。从 BERT 的含义来看，它使用多个 Transformer 表示，而且是基于双向 Encoder 的，我们要知道 BERT 的架构是只包含 Encoder 的 Transformer 模型架构。BERT 模型配置BERT 在发布模型的时候，给出了多种不同的配置，其中两种标准的配置为 BERT-base 和 BERT-large，另外还有一些小型的配置，如下表所示：BERT 模型配置Encoder 层数（L）注意力头个数（A）FFN 层隐藏神经元个数（H）BERT-base1212768BERT-large24161024BERT-tiny2–128BERT-mini4–256BERT-small4–512BERT-medium8–512BERT-base 模型的网络参数总数可达 1.1 亿个，而 BERT-large 模型的 ...继续阅读 (81)

2017 年 Google 在论文《Attention Is All You Need》中提出 Transformer 模型架构，该架构是基于 Encoder-Decoder （编码器-解码器）的架构。作为当下最先进的深度学习架构之一，Transformer 被广泛应用于自然语言处理领域，它不仅替代了以前流行的循环神经网络（RNN）和长短期记忆网络（LSTM），而且后来的 BERT、GPT-3 等网络架构也是基于 Transformer 架构演化而来。RNN 和 LSTM 已经在时序任务方面有了广泛的的应用，例如像文本预测、机器翻译、文章生成等等，但是这些应用都面临着如何记录长期依赖的问题，而使用 Transformer 架构就能解决这类问题。自注意力（Self-Attention）Transformer 架构的核心主要是基于自注意力机制（Self-Attention），在详解 Transformer 架构之前，我们有必要理解一下自注意力这个概念，我们以《BERT 基础教程：Transformer 大模型实战》这本书的讲解来概述，这本书中的讲解非常浅显易懂。给定一个英文句子：A dog ate the food because it was hungry.句子中的代词 it 可能代表句子里的名词 food 或者 dog，虽然我们人类非常容易理解，但是计算机不可能像我们那样去理解，它 ...继续阅读 (93)

ChatGLM2-6B 是清华大学KEG和数据挖掘小组(THUDM)开源中英双语对话模型，这个模型能够实现低门槛部署，对话流畅，并且非常方便研究和探索下游应用场景。具体介绍，我们引用官网的详细介绍，如下所示：更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练，允许更多轮次的对话。但当前版本的 ChatGLM2-6B 对单轮超长文档的理解能力有限，我们会在后续迭代升级中着重进行优化。更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的 ...继续阅读 (85)

作者 康凯森 | StarRocks 核心研发、StarRocks 查询团队负责人 | 2022/04/26 15:46 |https://my.oschina.net/u/5658056/blog/5519656一条查询 SQL 在关系型分布式数据库中的处理，通常需要经过 3 大步骤：将 SQL 文本转换成一个 “最佳的” 分布式物理执行计划将执行计划调度到计算节点计算节点执行具体的物理执行计划本文将详细解释在 StarRocks 中如何完成一条查询 SQL 的处理。首先来了解 StarRocks 中的基本概念：FE: 负责查询解析，查询优化，查询调度和元数据管理BE： 负责查询执行和数据存储#01 从 SQL 文本到执行计划从 SQL 文本到分布式物理执行计划，在 StarRocks 中，需要经过以下 5 个步骤:SQL Parse：将 SQL 文本转换成一个 AST（抽象语法树）SQL Analyze：基于 AST 进行语法和语义分析SQL Logical Plan：将 AST 转换成逻辑计划SQL Optimize：基于关系代数、统计信息、Cost 模型，对逻辑计划进行重写、转换，选择出 Cost “最低” 的物理执行计划生成 Plan Fragment：将 Optimizer 选择的物理执行计划转换为 BE 可以直接执行的 Plan FragmentSQL Parse ...继续阅读 (75)

StarRocks 是新一代的 MPP 数据库，它具有很高的查询性能，能够支持各种场景的数据查询分析使用，主要包含如下几个场景：OLAP多维分析实时数据分析高并发查询统一分析关于 StarRocks 更详细的介绍，可以查看官方文档，非常详细（见后面参考链接）。下面，我们基于开源的 StarRocks 社区版，版本是 2.1.5 来进行集群的安装配置。StarRocks 集群的部署模式，采用 FE 与 BE 分离的模式。集群部署规划1 基础环境和软件软件版本操作系统CentOS-7.8StarRocks2.1.5JDKjdk1.8.0_212MySQL Client5.7.372 集群主机规划IP 地址主机名称角色备注信息172.168.0.1VM-0-1-centosFEFE Master172.168.0.2VM-0-2-centosFEFE OBSERVER172.168.0.3VM-0-3-centosFEFE FOLLOWER172.168.0.4VM-0-4-centosBEBE172.168.0.5VM-0-5-centosBEBE172.168.0.6VM-0-6-centosBEBE172.168.0.7VM-0-7-centosBEBE172.168.0.8VM-0-8-centosBEBE172.168.0.9VM-0-9-centosBEBE3 集群主机目录规 ...继续阅读 (91)

Apache Hudi是一个Data Lakes的开源方案，Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi具有如下基本特性/能力：Hudi能够摄入（Ingest）和管理（Manage）基于HDFS之上的大型分析数据集，主要目的是高效的减少入库延时。Hudi基于Spark来对HDFS上的数据进行更新、插入、删除等。Hudi在HDFS数据集上提供如下流原语：插入更新（如何改变数据集）；增量拉取（如何获取变更的数据）。Hudi可以对HDFS上的parquet格式数据进行插入/更新操作。Hudi通过自定义InputFormat与Hadoop生态系统（Spark、Hive、Parquet）集成。Hudi通过Savepoint来实现数据恢复。目前，Hudi支持Spark 2.x版本，建议使用2.4.4+版本的Spark。基本架构与Kudu相比，Kudu是一个支持OLTP workload的数据存储系统，而Hudi的设计目标是基于Hadoop兼容的文件系统（如HDFS、S3等），重度依赖Spark的数据处理能力来实现增量处理和丰富的查询能力，Hudi支持Incremental Pulling而Kudu不支持。Hudi能够整合Batch和Streaming处理的能力，这是通过利用Spark自身支持的基 ...继续阅读 (79)

生成最佳执行计划，过程比较复杂，我们分成两篇来详细分析：上篇和下篇，本文为上篇。生成最佳执行计划是一个递归计算的过程：正向从DataSinkNode开始直到DataSourceNode，分别计算每个OptimizerNode的最佳计划，然后反向逐步将整个OptimizerNode DAG图转换为PlanNode DAG图，得到一个最优计划。其中，PlanNode的类继承结构，如下图所示：通过与OptimizerNode对应的节点结构类图对比，PlanNode更加抽象了一个层次，更关注Operator之间的数据交换策略。其中，生成最佳执行计划的过程，可以在Optimizer类中看到，如下代码所示：// the final step is now to generate the actual plan alternatives ListbestPlan = rootNode.getAlternativePlans(this.costEstimator);这是一个递归的过程，每个OptimizerNode都会通过获取到其孩子节点的最佳执行计划，从而递归地处理，从OptimizerNode DAG转换为PlanNode DAG。后面，我们会对SourcePlanNode、SinkPlanNode、SingleInputPlanNode、DualInputPlanNode创建的处理过程进行详 ...继续阅读 (71)