产品经理在需求输出中往往会简单提一句，确保代码的健壮性；后来接触大模型或算法训练后，又会听到鲁棒性。在搜索翻译的时候，发现两者英文翻译竟然都是robustness，奇了大怪。两者感觉是一样，之所以产生两个专有名词，意味着一定还是有细微的区别；所以，对于产品经理而言，奇怪的知识又增加了。健壮性通俗理解健壮性健壮性是指程序在异常输入或非正常操作的情况下，仍然能够继续运行或提供合理响应的能力。其关注的重点是，程序是否能够在面对错误、异常或不可预期的输入时，避免崩溃或产生严重问题。所以，若要提升健壮性，往往可以通过下面的方式来提升：处理异常输入的能力（如空值、非法数据等）；在需求输出中，产品经理要针对性对一些异常数据（数据类型、数据格式、数据范围等）进行约定。比如用户输入错误（如超出范围的数字、非法字符等）了，系统如何提示或处理；在APP等对于网络较慢或中断等环境变化后的处理等避免程序崩溃或挂起；这部分更多可能是技术同学来承担，如确保资源的回收、重试机制或兜底机制等提供清晰的错误提示或日志；这部分也更多是技术同学来负责，便于事后追踪举一个例子，在这里，如果用户输入了非法字符，程序不会崩溃，而是提示错误，这是健壮性的体现。try: num = int(input("请输入一个数字: ")) print(f"你输入的数字是: {num}") except ValueError: ...继续阅读 (10)

在RAG（检索增强生成）系统中，提示词工程是确保模型输出准确性和相关性的核心环节。通过精心设计和优化提示词，能够有效引导模型理解用户的意图，从而生成更为精准和相关的回答。提示词不仅仅是输入的简单文本，它们承载着上下文信息和特定的语义指向，能够影响模型的推理过程和生成结果。其实，已经很多的提示词框架供大家参考和使用，网络上也可以搜索很多，这里不再赘述。这里更多的是说明在RAG场景下的提示词的编写规则。选择合适的模型prompt工程本质上是LLM不成熟的副产品；合适的模型一定可以带来还不错的结果。这里的合适不是指最新的、最贵的模型，而是结合业务特点来进行。可以通过几点来考虑：上下文长度：结合提示词和领域知识的复杂程度，选择合适的上下文长度，以容纳检索获得的多文档片段。如果场景中更加侧重获得更多的召回，避免信息遗漏，较大的上下文就很必要。推理及响应延迟：在Deepseek R1面世后，可视化的推理过程被人推崇，但其延迟也是明显的；比如在客户解答用户场景过程中，大模型较长的延迟可能带来不好的用户体验。而该过程还仅仅是RAG耗时的其中一环。专业度&领域适配度：在一些特定领域，微调后的模型往往比通用大模型更加专业，比如医疗、法律。例如前司传神提出的素问中医大模型，其对于中医领域肯定更加专业。ROI/投入与效果：兼顾价格和效果。至少价格是业务可以承受的，效果是可以进行验证的。这个过程是仁者见仁智 ...继续阅读 (12)

从当前篇开始，将推出 RAG系列的学习、思考、实践的分享，也将作为前期文章的后续延展。之前的几篇文章：【RAG】语义搜索的实现【RAG】语义搜索的评测方法【RAG】语义搜索提升准确率的方法RAG框架的产生源于《Retrieval-Augmented Generation forKnowledge-Intensive NLP Tasks》的论文，该论文在2020年5月发布，而当时主流的大模型还是GPT-3。该框架允许模型访问超出其训练数据的信息，使其在每次生成时能够利用检索到的外部专业知识和准确数据，从而更有效地回答用户的问题。相关的原理也可以查看《语义搜索的实现》一文。为什么需要RAG作为产品经理，原因可能比最终实现更重要，因为其代表的是针对某些场景的缺失。成业大模型，败也大模型。RAG的产生与大模型紧密相关，更多的与模型的训练过程有关。知识新不新大模型的产生第一阶段即预训练，需要依赖大量的数据进行无监督的学习；而这些数据都来自于网络。所以模型在训练截止日期之前的知识是固定的，是无法进行实时更新的。每天新增的知识也没办法实时的塞入模型训练中。知识全不全除了网络上公开的资料之外，很多有价值的内容都在互联网围墙之内，是私有的知识和数据。这些知识是大模型无法获取和学习的。企业如果自己的数据能够被可靠的使用，RAG无疑是方案之一。全不全的背后其实数据安全问题，大家都担心自己的数据泄露被大模 ...继续阅读 (13)

最近，我在研究大模型思维链相关的论文时发现一个有趣的现象：不同的研究都在试图回答一个问题——大模型到底在哪些类型的问题上表现更好？于是，我忍不住想深挖一下，穷尽大模型能解决的所有问题类型，并总结出一套清晰的分类。今天这篇文章，就带大家一起看看大模型的“能力地图”！一、大模型能解决的问题类型想知道大模型擅长什么？我们可以先把任务按性质划分成以下几类，每一类都有其特点和应用场景。来看看你平时想解决的问题属于哪一类吧！1. 知识密集型任务这是什么？简单来说，就是需要调用大量知识背景来完成的任务，比如回答百科类问题、翻译、生成技术文档等。大模型能做什么？比如你问“光合作用的原理是什么？”或者需要翻译一段外文，大模型就能快速检索、记忆并整合相关知识，给出答案。2. 决策性任务这是什么？需要分析复杂情境并做出最优选择的任务，比如投资策略建议、游戏中的行动决策、风险评估等。大模型能做什么？它可以通过逻辑推理和多目标选择，帮助你在不确定的情况下做出更明智的决策。3. 创造性任务这是什么？需要生成原创内容或者提供创新解决方案的任务，比如写小说、设计广告文案、提出创意想法等。大模型能做什么？想要一首诗、一段故事，甚至一份新颖的营销方案？大模型可以快速生成内容，让你脑洞大开。4. 技术性任务这是什么？涉及代码编写、数据处理等特定技术操作的任务，比如写程序、进行数据分析、优化算法等。大模型能做什么？它不仅 ...继续阅读 (9)

交互的本质是输入（执行）和输出（反馈），大模型并没有带来信息格式的变化，而是变更了信息的生产和交流。大模型会带来新的人机交互的转换，也会改变产品设计思路；但自然语言交互是否就是最好的交互形式，尚难有定论。纯粹基于自然语言的交互可能也是效率低下的，人类往往都会有误解或表达歧义，需要结合特点场景来判断。从交互方式对比交互模式NUIGUI模式定义自然用户界面（通过自然语言文本或者语音，以及输入输出图片等直接交互，就像人和人之间聊天一样）；基于对话的 NUI 交互方式更符合人的直觉，用户的互动性&参与感更强，需要用户发挥主观能动性。图形用户界面（在众多图标、重重菜单或者瀑布流中选择）；通过点击按钮与机器交互，这是一种结构化和机械化的方式擅长场景擅长处理不确定性、复杂性和新概念，通过多轮对话帮助用户理解和接受新的信息在概念变得普遍和确定之后发挥作用，通过可视化界面提高用户体验和操作效率。用户意图不是很明确，或有明确目标但需要大量的信息参考后逐步变得清晰较明确；一般知道要具体的动作设计重点难在用户对大模型能力的理解：不清楚大模型能力，交互中需要给予友好引导不信任大模型产出，需要结果中有交互回收反馈，需要进行追问的提醒难在用户对产品的熟悉程度，尤其是新产品/新手阶段：不知道有什么功能，遵循常见的设计原则不知道如何使用，遵循常见的设计原则本质上遵循交互规范，在UI上创新 但请勿在UX上较大创新，符 ...继续阅读 (10)

MCP是协议标准，像USB，约定了大模型与其他外部API、Data交互的规范.MCP是链接通道，像开放平台，是大模型企业为了更好丰富LLM能力的措施，也是“拿捏”外部公司的手段MCP是博弈手段，像360QQ大战，是大模型公司博弈构建自己生态的方式，说不定还会有其他协议出现回望互联网时刻，MCP就像是HTTP协议，如何构建MCP、如何找到MCP、如何评测MCP等，可能又会产生无数个中心化的搜索引擎、平台化的AZure；中心化的趋势愈发明显。 ...继续阅读 (9)

对于CoT已经有很多的研究，本文将梳理思维链（CoT）相关的高价值论文，并发布时间顺序排列进行逐个说明，重点进行的分析对比。思维链（Chain of Thought，CoT）是一种推动人工智能模型进行复杂问题解决的方法。它通过引导模型逐步分解任务，像人类思考一样，进行逻辑推理和分析。传统的AI模型往往直接从输入得出输出，而思维链则鼓励模型在得出结论前，先列出一系列中间步骤或推理过程。这种方法不仅提高了模型的准确性，还增强了其对复杂问题的理解能力。例如，在解决数学问题时，思维链会让模型逐步展示计算步骤，而不是直接给出答案。这种方式类似于人类解决问题时的思维过程，有助于提高AI的透明度和可解释性。即使当前的大模型能力已经非常强大，思维链（Chain of Thought, CoT）仍然是一个重要的工具，原因如下：处理复杂任务：尽管大模型有强大的生成和理解能力，但在处理需要多步骤推理的复杂任务时，思维链可以帮助模型更系统地组织和解决问题。当然，workflow能也在一定程度上可满足该要求。提高准确性：思维链通过引导模型逐步分析和推理，有助于减少错误，特别是在涉及逻辑推理或多步骤计算的问题上。增强可解释性：思维链使得模型的决策过程更加透明，用户可以看到模型是如何一步步得出结论的，这对于提高用户对AI系统的信任至关重要。支持人机交互：在需要人机协作的场景中，思维链可以帮助人类理解模型的思维过 ...继续阅读 (9)

在公司项目推进过程中，有幸体验了一把筷子科技的视频混剪产品，真的能够极大的提升大量视频的产出；但也因为主打混剪的原因，对于一些品牌方想要推出更高质量的视频可能就有其他的产品或平台选择。所以，筷子是视频大火后营销领域需要重点关注的竞品之一；目前，筷子科技的产品提供开放注册，分为个人版本和团队版本，下文将重点围绕团队版本展开。项目信息以下更多来源于网络信息，若有出入请忽略。筷子公司13年创立至今已经十年多，专注在营销赛道，但前后对自身定位有明显变化，从19年之前的“数字化广告技术公司”演变为后续的“内容商业生态的智能创意技术提供商”。前后共计5轮融资，目前在A+轮，非一二线风投，最近一轮融资约数千万人民币。 更多详见筷子科技 | 项目信息-36氪公司从早期的“数字化广告技术服务商”演变为“内容商业生态的智能创意技术提供商”；将服务聚焦在了内容方面：2019年之前重点在广告领域针对全渠道营销客户提供创意生产工具和数据监测，主要产品形态为DSP、DMP。标准的SaaS订阅费外，筷子科技还按照投放效果收费，从投放预算中收取一定比例的费用2020年开始定位内容创意管理主推创意内容资产管理决策全流程服务，对标Adobe AEM和Sitecore产品，主要产品形态是PCP（程序化创意平台Programmatic Creative Platform），提出对素材的“元素极管理”，旨在提供类似Head ...继续阅读 (54)

接着上一篇对于Dify中类似GPTs、Agent部分的介绍，本文将重点介绍知识库等Memory方面的分析，包括如何进行提升。1 知识库1.1 创建流程第一步 提交文档目前支持两种方式的数据源提交第二步 文本分段和清洗以一种实时交互的方式展示切片信息，并提供了丰富的分段逻辑和切片清洗逻辑（下文详细描述）第三步 创建成功的引导整个创建过程和主流的处理方案基本一致，但交互更加细腻，尤其是准实时的方式展示切片效果方便对chunk不熟悉的用户有一个直观的感受。同时，提供了多种的高级设置。进入详情页面后可查看同步的数据信息，并进行后续的管理同时支持召回测试，通过搜索验证召回效果除了支持创建时候的索引模式、检索设置之外，也支持权限等配置1.2 高级设置在本章节，将重点分析知识库中的一些高级设置。分段设置系统支持进行自定义的切片逻辑；但从过往的实际经验来看，文档内容提取和切片其实是两个过程。由于不同格式数据的影响，在进行内容提取时候并不十分精准；比如图片、表格、分栏格式等处理还需要重点进行关注。另外，业界大多也任务，切片对搜索精准率的影响比重较大，中英文等切片规则可能也不一样，这些都需要在实际工程中进行验证测试，不能一概而论。索引方式系统提供了两种方式：第一种通过Embedding进行向量化，后续依赖向量数据库的近似匹配完成搜索，需要消耗一定的token；第二种是通过传统关键词搜索的方式构 ...继续阅读 (78)

快大半年的时间，一直在公司内部设计AIGC应用拖拽式生成的产品，无意中发现了Dify.ai的工作人员吐槽被大厂抄袭的新闻，瞬间被吸引；能够被大厂照搬的产品必定是不错的产品。Dify在年末时候还获得了思否颁发的《2023中国技术先锋年度榜单——中国新锐技术先锋企业》奖项，所以必须抱着“学习者”心态去研究一番。以下信息大多来自于公开资料收集，更多可自行前往官网体验。Dify定位于生成式 AI 应用创新引擎；Dify 涵盖了构建生成式 AI 原生应用所需的核心技术栈，开发者可以聚焦于创造应用的核心价值。其定位于新一代大型语言模型应用开发平台，轻松构建和运营生成式 AI 原生应用。基于任意大型语言模型构建企业级 Assistants API 和 GPTs。1 产品主要截图1.1 探索1.1.1 发现——agent发现类似应用市场，官方提供了预置的、多场景的模板直接使用，或基于该模板进行自定义。在定位上，类似于Openai的Agent，支持应用去调用第三方插件或使用Memory。系统预置大量的模板可直接使用；也可点击“自定义”复制模板信息后进行调整修改。添加至工作区便于后期直接使用；与租户收费有关。点击不同的应用进入后，交互方式不同；下文中会提及官方提供了两种类型应用的创建。即使是同一种类型的应用，也会因设置的不同展现不同的前端页面Item组件。批量的逻辑在于提交CSV文件后批量生成和 ...继续阅读 (75)

在openai DevDay上，openai提出了GPTs以及Assistants API等新概念新事物；加上一段时间的宫斗大戏，让GPTs的热度下降了不少。但很多业者还是在提及GPTs、Agent等概念，今天就来重点做下分析对比。1 GPTsOpenAI官方对GPTs的定义是，用户为特定目的创建的ChatGPT版本。任何人都可以创建 ChatGPT 的定制版本，以便在日常生活、特定任务、工作或家庭中更有帮助，然后与其他人分享该创作。要构建一个GPTs也非常简单，不用代码，只需与GPT Builder（OpenAI推出的GPTs创建器）进行对话，并为其提供说明和其他知识，再选择GPTs能够执行的搜索网络、制作图像、分析数据等操作，一个GPTs就创建完成了。OpenAI官方推出了16个GPTs，用户可以直接使用这些GPTs。DALL·E GPT：让你的想象变成图像。Data Analysis：放入任何文件，帮助分析和可视化您的数据。ChatGPT Classic：最新版本的GPT-4，没有附加功能。”Game Time：快速向任何年龄的玩家解释棋盘游戏或纸牌游戏。The Negotiator：帮助你为自己辩护并获得更好的结果，成为一名出色的谈判者。Creative Writing Coach：渴望阅读您的作品并为您提供反馈以提高您的技能。Cosmic Dream：有远见的数字奇迹画 ...继续阅读 (54)

公司内部在10月准备了一场关于AIGC的内部分享会议，所以趁着这次机会来梳理AIGC中文生文的一些基础知识，以一种通俗的方式给大家描述文生文，同时也作为自己总结提升的方式。前篇 一些好玩的示例什么是文生文AIGC底层原理、文生文的痛点及场景如何才能写好营销文案提示词工程及微调方式带来好文案Writesonic的文生文对标竞品的使用和分析The post【AIGC】文生文的普及性概述first appeared onPMSOLO. ...继续阅读 (66)

本文主要围绕 Llamaindex框架进行描述，是当前该框架的处理方式；源自LlamaIndex工作人员的一篇博文。本文是翻译后的重疾额，原文详见传送门在这里实现RAG时涉及到的各种技术考虑因素，包括分块(chunking)、查询增强(query augmentation)、层次结构(hierarchies)、多跳推理(multi-hop reasoning)和知识图谱(knowledge graphs)等概念。分块策略在自然语言处理中，”分块”是指将文本划分为小而简洁、有意义的 “块”。与大型文档相比，RAG 系统可以更快速准确地定位到较小的文本块中的相关上下文。 分块策略主要取决于分块的质量和结构。确定最佳分块大小需要在获取所有必要信息和保持速度之间取得平衡。虽然较大的分块可以捕获更多上下文，但会引入更多噪音，并且需要更多时间和计算成本进行处理。较小的分块噪音较少，但可能无法完全捕获所需上下文。重叠式分块是一种平衡这两个约束条件的方法。通过重叠式分块，在查询过程中很可能能够跨越多个向量检索到足够相关数据，以生成适当环境化响应。一个限制是该策略假设您必须从单个文件中找到所有所需信息。如果所需上下文被拆散在多个不同文件中，则可能需要考虑利用类似文件层次结构和知识图谱的解决方案。文档层次结构使用文档层次结构是提升信息检索效率的一个强大方 ...继续阅读 (70)

在目前进行的项目过程中，客户及其测试同学多次问起如何来确定RAG产品是否可用？是否有标准来进行判断？通过资料的收集，整理如下。建立一个RAG系统在LLM时代变得很简单，但让其能够真正实际运用到业务场景中则非常困难，行业内大多数可能只能做到六七十分的水平。本文将部分框架进行解读分析，以便于可以从业务角度出发选择合适的评估框架。还是那句老话——没有最好，只有合适自己的才是最好。1 方式1：RAGAs整个RAG流程中涉及两个不同的组件：检索器组件： 为大语言模型从外部数据库中检索额外的上下文，以便回答查询。生成器组件： 基于结合了检索信息的提示来生成答案。在评估RAG流程时候，可单独对两个组件进行评估，再综合考虑。因此，需要两个关键元素：一组评估指标和 一个评估数据集 。当前领域中其实已经有了一些RAG的评估框架，比如RAG 三元组指标、ROUGE、ARES、BLEU 和 RAGAs 等。RAGAs（检索增强生成评估）是一个评估框架，最初是作为一种无需参照标准的评估框架而设计的。这意味着，在评估数据集时，不必依赖人工标注的标准答案，而是通过底层的大语言模型 (LLM) 来进行评估。1.1 评估数据RAGAs 需要以下几种信息：question：RAG 流程的输入，即用户的查询问题。answer：由 RAG 流程生成的答案，也就是输出结果。contexts：为解答 question 而 ...继续阅读 (84)

概述相关概念或逻辑语义搜索搜索引擎在进行搜索工作时不再局限于用户所输入请求语句的字面本身，而是能够准确地理解用户所输入语句后面的真正意图进行搜索，从而更加准确地返回最符合用户需求的搜索结果。语义搜索应用用户意图、上下文和概念含义来将用户查询与相应的内容相匹配。它使用矢量搜索和机器学习来返回旨在匹配用户查询的结果，即使没有单词匹配也是如此。它利用自然语言处理（NLP）和机器学习技术，以便更好地理解文本的语义含义，从而提高搜索的准确性和相关性。实现语义搜索通常涉及以下步骤：数据准备：首先，您需要有一组文本数据，这可以是文档、网页、产品描述、用户评论或其他文本资源。这些文本数据将用于构建语义搜索引擎的索引。文本预处理：在构建索引之前，文本数据通常需要经过预处理，包括分词、去停用词、词干提取、词义消歧等操作。这有助于将文本数据转换成更容易理解和比较的形式。嵌入（Embedding）：将文本数据转换为向量表示是语义搜索的关键步骤。这可以通过使用词嵌入（Word Embeddings）技术，如Word2Vec、GloVe、FastText，或者更高级的语言模型，如BERT、GPT来实现。这些向量表示捕捉了文本的语义信息，使得文本之间的相似性可以通过向量之间的距离来度量。构建索引：一旦您有了文本数据的向量表示，您可以使用一种向量索引技术来加速相似性搜索。流行的向量索引库包括Faiss、Milvu ...继续阅读 (95)

概述相关概念或逻辑语义搜索搜索引擎在进行搜索工作时不再局限于用户所输入请求语句的字面本身，而是能够准确地理解用户所输入语句后面的真正意图进行搜索，从而更加准确地返回最符合用户需求的搜索结果。语义搜索应用用户意图、上下文和概念含义来将用户查询与相应的内容相匹配。它使用矢量搜索和机器学习来返回旨在匹配用户查询的结果，即使没有单词匹配也是如此。它利用自然语言处理（NLP）和机器学习技术，以便更好地理解文本的语义含义，从而提高搜索的准确性和相关性。实现语义搜索通常涉及以下步骤：数据准备：首先，您需要有一组文本数据，这可以是文档、网页、产品描述、用户评论或其他文本资源。这些文本数据将用于构建语义搜索引擎的索引。文本预处理：在构建索引之前，文本数据通常需要经过预处理，包括分词、去停用词、词干提取、词义消歧等操作。这有助于将文本数据转换成更容易理解和比较的形式。嵌入（Embedding）：将文本数据转换为向量表示是语义搜索的关键步骤。这可以通过使用词嵌入（Word Embeddings）技术，如Word2Vec、GloVe、FastText，或者更高级的语言模型，如BERT、GPT来实现。这些向量表示捕捉了文本的语义信息，使得文本之间的相似性可以通过向量之间的距离来度量。构建索引：一旦您有了文本数据的向量表示，您可以使用一种向量索引技术来加速相似性搜索。流行的向量索引库包括Faiss、Milvu ...继续阅读 (88)

最近对学习阳明心学，对心外无物有两层的认知：第一层 物物而不物于物某个物体，过度在意就会受制于该物体；不在意不刻意，反而不被受其累。比如孤独，你在意它，它就是孤独，你享受他，它就是自由。第二层 翻身做主人上帝视角审视自己与某物体的关系，合着用、废则弃。The post关于心外无物first appeared onPMSOLO. ...继续阅读 (72)

最近对学习阳明心学，对心外无物有两层的认知：第一层 物物而不物于物某个物体，过度在意就会受制于该物体；不在意不刻意，反而不被受其累。比如孤独，你在意它，它就是孤独，你享受他，它就是自由。第二层 翻身做主人上帝视角审视自己与某物体的关系，合着用、废则弃。The post关于心外无物first appeared onPMSOLO. ...继续阅读 (63)

最近在研究操作日志，将需求中部分共享部分内容单独抽离出来，将整个需求的调研、实现细节进行描述，供各位小伙伴了解和共同成长。操作日志基本成为了B端产品的标配，其背后是企业管理层面的诉求，希望借助于操作日志更好的进行监管和促成协作，确保团队行动的一致性。C端产品较少出现操作日志，主要是因为其个人的操作并不会影响他人。虽然操作日志成为标配，但在一定程度上查看团队其他人的行为动作信息依然可能存在一定的法律风险，目前国内基本上没有明确的引导或告知。概述分类日志记录了代码的执行过程。根据目的不同，可分为系统日志和操作日志。系统日志记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。开发人员可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。由于系统日志主要是为开发人员排查问题提供依据的，因此可读性没那么高。系统级别日志，多针对开发同学操作日志记录所有用户在系统中的操作过程和操作结果，如登录记录、修改记录等。操作日志主要是为用户服务，帮助他们查看历史操作记录，因此对可读性要求较高。操作日志，多针对系统操作人员内容组成要素操作日志包含什么，其实和常见的需求分析差不多，遵循“5W1H”的原则基本就可以完成操作日志的梳理。操作日志本质上是记录“谁在什么时间、什么位置，对什么东西做了什么操作，从而产生了哪些变动”。所以，操作日志应包含以下信息：操作人员：谁执行了该操作， ...继续阅读 (81)

最近在研究操作日志，将需求中部分共享部分内容单独抽离出来，将整个需求的调研、实现细节进行描述，供各位小伙伴了解和共同成长。操作日志基本成为了B端产品的标配，其背后是企业管理层面的诉求，希望借助于操作日志更好的进行监管和促成协作，确保团队行动的一致性。C端产品较少出现操作日志，主要是因为其个人的操作并不会影响他人。虽然操作日志成为标配，但在一定程度上查看团队其他人的行为动作信息依然可能存在一定的法律风险，目前国内基本上没有明确的引导或告知。概述分类日志记录了代码的执行过程。根据目的不同，可分为系统日志和操作日志。系统日志记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。开发人员可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。由于系统日志主要是为开发人员排查问题提供依据的，因此可读性没那么高。系统级别日志，多针对开发同学操作日志记录所有用户在系统中的操作过程和操作结果，如登录记录、修改记录等。操作日志主要是为用户服务，帮助他们查看历史操作记录，因此对可读性要求较高。操作日志，多针对系统操作人员内容组成要素操作日志包含什么，其实和常见的需求分析差不多，遵循“5W1H”的原则基本就可以完成操作日志的梳理。操作日志本质上是记录“谁在什么时间、什么位置，对什么东西做了什么操作，从而产生了哪些变动”。所以，操作日志应包含以下信息：操作人员：谁执行了该操作， ...继续阅读 (73)

异常检测（Anomaly Detection），也被称为离群值检测（Outlier Detection）或异常值检测，是一种数据分析方法，用于识别数据集中的异常或不寻常的数据点，这些数据点与其他正常数据点不同。异常可以是意外事件、错误、故障或潜在的欺诈行为。异常检测在多个领域中都有应用，包括金融、网络安全、制造、医疗保健和环境监测等。以下是异常检测的一些关键概念和方法：异常类型：异常可以分为不同类型，包括点异常（Point Anomaly）和上下文异常（Contextual Anomaly）。点异常是指在数据集中的某个数据点是异常的，而上下文异常是指在特定上下文下的数据点异常。基于阈值的方法：最简单的异常检测方法是基于阈值的方法，其中异常被定义为与正常数据点的差异超过某个预定义阈值的数据点。这种方法对于简单问题可能有效，但通常对于复杂数据集和多维数据不够稳健。统计方法：统计方法包括使用概率分布、均值、标准差等统计量来检测异常。常见的统计方法包括Z分数、箱线图和百分位方法。机器学习方法：机器学习方法是异常检测中更强大和灵活的方法之一，它们可以处理复杂的数据和多维特征。常见的机器学习方法包括基于密度的方法（如LOF和DBSCAN）、基于距离的方法（如k近邻）、聚类方法、以及基于深度学习的方法（如自编码器）。时间序列异常检测：对于时间序列数据，异常检测需要考虑时间维度。时间序列中的异常可 ...继续阅读 (91)

异常检测（Anomaly Detection），也被称为离群值检测（Outlier Detection）或异常值检测，是一种数据分析方法，用于识别数据集中的异常或不寻常的数据点，这些数据点与其他正常数据点不同。异常可以是意外事件、错误、故障或潜在的欺诈行为。异常检测在多个领域中都有应用，包括金融、网络安全、制造、医疗保健和环境监测等。以下是异常检测的一些关键概念和方法：异常类型：异常可以分为不同类型，包括点异常（Point Anomaly）和上下文异常（Contextual Anomaly）。点异常是指在数据集中的某个数据点是异常的，而上下文异常是指在特定上下文下的数据点异常。基于阈值的方法：最简单的异常检测方法是基于阈值的方法，其中异常被定义为与正常数据点的差异超过某个预定义阈值的数据点。这种方法对于简单问题可能有效，但通常对于复杂数据集和多维数据不够稳健。统计方法：统计方法包括使用概率分布、均值、标准差等统计量来检测异常。常见的统计方法包括Z分数、箱线图和百分位方法。机器学习方法：机器学习方法是异常检测中更强大和灵活的方法之一，它们可以处理复杂的数据和多维特征。常见的机器学习方法包括基于密度的方法（如LOF和DBSCAN）、基于距离的方法（如k近邻）、聚类方法、以及基于深度学习的方法（如自编码器）。时间序列异常检测：对于时间序列数据，异常检测需要考虑时间维度。时间序列中的异常可 ...继续阅读 (78)

降维（Dimensionality Reduction）是指将高维数据集中的特征维度减少到较低维度的过程。高维数据集通常包含大量特征，而降维的目标是保留尽可能多的信息，同时减少数据的维度，以便更容易可视化、分析和建模。降维技术在数据挖掘、机器学习和数据分析中具有重要作用。降维的两种主要方法是：特征选择（Feature Selection）：特征选择是通过选择最重要的特征来减少维度。这些特征通常与目标变量或任务的性能关系最大。常见的特征选择方法包括方差阈值、相关系数、互信息、递归特征消除（RFE）等。优点：简单、易于理解，不需要计算新特征。缺点：可能忽略了特征之间的复杂关系。特征抽取（Feature Extraction）：特征抽取通过将原始特征变换为新的特征空间来减少维度。这些新特征通常是原始特征的线性或非线性组合。常见的特征抽取方法包括主成分分析（PCA）、线性判别分析（LDA）、t-SNE、自编码器等。优点：保留了数据的主要信息，可以捕捉特征之间的复杂关系。缺点：计算复杂度较高，可能需要调整参数。降维的主要优点包括：减少计算复杂度：降维可以大幅减少处理高维数据的计算成本。去除冗余信息：降维可以帮助去除不重要的特征，从而减少噪声和冗余信息的影响。可视化：将数据降维到2D或3D空间可以更容易地可视化数据。增强模型泛化能力：降维可以减少维度灾难问题，有助于提高机器学习模型的泛化能力。 ...继续阅读 (95)

降维（Dimensionality Reduction）是指将高维数据集中的特征维度减少到较低维度的过程。高维数据集通常包含大量特征，而降维的目标是保留尽可能多的信息，同时减少数据的维度，以便更容易可视化、分析和建模。降维技术在数据挖掘、机器学习和数据分析中具有重要作用。降维的两种主要方法是：特征选择（Feature Selection）：特征选择是通过选择最重要的特征来减少维度。这些特征通常与目标变量或任务的性能关系最大。常见的特征选择方法包括方差阈值、相关系数、互信息、递归特征消除（RFE）等。优点：简单、易于理解，不需要计算新特征。缺点：可能忽略了特征之间的复杂关系。特征抽取（Feature Extraction）：特征抽取通过将原始特征变换为新的特征空间来减少维度。这些新特征通常是原始特征的线性或非线性组合。常见的特征抽取方法包括主成分分析（PCA）、线性判别分析（LDA）、t-SNE、自编码器等。优点：保留了数据的主要信息，可以捕捉特征之间的复杂关系。缺点：计算复杂度较高，可能需要调整参数。降维的主要优点包括：减少计算复杂度：降维可以大幅减少处理高维数据的计算成本。去除冗余信息：降维可以帮助去除不重要的特征，从而减少噪声和冗余信息的影响。可视化：将数据降维到2D或3D空间可以更容易地可视化数据。增强模型泛化能力：降维可以减少维度灾难问题，有助于提高机器学习模型的泛化能力。 ...继续阅读 (82)

无监督学习：简介 Unsupervised Learning_ Introduction无监督学习（Unsupervised Learning）是机器学习的一种范式，与监督学习不同，它在训练过程中不使用标签或输出目标。无监督学习的主要任务是从数据中发现隐藏的结构、模式或规律，以便对数据进行聚类、降维、生成等操作。这种学习范式适用于许多现实世界的问题，其中没有事先标记的数据。以下是无监督学习的一些关键概念和要点：聚类（Clustering）：聚类是无监督学习中的一项任务，其目标是将数据分成若干组，每组内的数据点相似度较高，而不同组之间的相似度较低。K均值聚类和层次聚类是常见的聚类算法。降维（Dimensionality Reduction）：降维是指减少数据集的特征维度，同时保留尽可能多的信息。降维技术有助于可视化数据和减少计算复杂性。主成分分析（PCA）和 t-SNE 是常用的降维方法。生成模型（Generative Models）：生成模型试图学习数据的概率分布，然后可以生成与原始数据类似的新样本。常见的生成模型包括高斯混合模型（GMM）和变分自编码器（VAE）等。关联规则挖掘（Association Rule Mining）：关联规则挖掘是一种发现数据中项之间关联关系的方法，常用于市场篮子分析和推荐系统。异常检测（Anomaly Detection）：异常检测的目标是识别数据中 ...继续阅读 (77)

无监督学习：简介 Unsupervised Learning_ Introduction无监督学习（Unsupervised Learning）是机器学习的一种范式，与监督学习不同，它在训练过程中不使用标签或输出目标。无监督学习的主要任务是从数据中发现隐藏的结构、模式或规律，以便对数据进行聚类、降维、生成等操作。这种学习范式适用于许多现实世界的问题，其中没有事先标记的数据。以下是无监督学习的一些关键概念和要点：聚类（Clustering）：聚类是无监督学习中的一项任务，其目标是将数据分成若干组，每组内的数据点相似度较高，而不同组之间的相似度较低。K均值聚类和层次聚类是常见的聚类算法。降维（Dimensionality Reduction）：降维是指减少数据集的特征维度，同时保留尽可能多的信息。降维技术有助于可视化数据和减少计算复杂性。主成分分析（PCA）和 t-SNE 是常用的降维方法。生成模型（Generative Models）：生成模型试图学习数据的概率分布，然后可以生成与原始数据类似的新样本。常见的生成模型包括高斯混合模型（GMM）和变分自编码器（VAE）等。关联规则挖掘（Association Rule Mining）：关联规则挖掘是一种发现数据中项之间关联关系的方法，常用于市场篮子分析和推荐系统。异常检测（Anomaly Detection）：异常检测的目标是识别数据中 ...继续阅读 (81)

支持向量机（Support Vector Machine，SVM）是一种机器学习算法，用于分类和回归分析。它是一种监督学习方法，最初由Vladimir Vapnik等人于20世纪90年代开发。SVM 的主要目标是找到一个能够将不同类别的数据点分隔开的超平面（在二维空间中，超平面就是一条直线）。这个超平面被选择为使两个不同类别的数据点距离超平面的间隔最大化。这些距离称为支持向量，因此 SVM 的名字就来源于此。以下是 SVM 的关键概念和工作原理：超平面：在二维空间中，超平面是一条直线，但在高维空间中，它是一个超平面。SVM 的目标是找到一个能够最大化不同类别数据点到这个超平面的距离的超平面。支持向量：支持向量是离超平面最近的那些数据点。它们是决定超平面位置的关键元素。分类：SVM 可以用于二元分类和多元分类问题。在二元分类中，SVM试图找到一个超平面，将数据点分为两个类别。在多元分类中，SVM 可以通过多个超平面的组合来实现。核函数：SVM 可以使用核函数来处理线性不可分的数据。核函数将数据映射到高维空间，使其在高维空间中线性可分。常用的核函数包括线性核、多项式核和高斯核（RBF核）等。正则化：SVM 通常使用正则化来避免过拟合。正则化参数可以调整模型的复杂度，以提高泛化性能。优化目标 Optimization Objective与逻辑回归和神经网络相比，支持向量机，或者简称SVM ...继续阅读 (74)

支持向量机（Support Vector Machine，SVM）是一种机器学习算法，用于分类和回归分析。它是一种监督学习方法，最初由Vladimir Vapnik等人于20世纪90年代开发。SVM 的主要目标是找到一个能够将不同类别的数据点分隔开的超平面（在二维空间中，超平面就是一条直线）。这个超平面被选择为使两个不同类别的数据点距离超平面的间隔最大化。这些距离称为支持向量，因此 SVM 的名字就来源于此。以下是 SVM 的关键概念和工作原理：超平面：在二维空间中，超平面是一条直线，但在高维空间中，它是一个超平面。SVM 的目标是找到一个能够最大化不同类别数据点到这个超平面的距离的超平面。支持向量：支持向量是离超平面最近的那些数据点。它们是决定超平面位置的关键元素。分类：SVM 可以用于二元分类和多元分类问题。在二元分类中，SVM试图找到一个超平面，将数据点分为两个类别。在多元分类中，SVM 可以通过多个超平面的组合来实现。核函数：SVM 可以使用核函数来处理线性不可分的数据。核函数将数据映射到高维空间，使其在高维空间中线性可分。常用的核函数包括线性核、多项式核和高斯核（RBF核）等。正则化：SVM 通常使用正则化来避免过拟合。正则化参数可以调整模型的复杂度，以提高泛化性能。优化目标 Optimization Objective与逻辑回归和神经网络相比，支持向量机，或者简称SVM ...继续阅读 (78)

决定下一步做什么 Deciding What to Try Next当训练好了的模型来预测未知数据的时候发现有较大的误差，下一步一般有以下动作：获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法；尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少正则化程度尝试增加正则化程度不应该随机选择上面的某种方法来改进算法，而是运用一些机器学习诊断法来帮助知道上面哪些方法对算法是有效的。”机器学习诊断法”：这是一种测试法，通过执行测试，能够深入了解某种算法到底是否有用。这通常也能够告诉你，要想改进一种算法的效果，什么样的尝试，才是有意义的。评估一个假设 Evaluating a Hypothesis当确定算法的参数的时候，希望是选择参量来使训练误差最小化；但是当假设具有很小的训练误差，并不能说明它就一定是一个好的假设函数。比如过拟合假设函数，当推广到新的训练集上却是不适用的。如何判断一个假设函数是过拟合的呢？可以对假设函数进行画图，然后观察图形趋势，但对于特征变量不止一个的这种一般情况，还有像有很多特征变量的问题，想要通过画出假设函数来进行观察，就会变得很难甚至是不可能实现。 因此，我们需要另一种方法来评估我们的假设函数过拟合检验。为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集 ...继续阅读 (89)

决定下一步做什么 Deciding What to Try Next当训练好了的模型来预测未知数据的时候发现有较大的误差，下一步一般有以下动作：获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法；尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少正则化程度尝试增加正则化程度不应该随机选择上面的某种方法来改进算法，而是运用一些机器学习诊断法来帮助知道上面哪些方法对算法是有效的。”机器学习诊断法”：这是一种测试法，通过执行测试，能够深入了解某种算法到底是否有用。这通常也能够告诉你，要想改进一种算法的效果，什么样的尝试，才是有意义的。评估一个假设 Evaluating a Hypothesis当确定算法的参数的时候，希望是选择参量来使训练误差最小化；但是当假设具有很小的训练误差，并不能说明它就一定是一个好的假设函数。比如过拟合假设函数，当推广到新的训练集上却是不适用的。如何判断一个假设函数是过拟合的呢？可以对假设函数进行画图，然后观察图形趋势，但对于特征变量不止一个的这种一般情况，还有像有很多特征变量的问题，想要通过画出假设函数来进行观察，就会变得很难甚至是不可能实现。 因此，我们需要另一种方法来评估我们的假设函数过拟合检验。为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集 ...继续阅读 (84)