在公司项目推进过程中，有幸体验了一把筷子科技的视频混剪产品，真的能够极大的提升大量视频的产出；但也因为主打混剪的原因，对于一些品牌方想要推出更高质量的视频可能就有其他的产品或平台选择。所以，筷子是视频大火后营销领域需要重点关注的竞品之一；目前，筷子科技的产品提供开放注册，分为个人版本和团队版本，下文将重点围绕团队版本展开。项目信息以下更多来源于网络信息，若有出入请忽略。筷子公司13年创立至今已经十年多，专注在营销赛道，但前后对自身定位有明显变化，从19年之前的“数字化广告技术公司”演变为后续的“内容商业生态的智能创意技术提供商”。前后共计5轮融资，目前在A+轮，非一二线风投，最近一轮融资约数千万人民币。 更多详见筷子科技 | 项目信息-36氪公司从早期的“数字化广告技术服务商”演变为“内容商业生态的智能创意技术提供商”；将服务聚焦在了内容方面：2019年之前重点在广告领域针对全渠道营销客户提供创意生产工具和数据监测，主要产品形态为DSP、DMP。标准的SaaS订阅费外，筷子科技还按照投放效果收费，从投放预算中收取一定比例的费用2020年开始定位内容创意管理主推创意内容资产管理决策全流程服务，对标Adobe AEM和Sitecore产品，主要产品形态是PCP（程序化创意平台Programmatic Creative Platform），提出对素材的“元素极管理”，旨在提供类似Head ...继续阅读 (45)

接着上一篇对于Dify中类似GPTs、Agent部分的介绍，本文将重点介绍知识库等Memory方面的分析，包括如何进行提升。1 知识库1.1 创建流程第一步 提交文档目前支持两种方式的数据源提交第二步 文本分段和清洗以一种实时交互的方式展示切片信息，并提供了丰富的分段逻辑和切片清洗逻辑（下文详细描述）第三步 创建成功的引导整个创建过程和主流的处理方案基本一致，但交互更加细腻，尤其是准实时的方式展示切片效果方便对chunk不熟悉的用户有一个直观的感受。同时，提供了多种的高级设置。进入详情页面后可查看同步的数据信息，并进行后续的管理同时支持召回测试，通过搜索验证召回效果除了支持创建时候的索引模式、检索设置之外，也支持权限等配置1.2 高级设置在本章节，将重点分析知识库中的一些高级设置。分段设置系统支持进行自定义的切片逻辑；但从过往的实际经验来看，文档内容提取和切片其实是两个过程。由于不同格式数据的影响，在进行内容提取时候并不十分精准；比如图片、表格、分栏格式等处理还需要重点进行关注。另外，业界大多也任务，切片对搜索精准率的影响比重较大，中英文等切片规则可能也不一样，这些都需要在实际工程中进行验证测试，不能一概而论。索引方式系统提供了两种方式：第一种通过Embedding进行向量化，后续依赖向量数据库的近似匹配完成搜索，需要消耗一定的token；第二种是通过传统关键词搜索的方式构 ...继续阅读 (69)

快大半年的时间，一直在公司内部设计AIGC应用拖拽式生成的产品，无意中发现了Dify.ai的工作人员吐槽被大厂抄袭的新闻，瞬间被吸引；能够被大厂照搬的产品必定是不错的产品。Dify在年末时候还获得了思否颁发的《2023中国技术先锋年度榜单——中国新锐技术先锋企业》奖项，所以必须抱着“学习者”心态去研究一番。以下信息大多来自于公开资料收集，更多可自行前往官网体验。Dify定位于生成式 AI 应用创新引擎；Dify 涵盖了构建生成式 AI 原生应用所需的核心技术栈，开发者可以聚焦于创造应用的核心价值。其定位于新一代大型语言模型应用开发平台，轻松构建和运营生成式 AI 原生应用。基于任意大型语言模型构建企业级 Assistants API 和 GPTs。1 产品主要截图1.1 探索1.1.1 发现——agent发现类似应用市场，官方提供了预置的、多场景的模板直接使用，或基于该模板进行自定义。在定位上，类似于Openai的Agent，支持应用去调用第三方插件或使用Memory。系统预置大量的模板可直接使用；也可点击“自定义”复制模板信息后进行调整修改。添加至工作区便于后期直接使用；与租户收费有关。点击不同的应用进入后，交互方式不同；下文中会提及官方提供了两种类型应用的创建。即使是同一种类型的应用，也会因设置的不同展现不同的前端页面Item组件。批量的逻辑在于提交CSV文件后批量生成和 ...继续阅读 (67)

在openai DevDay上，openai提出了GPTs以及Assistants API等新概念新事物；加上一段时间的宫斗大戏，让GPTs的热度下降了不少。但很多业者还是在提及GPTs、Agent等概念，今天就来重点做下分析对比。1 GPTsOpenAI官方对GPTs的定义是，用户为特定目的创建的ChatGPT版本。任何人都可以创建 ChatGPT 的定制版本，以便在日常生活、特定任务、工作或家庭中更有帮助，然后与其他人分享该创作。要构建一个GPTs也非常简单，不用代码，只需与GPT Builder（OpenAI推出的GPTs创建器）进行对话，并为其提供说明和其他知识，再选择GPTs能够执行的搜索网络、制作图像、分析数据等操作，一个GPTs就创建完成了。OpenAI官方推出了16个GPTs，用户可以直接使用这些GPTs。DALL·E GPT：让你的想象变成图像。Data Analysis：放入任何文件，帮助分析和可视化您的数据。ChatGPT Classic：最新版本的GPT-4，没有附加功能。”Game Time：快速向任何年龄的玩家解释棋盘游戏或纸牌游戏。The Negotiator：帮助你为自己辩护并获得更好的结果，成为一名出色的谈判者。Creative Writing Coach：渴望阅读您的作品并为您提供反馈以提高您的技能。Cosmic Dream：有远见的数字奇迹画 ...继续阅读 (46)

公司内部在10月准备了一场关于AIGC的内部分享会议，所以趁着这次机会来梳理AIGC中文生文的一些基础知识，以一种通俗的方式给大家描述文生文，同时也作为自己总结提升的方式。前篇 一些好玩的示例什么是文生文AIGC底层原理、文生文的痛点及场景如何才能写好营销文案提示词工程及微调方式带来好文案Writesonic的文生文对标竞品的使用和分析The post【AIGC】文生文的普及性概述first appeared onPMSOLO. ...继续阅读 (59)

本文主要围绕 Llamaindex框架进行描述，是当前该框架的处理方式；源自LlamaIndex工作人员的一篇博文。本文是翻译后的重疾额，原文详见传送门在这里实现RAG时涉及到的各种技术考虑因素，包括分块(chunking)、查询增强(query augmentation)、层次结构(hierarchies)、多跳推理(multi-hop reasoning)和知识图谱(knowledge graphs)等概念。分块策略在自然语言处理中，”分块”是指将文本划分为小而简洁、有意义的 “块”。与大型文档相比，RAG 系统可以更快速准确地定位到较小的文本块中的相关上下文。 分块策略主要取决于分块的质量和结构。确定最佳分块大小需要在获取所有必要信息和保持速度之间取得平衡。虽然较大的分块可以捕获更多上下文，但会引入更多噪音，并且需要更多时间和计算成本进行处理。较小的分块噪音较少，但可能无法完全捕获所需上下文。重叠式分块是一种平衡这两个约束条件的方法。通过重叠式分块，在查询过程中很可能能够跨越多个向量检索到足够相关数据，以生成适当环境化响应。一个限制是该策略假设您必须从单个文件中找到所有所需信息。如果所需上下文被拆散在多个不同文件中，则可能需要考虑利用类似文件层次结构和知识图谱的解决方案。文档层次结构使用文档层次结构是提升信息检索效率的一个强大方 ...继续阅读 (64)

在目前进行的项目过程中，客户及其测试同学多次问起如何来确定RAG产品是否可用？是否有标准来进行判断？通过资料的收集，整理如下。建立一个RAG系统在LLM时代变得很简单，但让其能够真正实际运用到业务场景中则非常困难，行业内大多数可能只能做到六七十分的水平。本文将部分框架进行解读分析，以便于可以从业务角度出发选择合适的评估框架。还是那句老话——没有最好，只有合适自己的才是最好。1 方式1：RAGAs整个RAG流程中涉及两个不同的组件：检索器组件： 为大语言模型从外部数据库中检索额外的上下文，以便回答查询。生成器组件： 基于结合了检索信息的提示来生成答案。在评估RAG流程时候，可单独对两个组件进行评估，再综合考虑。因此，需要两个关键元素：一组评估指标和 一个评估数据集 。当前领域中其实已经有了一些RAG的评估框架，比如RAG 三元组指标、ROUGE、ARES、BLEU 和 RAGAs 等。RAGAs（检索增强生成评估）是一个评估框架，最初是作为一种无需参照标准的评估框架而设计的。这意味着，在评估数据集时，不必依赖人工标注的标准答案，而是通过底层的大语言模型 (LLM) 来进行评估。1.1 评估数据RAGAs 需要以下几种信息：question：RAG 流程的输入，即用户的查询问题。answer：由 RAG 流程生成的答案，也就是输出结果。contexts：为解答 question 而 ...继续阅读 (73)

概述相关概念或逻辑语义搜索搜索引擎在进行搜索工作时不再局限于用户所输入请求语句的字面本身，而是能够准确地理解用户所输入语句后面的真正意图进行搜索，从而更加准确地返回最符合用户需求的搜索结果。语义搜索应用用户意图、上下文和概念含义来将用户查询与相应的内容相匹配。它使用矢量搜索和机器学习来返回旨在匹配用户查询的结果，即使没有单词匹配也是如此。它利用自然语言处理（NLP）和机器学习技术，以便更好地理解文本的语义含义，从而提高搜索的准确性和相关性。实现语义搜索通常涉及以下步骤：数据准备：首先，您需要有一组文本数据，这可以是文档、网页、产品描述、用户评论或其他文本资源。这些文本数据将用于构建语义搜索引擎的索引。文本预处理：在构建索引之前，文本数据通常需要经过预处理，包括分词、去停用词、词干提取、词义消歧等操作。这有助于将文本数据转换成更容易理解和比较的形式。嵌入（Embedding）：将文本数据转换为向量表示是语义搜索的关键步骤。这可以通过使用词嵌入（Word Embeddings）技术，如Word2Vec、GloVe、FastText，或者更高级的语言模型，如BERT、GPT来实现。这些向量表示捕捉了文本的语义信息，使得文本之间的相似性可以通过向量之间的距离来度量。构建索引：一旦您有了文本数据的向量表示，您可以使用一种向量索引技术来加速相似性搜索。流行的向量索引库包括Faiss、Milvu ...继续阅读 (87)

概述相关概念或逻辑语义搜索搜索引擎在进行搜索工作时不再局限于用户所输入请求语句的字面本身，而是能够准确地理解用户所输入语句后面的真正意图进行搜索，从而更加准确地返回最符合用户需求的搜索结果。语义搜索应用用户意图、上下文和概念含义来将用户查询与相应的内容相匹配。它使用矢量搜索和机器学习来返回旨在匹配用户查询的结果，即使没有单词匹配也是如此。它利用自然语言处理（NLP）和机器学习技术，以便更好地理解文本的语义含义，从而提高搜索的准确性和相关性。实现语义搜索通常涉及以下步骤：数据准备：首先，您需要有一组文本数据，这可以是文档、网页、产品描述、用户评论或其他文本资源。这些文本数据将用于构建语义搜索引擎的索引。文本预处理：在构建索引之前，文本数据通常需要经过预处理，包括分词、去停用词、词干提取、词义消歧等操作。这有助于将文本数据转换成更容易理解和比较的形式。嵌入（Embedding）：将文本数据转换为向量表示是语义搜索的关键步骤。这可以通过使用词嵌入（Word Embeddings）技术，如Word2Vec、GloVe、FastText，或者更高级的语言模型，如BERT、GPT来实现。这些向量表示捕捉了文本的语义信息，使得文本之间的相似性可以通过向量之间的距离来度量。构建索引：一旦您有了文本数据的向量表示，您可以使用一种向量索引技术来加速相似性搜索。流行的向量索引库包括Faiss、Milvu ...继续阅读 (81)

最近对学习阳明心学，对心外无物有两层的认知：第一层 物物而不物于物某个物体，过度在意就会受制于该物体；不在意不刻意，反而不被受其累。比如孤独，你在意它，它就是孤独，你享受他，它就是自由。第二层 翻身做主人上帝视角审视自己与某物体的关系，合着用、废则弃。The post关于心外无物first appeared onPMSOLO. ...继续阅读 (65)

最近对学习阳明心学，对心外无物有两层的认知：第一层 物物而不物于物某个物体，过度在意就会受制于该物体；不在意不刻意，反而不被受其累。比如孤独，你在意它，它就是孤独，你享受他，它就是自由。第二层 翻身做主人上帝视角审视自己与某物体的关系，合着用、废则弃。The post关于心外无物first appeared onPMSOLO. ...继续阅读 (53)

最近在研究操作日志，将需求中部分共享部分内容单独抽离出来，将整个需求的调研、实现细节进行描述，供各位小伙伴了解和共同成长。操作日志基本成为了B端产品的标配，其背后是企业管理层面的诉求，希望借助于操作日志更好的进行监管和促成协作，确保团队行动的一致性。C端产品较少出现操作日志，主要是因为其个人的操作并不会影响他人。虽然操作日志成为标配，但在一定程度上查看团队其他人的行为动作信息依然可能存在一定的法律风险，目前国内基本上没有明确的引导或告知。概述分类日志记录了代码的执行过程。根据目的不同，可分为系统日志和操作日志。系统日志记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。开发人员可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。由于系统日志主要是为开发人员排查问题提供依据的，因此可读性没那么高。系统级别日志，多针对开发同学操作日志记录所有用户在系统中的操作过程和操作结果，如登录记录、修改记录等。操作日志主要是为用户服务，帮助他们查看历史操作记录，因此对可读性要求较高。操作日志，多针对系统操作人员内容组成要素操作日志包含什么，其实和常见的需求分析差不多，遵循“5W1H”的原则基本就可以完成操作日志的梳理。操作日志本质上是记录“谁在什么时间、什么位置，对什么东西做了什么操作，从而产生了哪些变动”。所以，操作日志应包含以下信息：操作人员：谁执行了该操作， ...继续阅读 (74)

最近在研究操作日志，将需求中部分共享部分内容单独抽离出来，将整个需求的调研、实现细节进行描述，供各位小伙伴了解和共同成长。操作日志基本成为了B端产品的标配，其背后是企业管理层面的诉求，希望借助于操作日志更好的进行监管和促成协作，确保团队行动的一致性。C端产品较少出现操作日志，主要是因为其个人的操作并不会影响他人。虽然操作日志成为标配，但在一定程度上查看团队其他人的行为动作信息依然可能存在一定的法律风险，目前国内基本上没有明确的引导或告知。概述分类日志记录了代码的执行过程。根据目的不同，可分为系统日志和操作日志。系统日志记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。开发人员可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。由于系统日志主要是为开发人员排查问题提供依据的，因此可读性没那么高。系统级别日志，多针对开发同学操作日志记录所有用户在系统中的操作过程和操作结果，如登录记录、修改记录等。操作日志主要是为用户服务，帮助他们查看历史操作记录，因此对可读性要求较高。操作日志，多针对系统操作人员内容组成要素操作日志包含什么，其实和常见的需求分析差不多，遵循“5W1H”的原则基本就可以完成操作日志的梳理。操作日志本质上是记录“谁在什么时间、什么位置，对什么东西做了什么操作，从而产生了哪些变动”。所以，操作日志应包含以下信息：操作人员：谁执行了该操作， ...继续阅读 (60)

异常检测（Anomaly Detection），也被称为离群值检测（Outlier Detection）或异常值检测，是一种数据分析方法，用于识别数据集中的异常或不寻常的数据点，这些数据点与其他正常数据点不同。异常可以是意外事件、错误、故障或潜在的欺诈行为。异常检测在多个领域中都有应用，包括金融、网络安全、制造、医疗保健和环境监测等。以下是异常检测的一些关键概念和方法：异常类型：异常可以分为不同类型，包括点异常（Point Anomaly）和上下文异常（Contextual Anomaly）。点异常是指在数据集中的某个数据点是异常的，而上下文异常是指在特定上下文下的数据点异常。基于阈值的方法：最简单的异常检测方法是基于阈值的方法，其中异常被定义为与正常数据点的差异超过某个预定义阈值的数据点。这种方法对于简单问题可能有效，但通常对于复杂数据集和多维数据不够稳健。统计方法：统计方法包括使用概率分布、均值、标准差等统计量来检测异常。常见的统计方法包括Z分数、箱线图和百分位方法。机器学习方法：机器学习方法是异常检测中更强大和灵活的方法之一，它们可以处理复杂的数据和多维特征。常见的机器学习方法包括基于密度的方法（如LOF和DBSCAN）、基于距离的方法（如k近邻）、聚类方法、以及基于深度学习的方法（如自编码器）。时间序列异常检测：对于时间序列数据，异常检测需要考虑时间维度。时间序列中的异常可 ...继续阅读 (83)

异常检测（Anomaly Detection），也被称为离群值检测（Outlier Detection）或异常值检测，是一种数据分析方法，用于识别数据集中的异常或不寻常的数据点，这些数据点与其他正常数据点不同。异常可以是意外事件、错误、故障或潜在的欺诈行为。异常检测在多个领域中都有应用，包括金融、网络安全、制造、医疗保健和环境监测等。以下是异常检测的一些关键概念和方法：异常类型：异常可以分为不同类型，包括点异常（Point Anomaly）和上下文异常（Contextual Anomaly）。点异常是指在数据集中的某个数据点是异常的，而上下文异常是指在特定上下文下的数据点异常。基于阈值的方法：最简单的异常检测方法是基于阈值的方法，其中异常被定义为与正常数据点的差异超过某个预定义阈值的数据点。这种方法对于简单问题可能有效，但通常对于复杂数据集和多维数据不够稳健。统计方法：统计方法包括使用概率分布、均值、标准差等统计量来检测异常。常见的统计方法包括Z分数、箱线图和百分位方法。机器学习方法：机器学习方法是异常检测中更强大和灵活的方法之一，它们可以处理复杂的数据和多维特征。常见的机器学习方法包括基于密度的方法（如LOF和DBSCAN）、基于距离的方法（如k近邻）、聚类方法、以及基于深度学习的方法（如自编码器）。时间序列异常检测：对于时间序列数据，异常检测需要考虑时间维度。时间序列中的异常可 ...继续阅读 (72)

降维（Dimensionality Reduction）是指将高维数据集中的特征维度减少到较低维度的过程。高维数据集通常包含大量特征，而降维的目标是保留尽可能多的信息，同时减少数据的维度，以便更容易可视化、分析和建模。降维技术在数据挖掘、机器学习和数据分析中具有重要作用。降维的两种主要方法是：特征选择（Feature Selection）：特征选择是通过选择最重要的特征来减少维度。这些特征通常与目标变量或任务的性能关系最大。常见的特征选择方法包括方差阈值、相关系数、互信息、递归特征消除（RFE）等。优点：简单、易于理解，不需要计算新特征。缺点：可能忽略了特征之间的复杂关系。特征抽取（Feature Extraction）：特征抽取通过将原始特征变换为新的特征空间来减少维度。这些新特征通常是原始特征的线性或非线性组合。常见的特征抽取方法包括主成分分析（PCA）、线性判别分析（LDA）、t-SNE、自编码器等。优点：保留了数据的主要信息，可以捕捉特征之间的复杂关系。缺点：计算复杂度较高，可能需要调整参数。降维的主要优点包括：减少计算复杂度：降维可以大幅减少处理高维数据的计算成本。去除冗余信息：降维可以帮助去除不重要的特征，从而减少噪声和冗余信息的影响。可视化：将数据降维到2D或3D空间可以更容易地可视化数据。增强模型泛化能力：降维可以减少维度灾难问题，有助于提高机器学习模型的泛化能力。 ...继续阅读 (85)

降维（Dimensionality Reduction）是指将高维数据集中的特征维度减少到较低维度的过程。高维数据集通常包含大量特征，而降维的目标是保留尽可能多的信息，同时减少数据的维度，以便更容易可视化、分析和建模。降维技术在数据挖掘、机器学习和数据分析中具有重要作用。降维的两种主要方法是：特征选择（Feature Selection）：特征选择是通过选择最重要的特征来减少维度。这些特征通常与目标变量或任务的性能关系最大。常见的特征选择方法包括方差阈值、相关系数、互信息、递归特征消除（RFE）等。优点：简单、易于理解，不需要计算新特征。缺点：可能忽略了特征之间的复杂关系。特征抽取（Feature Extraction）：特征抽取通过将原始特征变换为新的特征空间来减少维度。这些新特征通常是原始特征的线性或非线性组合。常见的特征抽取方法包括主成分分析（PCA）、线性判别分析（LDA）、t-SNE、自编码器等。优点：保留了数据的主要信息，可以捕捉特征之间的复杂关系。缺点：计算复杂度较高，可能需要调整参数。降维的主要优点包括：减少计算复杂度：降维可以大幅减少处理高维数据的计算成本。去除冗余信息：降维可以帮助去除不重要的特征，从而减少噪声和冗余信息的影响。可视化：将数据降维到2D或3D空间可以更容易地可视化数据。增强模型泛化能力：降维可以减少维度灾难问题，有助于提高机器学习模型的泛化能力。 ...继续阅读 (76)

无监督学习：简介 Unsupervised Learning_ Introduction无监督学习（Unsupervised Learning）是机器学习的一种范式，与监督学习不同，它在训练过程中不使用标签或输出目标。无监督学习的主要任务是从数据中发现隐藏的结构、模式或规律，以便对数据进行聚类、降维、生成等操作。这种学习范式适用于许多现实世界的问题，其中没有事先标记的数据。以下是无监督学习的一些关键概念和要点：聚类（Clustering）：聚类是无监督学习中的一项任务，其目标是将数据分成若干组，每组内的数据点相似度较高，而不同组之间的相似度较低。K均值聚类和层次聚类是常见的聚类算法。降维（Dimensionality Reduction）：降维是指减少数据集的特征维度，同时保留尽可能多的信息。降维技术有助于可视化数据和减少计算复杂性。主成分分析（PCA）和 t-SNE 是常用的降维方法。生成模型（Generative Models）：生成模型试图学习数据的概率分布，然后可以生成与原始数据类似的新样本。常见的生成模型包括高斯混合模型（GMM）和变分自编码器（VAE）等。关联规则挖掘（Association Rule Mining）：关联规则挖掘是一种发现数据中项之间关联关系的方法，常用于市场篮子分析和推荐系统。异常检测（Anomaly Detection）：异常检测的目标是识别数据中 ...继续阅读 (68)

无监督学习：简介 Unsupervised Learning_ Introduction无监督学习（Unsupervised Learning）是机器学习的一种范式，与监督学习不同，它在训练过程中不使用标签或输出目标。无监督学习的主要任务是从数据中发现隐藏的结构、模式或规律，以便对数据进行聚类、降维、生成等操作。这种学习范式适用于许多现实世界的问题，其中没有事先标记的数据。以下是无监督学习的一些关键概念和要点：聚类（Clustering）：聚类是无监督学习中的一项任务，其目标是将数据分成若干组，每组内的数据点相似度较高，而不同组之间的相似度较低。K均值聚类和层次聚类是常见的聚类算法。降维（Dimensionality Reduction）：降维是指减少数据集的特征维度，同时保留尽可能多的信息。降维技术有助于可视化数据和减少计算复杂性。主成分分析（PCA）和 t-SNE 是常用的降维方法。生成模型（Generative Models）：生成模型试图学习数据的概率分布，然后可以生成与原始数据类似的新样本。常见的生成模型包括高斯混合模型（GMM）和变分自编码器（VAE）等。关联规则挖掘（Association Rule Mining）：关联规则挖掘是一种发现数据中项之间关联关系的方法，常用于市场篮子分析和推荐系统。异常检测（Anomaly Detection）：异常检测的目标是识别数据中 ...继续阅读 (73)

支持向量机（Support Vector Machine，SVM）是一种机器学习算法，用于分类和回归分析。它是一种监督学习方法，最初由Vladimir Vapnik等人于20世纪90年代开发。SVM 的主要目标是找到一个能够将不同类别的数据点分隔开的超平面（在二维空间中，超平面就是一条直线）。这个超平面被选择为使两个不同类别的数据点距离超平面的间隔最大化。这些距离称为支持向量，因此 SVM 的名字就来源于此。以下是 SVM 的关键概念和工作原理：超平面：在二维空间中，超平面是一条直线，但在高维空间中，它是一个超平面。SVM 的目标是找到一个能够最大化不同类别数据点到这个超平面的距离的超平面。支持向量：支持向量是离超平面最近的那些数据点。它们是决定超平面位置的关键元素。分类：SVM 可以用于二元分类和多元分类问题。在二元分类中，SVM试图找到一个超平面，将数据点分为两个类别。在多元分类中，SVM 可以通过多个超平面的组合来实现。核函数：SVM 可以使用核函数来处理线性不可分的数据。核函数将数据映射到高维空间，使其在高维空间中线性可分。常用的核函数包括线性核、多项式核和高斯核（RBF核）等。正则化：SVM 通常使用正则化来避免过拟合。正则化参数可以调整模型的复杂度，以提高泛化性能。优化目标 Optimization Objective与逻辑回归和神经网络相比，支持向量机，或者简称SVM ...继续阅读 (67)

支持向量机（Support Vector Machine，SVM）是一种机器学习算法，用于分类和回归分析。它是一种监督学习方法，最初由Vladimir Vapnik等人于20世纪90年代开发。SVM 的主要目标是找到一个能够将不同类别的数据点分隔开的超平面（在二维空间中，超平面就是一条直线）。这个超平面被选择为使两个不同类别的数据点距离超平面的间隔最大化。这些距离称为支持向量，因此 SVM 的名字就来源于此。以下是 SVM 的关键概念和工作原理：超平面：在二维空间中，超平面是一条直线，但在高维空间中，它是一个超平面。SVM 的目标是找到一个能够最大化不同类别数据点到这个超平面的距离的超平面。支持向量：支持向量是离超平面最近的那些数据点。它们是决定超平面位置的关键元素。分类：SVM 可以用于二元分类和多元分类问题。在二元分类中，SVM试图找到一个超平面，将数据点分为两个类别。在多元分类中，SVM 可以通过多个超平面的组合来实现。核函数：SVM 可以使用核函数来处理线性不可分的数据。核函数将数据映射到高维空间，使其在高维空间中线性可分。常用的核函数包括线性核、多项式核和高斯核（RBF核）等。正则化：SVM 通常使用正则化来避免过拟合。正则化参数可以调整模型的复杂度，以提高泛化性能。优化目标 Optimization Objective与逻辑回归和神经网络相比，支持向量机，或者简称SVM ...继续阅读 (70)

决定下一步做什么 Deciding What to Try Next当训练好了的模型来预测未知数据的时候发现有较大的误差，下一步一般有以下动作：获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法；尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少正则化程度尝试增加正则化程度不应该随机选择上面的某种方法来改进算法，而是运用一些机器学习诊断法来帮助知道上面哪些方法对算法是有效的。”机器学习诊断法”：这是一种测试法，通过执行测试，能够深入了解某种算法到底是否有用。这通常也能够告诉你，要想改进一种算法的效果，什么样的尝试，才是有意义的。评估一个假设 Evaluating a Hypothesis当确定算法的参数的时候，希望是选择参量来使训练误差最小化；但是当假设具有很小的训练误差，并不能说明它就一定是一个好的假设函数。比如过拟合假设函数，当推广到新的训练集上却是不适用的。如何判断一个假设函数是过拟合的呢？可以对假设函数进行画图，然后观察图形趋势，但对于特征变量不止一个的这种一般情况，还有像有很多特征变量的问题，想要通过画出假设函数来进行观察，就会变得很难甚至是不可能实现。 因此，我们需要另一种方法来评估我们的假设函数过拟合检验。为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集 ...继续阅读 (82)

决定下一步做什么 Deciding What to Try Next当训练好了的模型来预测未知数据的时候发现有较大的误差，下一步一般有以下动作：获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法；尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少正则化程度尝试增加正则化程度不应该随机选择上面的某种方法来改进算法，而是运用一些机器学习诊断法来帮助知道上面哪些方法对算法是有效的。”机器学习诊断法”：这是一种测试法，通过执行测试，能够深入了解某种算法到底是否有用。这通常也能够告诉你，要想改进一种算法的效果，什么样的尝试，才是有意义的。评估一个假设 Evaluating a Hypothesis当确定算法的参数的时候，希望是选择参量来使训练误差最小化；但是当假设具有很小的训练误差，并不能说明它就一定是一个好的假设函数。比如过拟合假设函数，当推广到新的训练集上却是不适用的。如何判断一个假设函数是过拟合的呢？可以对假设函数进行画图，然后观察图形趋势，但对于特征变量不止一个的这种一般情况，还有像有很多特征变量的问题，想要通过画出假设函数来进行观察，就会变得很难甚至是不可能实现。 因此，我们需要另一种方法来评估我们的假设函数过拟合检验。为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用70%的数据作为训练集 ...继续阅读 (76)

首先要做什么 Prioritizing What to Work On以一个垃圾邮件分类器算法为例进行讨论。如何选择并表达特征向量x：选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。为了构建这个分类器算法，我们可以做很多事，例如：收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件的样本基于邮件的路由信息开发一系列复杂的特征基于邮件的正文信息开发一系列复杂的特征，包括考虑截词的处理为探测刻意的拼写错误（把watch写成w4tch）开发复杂的算法误差分析Error Analysis构建一个学习算法的推荐方法为：从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的样本，看看这些样本是否有某种系统化的趋势学习曲线 vs 误差分析方面学习曲线误差分析定义展示训练集大小与模型性能之间的关系分析模型预测误差的类型、模式和来源目标帮助判断欠拟合、过拟合情况，指导数据收集和模型选择帮助了解模型弱点，为改进提供方向，优化模型性能绘图绘制训练集大小 vs. 性能指标曲线可以绘制误差分布图、误差累积分布图，特征与误差关系图等关注点训练集大小对性能的影响，拟合情况分 ...继续阅读 (68)

首先要做什么 Prioritizing What to Work On以一个垃圾邮件分类器算法为例进行讨论。如何选择并表达特征向量x：选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。为了构建这个分类器算法，我们可以做很多事，例如：收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件的样本基于邮件的路由信息开发一系列复杂的特征基于邮件的正文信息开发一系列复杂的特征，包括考虑截词的处理为探测刻意的拼写错误（把watch写成w4tch）开发复杂的算法误差分析Error Analysis构建一个学习算法的推荐方法为：从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算法绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的样本，看看这些样本是否有某种系统化的趋势学习曲线 vs 误差分析方面学习曲线误差分析定义展示训练集大小与模型性能之间的关系分析模型预测误差的类型、模式和来源目标帮助判断欠拟合、过拟合情况，指导数据收集和模型选择帮助了解模型弱点，为改进提供方向，优化模型性能绘图绘制训练集大小 vs. 性能指标曲线可以绘制误差分布图、误差累积分布图，特征与误差关系图等关注点训练集大小对性能的影响，拟合情况分 ...继续阅读 (63)

代价函数Cost Function假设神经网络的训练样本有m个，每个包含一组输入x和一组输出信号y，L表示神经网络层数，S_I表示每层的neuron个数(S_l表示输出层神经元个数)，S_L代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：S_L=0 , y=0 or 1表示哪一类；K类分类：S_L=K , y_i=1表示分到第i类；(k>2)在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量y，但是在神经网络中，我们可以有很多输出变量，h_θ(x)是一个维度为K的向量，并且训练集中的因变量也是同样维度的一个向量，因此代价函数会比逻辑回归更加复杂一些，为：这个看起来复杂很多的代价函数背后的思想还是一样的，我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大，唯一不同的是，对于每一行特征，我们都会给出K个预测，基本上我们可以利用循环，对每一行特征都预测K个不同结果，然后在利用循环在K个预测中选择可能性最高的一个，将其与y中的实际数据进行比较。正则化的那一项只是排除了每一层θ_0后，每一层的 θ 矩阵的和。最里层的循环j循环所有的行（由s_l +1 层的激活单元数决定），循环i则循环所有的列，由该层（s_1层）的激活单元数所决定。即：h_θ(x)与真实值之间的距离为每个样本-每个类输出的加和，对参数进行re ...继续阅读 (71)

代价函数Cost Function假设神经网络的训练样本有m个，每个包含一组输入x和一组输出信号y，L表示神经网络层数，S_I表示每层的neuron个数(S_l表示输出层神经元个数)，S_L代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类，二类分类：S_L=0 , y=0 or 1表示哪一类；K类分类：S_L=K , y_i=1表示分到第i类；(k>2)在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量y，但是在神经网络中，我们可以有很多输出变量，h_θ(x)是一个维度为K的向量，并且训练集中的因变量也是同样维度的一个向量，因此代价函数会比逻辑回归更加复杂一些，为：这个看起来复杂很多的代价函数背后的思想还是一样的，我们希望通过代价函数来观察算法预测的结果与真实情况的误差有多大，唯一不同的是，对于每一行特征，我们都会给出K个预测，基本上我们可以利用循环，对每一行特征都预测K个不同结果，然后在利用循环在K个预测中选择可能性最高的一个，将其与y中的实际数据进行比较。正则化的那一项只是排除了每一层θ_0后，每一层的 θ 矩阵的和。最里层的循环j循环所有的行（由s_l +1 层的激活单元数决定），循环i则循环所有的列，由该层（s_1层）的激活单元数所决定。即：h_θ(x)与真实值之间的距离为每个样本-每个类输出的加和，对参数进行re ...继续阅读 (75)

非线性假设Non-linear Hypotheses非线性假设（Non-linear Hypotheses）是指机器学习模型中假设函数不仅仅是线性的，而是可以表示为非线性函数的情况。在非线性假设下，模型可以更灵活地捕捉数据中的复杂关系和模式，从而提高模型的预测能力。线性假设是指假设函数可以表示为输入特征的线性组合，例如h_θ(x)=θ0+θ_1x_1+θ_2x_2+…。然而，很多真实世界的问题并不具备线性关系。例如，在图像识别、自然语言处理和复杂物理问题中，数据往往呈现出复杂的非线性模式。为了能够应对这些问题，引入了非线性假设。非线性假设可以通过在模型中引入非线性函数，如指数函数、多项式函数、Sigmoid函数、ReLU函数等，来更好地拟合数据中的非线性模式。这使得模型可以在更抽象和复杂的特征空间中进行学习，从而更准确地预测新的数据。非线性假设的作用包括：更好的拟合数据： 在许多现实问题中，数据并不符合线性关系。引入非线性假设可以使模型更适应复杂的数据模式，从而提高预测的准确性。捕捉更高级的特征： 非线性假设允许模型通过引入非线性函数来捕捉更高级、更抽象的特征。这使得模型能够更深入地理解数据的本质。解决复杂问题： 很多问题具有复杂的非线性关系，如图像识别、语音识别等。非线性假设使得模型能够解决这些复杂问题，从而提高了应用的范围。增强泛化能力： 引入适当的非线性假设有助于减小过拟合的 ...继续阅读 (73)

非线性假设Non-linear Hypotheses非线性假设（Non-linear Hypotheses）是指机器学习模型中假设函数不仅仅是线性的，而是可以表示为非线性函数的情况。在非线性假设下，模型可以更灵活地捕捉数据中的复杂关系和模式，从而提高模型的预测能力。线性假设是指假设函数可以表示为输入特征的线性组合，例如h_θ(x)=θ0+θ_1x_1+θ_2x_2+…。然而，很多真实世界的问题并不具备线性关系。例如，在图像识别、自然语言处理和复杂物理问题中，数据往往呈现出复杂的非线性模式。为了能够应对这些问题，引入了非线性假设。非线性假设可以通过在模型中引入非线性函数，如指数函数、多项式函数、Sigmoid函数、ReLU函数等，来更好地拟合数据中的非线性模式。这使得模型可以在更抽象和复杂的特征空间中进行学习，从而更准确地预测新的数据。非线性假设的作用包括：更好的拟合数据： 在许多现实问题中，数据并不符合线性关系。引入非线性假设可以使模型更适应复杂的数据模式，从而提高预测的准确性。捕捉更高级的特征： 非线性假设允许模型通过引入非线性函数来捕捉更高级、更抽象的特征。这使得模型能够更深入地理解数据的本质。解决复杂问题： 很多问题具有复杂的非线性关系，如图像识别、语音识别等。非线性假设使得模型能够解决这些复杂问题，从而提高了应用的范围。增强泛化能力： 引入适当的非线性假设有助于减小过拟合的 ...继续阅读 (73)

过拟合的问题过拟合（Overfitting）是指机器学习模型在训练数据上表现得过于优秀，以至于在未见过的新数据上表现不佳的现象。过拟合发生时，模型会过度适应训练数据中的噪声和细节，而忽略了真正的数据模式和一般性质，从而导致泛化性能下降。针对上方的线性回归、逻辑回归等，将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。过拟合的特征包括：训练集上表现良好，测试集上表现较差： 模型在训练数据上的预测非常准确，但在新的、未见过的数据上预测不如预期。模型复杂度过高： 过拟合模型可能具有过多的参数或过于复杂的结构，以致于能够很好地拟合训练数据中的每个样本。小样本噪声： 模型可能在训练数据中的噪声点上表现出较高的准确率，而在真正的数据模式上表现不佳。参数值过大： 过拟合模型的参数值可能在训练过程中变得非常大，以适应训练数据中的小细节。为了应对过拟合，可以采取以下一些方法：使用更多的训练数据： 增加训练数据的数量可以帮助模型更好地学习数据的一般性质，减少过拟合的可能性。简化模型： 降低模型的复杂度，可以通过减少参数数量、降低多项式次数等方式来避免过拟合。正则化： 引入正则化项，如L1正则化或L2正则化，可以限制模型的参数大小，防止过拟合。特征选择： 选择与问题相关的重要特征，避免使用过多无关的特征。交叉验证： 使用交叉验证来评估模型的性能 ...继续阅读 (85)