背景 文本语义纠错的使用场景非常广泛，基本上只要涉及到写作就有文本纠错的需求。书籍面市前就有独立的校对的环节来保障出版之后不出现明显的问题。在新闻中我们也时不时看到因为文字审核没到位造成大乌龙的情况，包括上市公司在公开文书上把“临时大会”写成为“临死大会”，政府文件把“报效国家”写成了“报销国家”。有关文本纠错的辅助工具能给文字工作人员带来较大的便利，对审核方面的风险也大幅降低。除了不同的写作场景，文本纠错还会用在其他一些智能处理系统中，具体的情况包括：音频通话记录经过自动语音识别（ASR）转写成文本之后，存在一些转译错误；光学字符识别（OCR）系统识别图片中的文字并进行提取，会存在字符识别错误；在搜索引擎或自动问答系统里面，用户在查询过程中的输入错误，往往会导致系统无法理解用户的真实意图，需要进行查询纠正改写。这些情况都需要通过文本纠错技术来进行修正，使产品整体的用户体验更加友好。文本语义纠错在学术领域有三个子任务，分别是拼写检查（Spelling Check）、语法检错（Grammatical Error Detection）和语法纠错（Grammatical Error Correction）。其中语法检错是对文本中的语法错误进行检测，拼写检查是对文本中的错别字进行修正，语法纠错是纠正文本中的语法错误。拼写检查在英文场景表现为单词拼写错误，在中文场景表现为音近形近错别字 ...继续阅读 (49)

在大数据时代，通过对目标人物的轨迹、通信、社交、出行、网络等多模态行为进行挖掘并建立人物画像模型，并依托人物基础特征和高层特征，实例化人物画像，支撑有关部门分析人员全方位了解目标人物的行为、活动、状态、基本属性等信息，同时能够基于人物画像指导人物活动规律分析、人物能力分析、人物动向分析等应用。图1 某人物组织网络示例 本文将重点就人物关联关系挖掘及其关键技术进行分析。人物关联关系挖掘是网络关系挖掘中的重要一步，通过人物关联关系挖掘，可以获得关系网络中的关键结点和关键路径，进一步获取更多的人物关联关系信息。人物关联关系挖掘包括通联关系挖掘、人物群体关系挖掘、关系网络关键节点发现以及关联网络关键路径发现。 图2 人物关联关系挖掘技术结构通联关系挖掘通过查找选定多个话单人物，对多人物之间的通联关系建立网络（如图2），构建人物之间的关系网络，并计算话单人物间的亲密值权重。基于构建的关系网络可以做以下统计分析挖掘：图3 多人物关系网络示意图01关键节点发现在构建的关系网络中，以用户为节点，通过PageRank算法量化不同粒度网络结构中不同主体的地位，发掘关系网络中的关键节点，以发现活跃及高价值人物。02最短路径查找在构建的关系网络中，选中两个人物，发现两个人物间的最短路径，帮助分析人员快速了解人物间的关联性。03团体发现在构建的关系网络中，选中多个人物，发现多人物的亲密社区。通过社区发现算法 ...继续阅读 (50)

多模态算法兴起的背景办公文档是各行各业最基础也是最重要的信息载体，不管是金融、政务、制造业、零售行业等等，各种类型的文档都是业务流转过程中必不可少的数字资料。以银行信贷为例，一笔信贷业务在贷前贷中到贷后全流程中，需要涉及财报、银行流水、贸易合同、发票、尽职调查报告、审批意见书、会议纪要等等材料，材料的格式和内容均差异很大，但都是针对同一笔信贷业务、从不同角色视角、不同业务角度的情况描述。每一种材料都承载了重要的业务数据，对这些材料进行全面而准确的价值提取，并汇集所有材料实现全流程数据穿透，是前述信贷业务目前急需解决的问题。如何提取海量历史文档中的关键要素和数据，构建数据资产，也是当前各个行业做数字化智能化转型的重要课题。图1 银行信贷业务所需各类材料及关键要素 其中最核心的技术难点，是从原始的办公文档中发现和提取有价值的内容，也是数据资产构建的前置条件。达观数据长期致力于办公文档的智能化处理，即通过对文档格式的全面解析、对文档内容的全面理解，从而提取出核心业务信息。与传统的纯文本语义理解问题不一样的是，办公文档除了文字以外还有大量的表格、图片都包含了重要数据，甚至文档的排版、布局、分栏、文字格式等等，也隐含了一段文字中是否存在关键要素，以及要素重要性大小的信息。因此对于办公文档的智能分析，需要综合考虑文字、图像、排版布局等信息，单纯处理文字信息的方法很难取得令人满意的效果。近几年兴 ...继续阅读 (44)

什么是RPA？RPA（Robotic Process Automation，机器人流程自动化）是通过特定的、可模拟人类在计算机界面上进行操作的技术，它可以按规则自动执行相应的流程任务，代替或辅助人类完成相关的计算机操作，从而节约人力成本，提高生产效率。从RPA的定义就可以看出，对计算机界面的操控是RPA的核心之一。要实现对计算机界面的操控，就必须用到RPA界面元素定位和操控技术。 元素定位与操控技术 界面元素是指用于构建系统或应用程序的所有图形用户界面部分，例如窗口、输入框、按钮等。通过显示器、键盘、鼠标等计算机外部设备，人能够实现在指定输入框输入文本、点击指定按钮等操作，和操作系统以及业务系统进行交互。同样的，RPA要代替人完成这些操作，就需要能够定位和操控这些界面元素。界面元素定位与操控方法有很多，主要区别在于是否使用GUI（Graphical User Interface， 图形用户接口）自动化技术。非GUI自动化技术有：绝对坐标定位、图像匹配定位、基于消息操作、模拟键鼠操作等。GUI自动化技术有：Win32、MSAA、UIA、JAB、SAP、Citrix Virtual Channel、RDP Virtual Channel、Selenium、Chrome Extension等。通常来说，GUI自动化技术能获取到的界面元素的信息更多，支持的操作也更多，但同时局限性也更大，一 ...继续阅读 (40)

在自然语言处理和知识图谱中，实体抽取、NER是一个基本任务，也是产业化应用NLP 和知识图谱的关键技术之一。BERT是一个大规模预训练模型，它通过精心设计的掩码语言模型（Masked Language Model，MLM）来模拟人类对语言的认知，并对数十亿个词所组成的语料进行预训练而形成强大的基础语义，形成了效果卓绝的模型。通过 BERT来进行实体抽取、NER的方法是当前在NLP和知识图谱的产业化应用中最常用的方法，是效果与成本权衡下的最佳选择。本文详细讲解使用BERT来进行实体抽取，看完本文就会用当前工业界最佳的模型了。什么是实体抽取？实体是一个常见的名词，《知识图谱：认知智能理论与实战》一书将其定义为：实体（Entity）：是指一种独立的、拥有清晰特征的、能够区别于其他事物的事物。在信息抽取、自然语言处理和知识图谱等领域，用来描述这些事物的信息即实体。实体可以是抽象的或者具体的。在实体抽取中，实体也成为命名实体（Named Entity），是指在实体之上会将其分门别类，用实体类型来框定不同的实体。图1是一些常见的“实体”的例子，比如“城市”类型的实体“上海”，“ 公司”类型的实体“达观数据”等。图1 实体示例实体抽取（Entity Extraction，EE）的目标就是识别一段文本中所包含的实体，在其他语境中，也被称之为“实体识别（Entity Recognition，ER）” ...继续阅读 (48)

随着互联网技术的迅速发展，尤其是移动互联网的兴起，新产生的信息呈现爆炸式的增长。为了更好地解决信息获取中的信息过载（Information Overload）和长尾问题（Long Tail），推荐系统应运而生，目前基本上已经成为了各种产品的标配功能。推荐系统是信息过滤系统的一个分支，它可以自动地挖掘用户和物品之间的联系。具体来说，它试图基于用户本身的多维度属性数据（如年龄、地域、性别等）以及行为数据的反馈（如点击、收藏、点赞、购买等），结合物品自身属性数据（如标题、标签、类别、正文等），以预测用户对待推荐物品的评分或偏好。从用户的角度来看，推荐系统是基于用户个人的兴趣偏好进行千人千面的自动推荐，则有助于缓解信息过载问题。从物品的角度来看，其自身属性及对应的交互行为差异，通过各种推荐方式是可以触达到对其更感兴趣的用户群体中，缓解了曝光不足带来的长尾问题。从企业的角度来看，推荐系统带来了更好的产品交互方式，达到了沉浸式体验的效果，从而进一步提升了用户的黏性，并最终大幅度提升了转化收益。图1 达观智能推荐系统在智能推荐ToB企业服务领域，达观数据已经有了10余年的推荐技术沉淀和上千家客户的行业应用实践经验。早在2012年的时候，由达观数据创始人陈运文博士带领团队参加了在伦敦举办的EMI数据黑客竞赛并获得了国际冠军，该竞赛主要是围绕音乐推荐场景，如何基于用户听歌行为等数据进行分析挖掘来对预 ...继续阅读 (51)

知识图谱问答系统任务和意义问答系统（Qusstion Answering System,QA System）在大家的日常生活中随处可见，2014年微软率先推出了小冰智能聊天机器人，直至现在越来越多如siri移动生活助手和智能音箱等的面市，问答作为一种信息获取方式愈发受到大众和厂商的关注和投入。问答系统能够接受用户以自然语言形式描述的提问，并从大量的异构数据中查到或者推理出用户想要的答案。相比传统的信息检索系统，问答系统场景的核心在于用户的信息需求相对比较明确，而系统直接输出用户想要的答案，这个答案的形式可能是文档、结构化的表格或者推理加工的自然语言文本。问答示例：问题：阿根廷的首都在哪里 => 答案：阿根廷共和国的首都为布宜诺斯艾利斯。问题：儿童安全锁怎么设置 => 答案：儿童安全锁位于各后车门的后边缘，各车门的儿童安全锁必须单独设置。设置：左侧：逆时针转动锁定，顺时针转动解锁。右侧：顺时针转动锁定，逆时针转动解锁。知识问答相比文本检索，减少了用户对检索文档内容的二次提取和推理的过程，会显著提升用户知识获取的体验。根据问答底层技术的差异，目前工程落地实现问答的技术路线基本分为基于知识图谱的问答（KBQA）、基于阅读理解的问答(MRC)和常见问题问答（FAQ）三种模式。三种问答的对比如下：表1 常见的知识问答技术路线对比FAQ和MRC不是本文介绍的重点，这里简要介绍。在FAQ中，重点 ...继续阅读 (64)

什么是智能文档处理？针对文本数据处理尤其是纯文本，大家通常会想到使用自然语言处理（Natural language processing，NLP）技术来解决语义理解及分析处理工作。关于自然语言处理技术的研究有很长历史，针对不同层面文本处理和分析有很多技术点，常见技术例如分词与词性标注、命名实体识别、句法结构分析、文本分类、文本摘要等功能。相较于纯文本，文档的信息表达更加复杂，除各种形式的文本信息外，还包括表格、图片等信息。因此要正确理解文档中的所有内容，仅凭自然语言处理技术难度很大，需要结合其他技术。图 1 常见文字信息表达方式智能文档处理（Intelligence Document Processing, IDP）技术是针对文档内容自动处理分析的一揽子技术，除自然语言处理技术外，还包括计算机视觉、文档解析等相关底层技术，因此相较于NLP技术，IDP技术更加复杂。在IDP技术中，光学字符识别（Optical Character Recognition，OCR）技术，文档解析（Document Parsing，DP）技术和信息提取（Information Extraction，IE）技术最为核心关键，使用最为广泛。光学字符识别技术主要解决文字以图像形式展现的问题。很多文字信息在文档中以图表形式展现，甚至很多文档也以图像形式保存，因此需要OCR技术提取文档中的所有文字及其位置进行分析。 ...继续阅读 (57)

目前，人工智能技术在世界范围内热度极高，但却出现了“雷声大、雨点小”的现象。一方面，随着近年来深度学习技术的不断发展，计算能力的不断提高，更深更复杂网络的普及使用，加上深度学习端到端的特性，看起来好像人工智能就是端到端的标注，不断地做数据清洗，增加标注数据，加深模型参数，就可以实现计算机像人类一样工作。另一方面，人工智能在实际应用场景落地时经常失败，常听到有“只见人工，不见智能”，“有多少人工就有多少智能”的吐槽。因此，目前许多人工智能技术的实现现阶段还不能脱离人工经验。人工智能落地需要人工智慧，这里核心在于结合场景和算法特点做合理的设计，而非关注更多标准化的标注或者设计更精深的算法网络。达观是ToB的自然语言处理（NLP）公司，主要做办公文档自动处理。近年来在金融、政务、制造业等行业成功落地了非常多的NLP项目。NLP也被誉为人工智能皇冠上的明珠，AI落地特别是NLP落地尤其不容易，通过机器处理办公文档远比从一堆图片中找出有猫的图片要复杂得多。因为让机器处理办公文档，往往存在缺少大量的训练语料情况，不同行业间需要处理的具体问题千差万别，人工都需要专业培训甚至几年工作经验才能处理妥当。本文主要结合达观的实践落地经验，探讨在具体NLP项目落地时，计算机“智能”需要哪些必不可少的“人工”。“人工”化繁为简，拆解复杂问题人工智能难以落地的主要原因之一是要处理的问题过于复杂，如果只靠算法模 ...继续阅读 (52)

光学字符识别OCR技术（Optical Character Recognition）是指从图像中自动提取文字信息的技术。这项技术横跨了人工智能里的两大领域：CV（计算机视觉）和NLP（自然语言处理），综合使用了这两大领域中的很多技术成果。在过往40余年的技术发展历程中，OCR始终具备很强的产业应用背景，是计算机领域里少数几个一开始就由工业界和学术界双轮驱动的领域。近年来OCR技术已经在工业界成熟落地应用，学术界里对此的研究热度反而弱于其他方向。甚至有人认为OCR技术已经充分成熟，没有更多研究必要了。然而随着近年来智能文本处理IDP（Intelligent Document Processing）在工业界的逐步落地应用，OCR和IDP相结合的应用场景越来越多，用语义理解NLP的角度进一步去延伸OCR的应用，出现了很多更有产业应用价值的场景。本文回顾了OCR技术的发展历程，并结合达观数据在工程实践方面的经验，介绍与语义分析技术结合后，当前OCR技术的一些最新发展和落地经验。 OCR技术的发展历程 OCR技术的诞生其实比计算机的历史还要悠久，早在1930年代，德国发明家Tausheck（陶舍克）和美国工程师Handel（汉德）分别申请了最早的OCR专利，这比计算机的诞生还要早20年时间。因为当年还完全没有计算机以及相关外设（如今天广泛使用的扫描仪或高拍仪），所以最早提出的OCR技术 ...继续阅读 (34)

作者：刘绍孔（NLP算法工程师一枚）Encoder部分相对简单，进行self-attention时只需要考虑一个batch内和长度相关的mask。这里重点讨论training和inference两种模式下decoder attention在每一层的工作机制。在training模式下，decoder部分采用teacher_forcing的机制来产生decoder的输入，具体的实现方式是将原始的input_target_sequence右移动一位，或者可以理解为在原始的input_target_sequence最左侧添加一个decode_start_token。我们首先来考察decoder的self_attention， mask为两部分tgt_mask和self_attention_mask。其中，tgt_mask和tgt的长度相关， self_attention_mask为三角矩阵的形式(对角线及下三角为0， 上三角为很大的负数，如-1e9)，可以保证在计算某一个位置的token时，这一位置之后的token对该位置的输出结果不产生影响，原理为softmax(K*q + (-1e9)) * V这里的K, V是当前q位置之后的任意位置对应的k，v的集合。在training阶段，每一层的self_attention通过teacher_forcing和mask (tgt_mask + s ...继续阅读 (45)

前几天，看到了东北大学小牛翻译团队开源的语料项目：文言文（古文）-现代文平行语料（https://github.com/NiuTrans/Classical-Modern） ，这个项目整理了非常全的文言文（古文）- 现代文（白话文）对齐数据，基本涵盖了大部分经典古籍著作，并且对原始爬取的篇章级对齐数据进行了断句及人工校对，形成了共计约96万句对的文言文-白话文对齐（平行）语料。这份语料数据很珍贵，看到的第一眼想到就是用这份文言文现代文对齐语料训练一个文言文白话文转换器：文言文转白话文，文言文转现代文，白话文转文言文，现代文转文言文，古文转白话文，白话文转古文，古文转现代文，现代文转古文。刚好春节假期有点闲，于是训练了两个神经网络机器翻译模型：文言文（古文）到白话文（现代文），白话文（现代文）到文言文（古文），现在可以在AINLP公众号后台直接对话测试了，至于效果，基于语料和模型的水平，仅供一乐，关注AINLP公众号，对话输入"文言文转白话文：待转换内容"或者"文转白：待转换内容"测试文言文转白话文，输入"白话文转文言文：待转换内容"或者"白转文：待转换内容"测试白话文转文言文：以下是我的一些测试结果，感兴趣的朋友可以关注AINLP公众号自行评测：甚至可以先用AINLP写一段文言文，然后再翻译成白话文：以下是AINLP目前支持的自动生成模块，之后将加入更多的领域生成测试模块，欢迎关注 ...继续阅读 (39)

多头注意力机制的目的是通过捕捉不同的注意力信息来提升 AI 模型的表达能力。利用多头矩阵的子空间从不同的视角或者说维度来表达输入的数据。从贝叶斯神经网络的角度，多头注意力机制是一种采样（Sampling）技术， 每个注意力头是一个采样。 每个头区分度越大，相当于视角越多， 这样的话按道理Transformer 对目标可以进行更好的拟合。 但注意力头真的是越多越好么？（不考虑过拟合和硬件条件的情况下）问题的关键是注意力头本身是矩阵形式，对输入数据进行线性变换， 得到的结果是离散的而非连续的， 不能够真正表达连续的目标概率分布。与真正的目标间存在误差，而注意力头越多，累计误差也会越大，导致模型的表现也变差。训练的时候注意力头越多拟合的越好，但是 test 的时候注意力头多不一定效果好，并且还比较多余。这个我们人脑的机制是一样的， 我们阅读一段文字，很快的读过去， 能够注意到的关键点和它们之间的联系并不会特别多，但也不妨碍我们理解一段话的意思。所以这给我们一个启示，对神经网络的设计，很多时候可以参考人脑思考运行的规律， 模拟人脑的运行方法，也会获得接近的运行效果。Reference:Are Sixteen Heads Really Better than One?Transformer 101 个思考问题：https://gitee.com/oatmeal3000/Transformer ...继续阅读 (37)

之前写过《中英文维基百科语料上的Word2Vec实验》，近期有不少同学在这篇文章下留言提问，加上最近一些工作也与Word2Vec相关，于是又做了一些功课，包括重新过了一遍Word2Vec的相关资料，试了一下gensim的相关更新接口，google了一下"wikipedia word2vec" or "维基百科 word2vec" 相关的英中文资料，发现多数还是走得这篇文章的老路，既通过gensim提供的维基百科预处理脚本"gensim.corpora.WikiCorpus"提取维基语料，每篇文章一行文本存放，然后基于gensim的Word2Vec模块训练词向量模型。这里再提供另一个方法来处理维基百科的语料，训练词向量模型，计算词语相似度（Word Similarity)。关于Word2Vec, 如果英文不错，推荐从这篇文章入手读相关的资料:Getting started with Word2Vec。这次我们仅以英文维基百科语料为例，首先依然是下载维基百科的最新XML打包压缩数据，在这个英文最新更新的数据列表下：https://dumps.wikimedia.org/enwiki/latest/，找到 "enwiki-latest-pages-articles.xml.bz2" 下载，这份英文维基百科全量压缩数据的打包时间大概是2017年4月4号，大约13G，我通过家里的电脑wget ...继续阅读 (42)

Airbnb最近有了中文名字：爱彼迎，貌似有些争议，不过之前我有三次良好的Airbnb住宿体验，刚好在这里记录一下，供大家参考。关于Airbnb的历史，大家可以参考维基百科上的注解：Airbnb（中国大陆地区品牌名为爱彼迎，取“让爱彼此相迎”之义），是一个让大众出租住宿民宿的网站，提供短期出租房屋或房间的服务。让旅行者可以通过网站或手机、发掘和预订世界各地的各种独特房源，为近年来共享经济发展的代表之一。该网站成立于2008年8月，公司总部位于美国加利福尼亚州旧金山，为一家私有公司，由“Airbnb, Inc.”负责管理营运。目前，Airbnb在192个国家、33,000个城市中共有超过500,000笔出租数据。第一次注册Airbnb(爱彼迎）是在2015年8月，忘记了通过什么途径知道它的，但是记得第一次通过邀请链接注册可以获得200多元的旅行基金，所以就注册了。这里你也可以通过我的邀请链接注册，注册后你也可以获得200+的旅行基金，点击右边这链接即可：Airbnb旅行基金。第一次使用Airbnb的行程是2016年7月，去上海的参加本科同学聚会，带着不到2岁的宝宝，预定的是上海陆家嘴的一个江景公寓：豪华装修,超大景观阳台,厨房配备全套餐具及微波炉,冰箱,洗衣机,熨斗,晾衣架,干净床上用品及毛巾,浴巾,一次性洗漱用品,每天客房清洁,每天更换床上用品,陆家嘴核心区域,地铁4号线浦东大道站 ...继续阅读 (43)

spaCy是一个Python自然语言处理工具包，诞生于2014年年中，号称“Industrial-Strength Natural Language Processing in Python”，是具有工业级强度的Python NLP工具包。spaCy里大量使用了Cython来提高相关模块的性能，这个区别于学术性质更浓的Python NLTK，因此具有了业界应用的实际价值。安装和编译spaCy比较方便，在ubuntu环境下，直接用pip安装即可：sudo apt-get install build-essential python-dev gitsudo pip install -U spacy不过安装完毕之后，需要下载相关的模型数据，以英文模型数据为例，可以用”all”参数下载所有的数据:sudo python -m spacy.en.download all或者可以分别下载相关的模型和用glove训练好的词向量数据：# 这个过程下载英文tokenizer，词性标注，句法分析，命名实体识别相关的模型python -m spacy.en.downloadparser# 这个过程下载glove训练好的词向量数据python -m spacy.en.downloadglove下载好的数据放在spacy安装目录下的data里，以我的ubuntu为例：textmine ...继续阅读 (35)

1、一切从维基百科开始，大致了解一个全貌：反向传播算法Backpropagation2、拿起纸和笔，再加上ipython or 计算器，通过一个例子直观感受反向传播算法：A Step by Step Backpropagation Example3、再玩一下上篇例子对应的200多行Python代码:Neural Network with Backpropagation4、有了上述直观的反向传播算法体验，可以从1986年这篇经典的论文入手了：Learning representations by back-propagating errors5、如果还是觉得晦涩，推荐读一下”Neural Networks and Deep Learning“这本深度学习在线书籍的第二章：How the backpropagation algorithm works6、或者可以通过油管看一下这个神经网络教程的前几节关于反向传播算法的视频:Neural Network Tutorial7、hankcs同学对于上述视频和相关材料有一个解读:反向传播神经网络极简入门8、这里还有一个比较简洁的数学推导：Derivation of Backpropagation9、神牛gogo同学对反向传播算法原理及代码解读：神经网络反向传播的数学原理10、关于反向传播算法，更本质一个解释：自动微分反向 ...继续阅读 (32)

接上文《深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0》，我们继续来安装TensorFlow，使其支持GeForce GTX 1080显卡。1 下载和安装cuDNNcuDNN全称 CUDA Deep Neural Network library，是NVIDIA专门针对深度神经网络设计的一套GPU计算加速库，被广泛用于各种深度学习框架，例如Caffe, TensorFlow, Theano, Torch, CNTK等。The NVIDIA CUDA® Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks. cuDNN provides highly tuned implementations for standard routines such as forward and backward convolution, pooling, normalization, and activation layers. cuDNN is part of the NVIDIA Deep Learning SDK.Deep learning researchers and framework dev ...继续阅读 (168)

接上文《深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0》，我们继续来安装TensorFlow，使其支持GeForce GTX 1080显卡。1 下载和安装cuDNNcuDNN全称 CUDA Deep Neural Network library，是NVIDIA专门针对深度神经网络设计的一套GPU计算加速库，被广泛用于各种深度学习框架，例如Caffe, TensorFlow, Theano, Torch, CNTK等。The NVIDIA CUDA® Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks. cuDNN provides highly tuned implementations for standard routines such as forward and backward convolution, pooling, normalization, and activation layers. cuDNN is part of the NVIDIA Deep Learning SDK.Deep learning researchers and framework dev ...继续阅读 (281)

接上文《深度学习主机攒机小记》，这台GTX1080主机准备好之后，就是配置深度学习环境了，这里选择了比较熟悉Ubuntu系统，不过是最新的16.04版本，另外在Nvidia GTX1080的基础上安装相关GPU驱动，外加CUDA8.0，因为都比较新，所以踩了很多坑。1. 安装Ubuntu16.04不考虑双系统，直接安装 Ubuntu16.04，从ubuntu官方下载64位版本: ubuntu-16.04-desktop-amd64.iso 。在MAC下制作了 Ubuntu USB 安装盘，具体方法可参考:在MAC下使用ISO制作Linux的安装USB盘，之后通过Bios引导U盘启动安装Ubuntu系统：1）一开始安装就踩了一个坑，选择”Install Ubuntu”回车后过一会儿屏幕显示“输入不支持”，google了好多方案，最终和ubuntu对显卡的支持有关，需要手动添加显卡选项: nomodeset，使其支持Nvidia系列显卡，参考：安装ubuntu黑屏问题的解决orHow do I set ‘nomodeset’ after I’ve already installed Ubuntu?2) 磁盘分区，全部干掉之前主机自带的Window 10系统，分区为 /boot, /, /home 等几个目录，同时把第二块4T硬 ...继续阅读 (174)

先说一点题外话，最近发现Linode因为庆祝13周年活动将所有的Plan加了一倍，又来了一次加量不加价，这一下子和别的产品拉开了差距，可惜目前Linode日本节点并不参加活动，否则52nlp目前所用的这台Linode主机性能就可以翻倍了。不过还是搞了一台Linode8GB（8G内存，4核，96G SSD硬盘容量） 的VPS套餐（40$/mo)，选择了美国西部的 Fremont 节点，据说国内连接速度很不错。在上面选择了64位的Ubuntu14.04 版本，但是在这个环境下安装Mecab的过程中接连踩了几个坑，所以记录一下。这里曾写过“Mecab中文分词”系列文章，也在github上发布过一个中文分词项目MeCab-Chinese：Chinese morphological analysis with Word Segment and POS Tagging data for MeCab ，但是这个过程中没有怎么写到Mecab安装的问题，因为之前觉得rickjin的这篇《日文分词器 Mecab 文档》应该足够参考，自己当时也在Mac OS和Ubuntu环境下安装成功并测试，印象貌似不是太复杂。这次在Ubuntu 14.04的环境安装的时候，遇到了几个小坑，记录一下，做个备忘，仅供参考。安装的是Mecab 0.996版本，这个版本我在github上做了一个备份：mecab-0.996. ...继续阅读 (112)

五月中下旬的时候，GTX1080的公布和发售直接刺激了我攒一台深度学习主机的欲望，攒机对于我来说已经相隔十多年，大学时候的第一台PC就是攒出来的，其实也就是在5000元的预算内，去电脑城里找商家组装了一台台式机，美其名曰DIY。虽然已经锁定显卡，但是对于其他的搭配还是很模糊，只是需要“好CPU”，“大内存”, “大硬盘”, 于是开始google “深度学习电脑”，“深度学习服务器”，“深度学习PC”， “深度学习主机”，“深度学习机器”，“深度学习工作站”这些关键词，并很快锁定了这篇文章《如何搭建一台深度学习服务器》作为主要参考：硬件选择：基本思路是单显卡机器，保留升级空间……CPU选择：在深度学习任务中，CPU并不负责主要任务，单显卡计算时只有一个核心达到100%负荷，所以CPU的核心数量和显卡数量一致即可，太多没有必要，但是处理PCIE的带宽要到40。主板选择：需要支持X99架构，支持PCIe3.0，还要支持4通道DDR4内存架构。如果要搞四显卡并行，PCIE带宽支持要达到40，并且支持4-Way NVIDA SLI技术。内存：达到显存的二倍即可，当然有钱的话越大越好。电源问题：一个显卡的功率接近300W，四显卡建议电源在1500W以上，为了以后扩展，选择了1600W的电源。机箱散热：因为各种部件相当庞大，需要有良好散热功能的大机 ...继续阅读 (116)

应用场景智能问答机器人火得不行，开始研究深度学习在NLP领域的应用已经有一段时间，最近在用深度学习模型直接进行QA系统的问答匹配。主流的还是CNN和LSTM，在网上没有找到特别合适的可用的代码，自己先写了一个CNN的（theano），效果还行，跟论文中的结论是吻合的。目前已经应用到了我们的产品上。原理参看《Applying Deep Learning To Answer Selection: A Study And An Open Task》，文中比较了好几种网络结构，选择了效果相对较好的其中一个来实现，网络描述如下：Q&A共用一个网络，网络中包括HL，CNN，P+T和Cosine_Similarity，HL是一个g(W*X+b)的非线性变换，CNN就不说了，P是max_pooling，T是激活函数Tanh，最后的Cosine_Similarity表示将Q&A输出的语义表示向量进行相似度计算。详细描述下从输入到输出的矩阵变换过程：Qp：[batch_size, sequence_len]，Qp是Q之前的一个表示（在上图中没有画出）。所有句子需要截断或padding到一个固定长度（因为后面的CNN一般是处理固定长度的矩阵），例如句子包含3个字ABC，我们选择固定长度sequence_len为100，则需要将这个句子padding成ABC<a><a&g ...继续阅读 (63)

1 背景如今，搜索引擎是人们的获取信息最重要的方式之一，在搜索页面小小的输入框中，只需输入几个关键字，就能找到你感兴趣问题的相关网页。搜索巨头Google，甚至已经使Google这个创造出来的单词成为动词，有问题Google一下就可以。在国内，百度也同样成为一个动词。除了通用搜索需求外，很多垂直细分领域的搜索需求也很旺盛，比如电商网站的产品搜索，文学网站的小说搜索等。面对这些需求，达观数据(www.datagrand.com)作为国内提供中文云搜索服务的高科技公司，为合作伙伴提供高质量的搜索技术服务，并进行搜索服务的统计分析等功能。（达观数据联合创始人高翔）搜索引擎系统最基本最核心的功能是信息检索，找到含有关键字的网页或文档，然后按照一定排序将结果给出。在此基础之上，搜索引擎能够提供更多更复杂的功能来提升用户体验。对于一个成熟的搜索引擎系统，用户看似简单的搜索过程，需要在系统中经过多个环节，多个模块协同工作，才能提供一个让人满意的搜索结果。其中拼写纠错（Error Correction，以下简称EC）是用户比较容易感知的一个功能，比如百度的纠错功能如下图所示：图 1：百度纠错功能示例EC其实是属于Query Rewrite（以下简称QR）模块中的一个功能，QR模块包括拼写纠错，同义改写，关联query等多个功能。QR模块对于提升用户体验有着巨大的帮助，对于搜索质量不佳的query进 ...继续阅读 (58)

一、前言前文介绍了利用词库进行分词，本文介绍词库的另一个应用：词权重计算。二、词权重公式1、公式的定义定义如下公式，用以计算词的权重：2、公式的由来在前文中，使用如下公式作为分词的依据：任给一个句子或文章，通过对最佳分词方案所对应的公式进行变换，可以得到：按前面权重公式的定义，上面的公式可以理解为：一个句子出现的概率对数等于句子中各词的权重之和。公式两边同时取负号使权重是个正值。三、与TF-IDF的关系词频、逆文档频率（TF-IDF）在自然语言处理中，应用十分广泛，也是提取关键词的常用方法，公式如下：从形式上看，该公式与我们定义的权重公式很像，而且用途也近似，那么它们之间有没有关系呢？答案是肯定的。我们知道，IDF是按文档为单位统计的，无论文档的长短，统一都按一篇计数，感觉这个统计的粒度还是比较粗的，有没有办法将文本的长短，这个明显相关的因素也考虑进去呢，让这个公式更加精细些？答案也是肯定的。文章是由词铺排而成，长短不同，所包含的词的个数也就有多有少。我们可以考虑在统计文档个数时，为每个文档引入包含多少个词这样一个权重，以区别长短不同的文档，沿着这个思路，改写一下IDF公式：我们用所有文档中的词做成词库，那么上式中：综合上面的推导过程，我们知道，本文所定义的词权重公式，本质上是tf-idf为长短文档引入权重的加强版，而该公式的应用也极为简单，只需要从词库中读取该词词频、词库总词频即 ...继续阅读 (74)

一、前言前面介绍了词库的自动生成的方法，本文介绍如何利用前文所生成的词库进行分词。二、分词的原理分词的原理，可以参看吴军老师《数学之美》中的相关章节，这里摘取Google黑板报版本中的部分：从上文中，可以知道分词的任务目标：给出一个句子S，找到一种分词方案，使下面公式中的P（S）最大：不过，联合概率求起来很困难，这种情况我们通常作马尔可夫假设，以简化问题，即：任意一个词wi的出现概率只同它前面的词 wi-1 有关。关于这个问题，吴军老师讲的深入浅出，整段摘录如下：另外，如果我们假设一个词与其他词都不相关，即相互独立时，此时公式最简，如下：这个假设分词无关的公式，也是本文所介绍的分词算法所使用的。三、算法分析问：假设分词结果中各词相互无关是否可行？答：可行，前提是使用遗忘算法系列（二）中所述方法生成的词库，理由如下：分析ICTCLAS广受好评的分词系统的免费版源码，可以发现，在这套由张华平、刘群两位博士所开发分词系统的算法中假设了：分词结果中词只与其前面的一个词有关。回忆我们词库生成的过程可以知道，如果相邻的两个词紧密相关，那么这两个词会连为一个粗粒度的词被加入词库中，如：除“清华”、“大学”会是单独的词外，“清华大学”也会是一个词，分词过程中具体选用那种，则由它们的概率来决定。也就是说，我们在生成词库的同时，已经隐含的完成了相关性训练。关于ICTCLAS源码分析的文章，可以参看吕震 ...继续阅读 (62)

一、前言本文介绍利用牛顿冷却模拟遗忘降噪，从大规模文本中无监督生成词库的方法。二、词库生成算法分析，先来考虑以下几个问题问：目标是从文本中抽取词语，是否可以考虑使用遗忘的方法呢？答：可以，词语具备以相对稳定周期重复再现的特征，所以可以考虑使用遗忘的方法。这意味着，我们只需要找一种适当的方法，将句子划分成若干子串，这些子串即为“候选词”。在遗忘的作用下，如果“候选词”会周期性重现，那么它就会被保留在词库中，相反如果只是偶尔或随机出现，则会逐渐被遗忘掉。问：那用什么方法来把句子划分成子串比较合适呢？答：考察句中任意相邻的两个字，相邻两字有两种可能：要么同属于一个共同的词，要么是两个词的边界。我们都会有这样一种感觉，属于同一个词的相邻两字的“关系”肯定比属于不同词的相邻两字的“关系”要强烈一些。数学中并不缺少刻划“关系”的模型，这里我们选择公式简单并且参数容易统计的一种：如果两个字共现的概率大于它们随机排列在一起的概率，那么我们认为这两个字有关，反之则无关。如果相邻两字无关，就可以将两字中间断开。逐字扫描句子，如果相邻两字满足下面的公式，则将两字断开，如此可将句子切成若干子串，从而获得“候选词”集，判断公式如下图所示：公式中所需的参数可以通过统计获得：遍历一次语料，即可获得公式中所需的“单字的频数”、“相邻两字共现的频数”，以及“所有单字的频数总和”。问：如何计算遗忘剩余量？答：使用牛顿 ...继续阅读 (59)

一、前言这里“遗忘”不是笔误，这个系列要讲的“遗忘算法”，是以牛顿冷却公式模拟遗忘为基础、用于自然语言处理（NLP）的一类方法的统称，而不是大名鼎鼎的“遗传算法”！在“遗忘”这条非主流自然语言处理路上，不知不觉已经摸索了三年有余，遗忘算法也算略成体系，虽然仍觉时机未到，还是决定先停一下，将脑中所积梳理成文，交由NLP的同好们点评交流。二、遗忘算法原理能够从未知的事物中发现关联、提炼规律才是真正智能的标志，而遗忘正是使智能生物具备这一能力的工具，也是适应变化的利器，“遗忘”这一颇具负能量特征的家伙是如何实现发现规律这么个神奇魔法的呢？让我们从巴甫洛夫的狗说起：狗听到铃声就知道开饭了。铃声和开饭之间并不存在必然的联系，我们知道之所以狗会将两者联系在一起，是因为巴甫洛夫有意的将两者一次次在狗那儿重复共现。所以，重复是建立关联的必要条件。我们还可以想像，狗在进食的时候听到的声音可能还有鸟叫声、风吹树叶的沙沙声，为什么这些同样具备重复特征声音却没有和开饭建立关系呢？细分辨我们不难想到：铃声和开饭之间不仅重复共现，而且这种重复共现还具备一个相对稳定的周期，而其他的那些声音和开饭的共现则是随机的。那么遗忘又在其中如何起作用的呢？1、所有事物一视同仁的按相同的规律进行遗忘；2、偶尔或随机出现的事物因此会随时间而逐渐淡忘；3、而具有相对稳定周期重复再现的事物，虽然也按同样的规律遗忘，但由于周期性的得 ...继续阅读 (37)

达观数据是为企业提供大数据处理、个性化推荐系统服务的知名公司，在应对海量数据处理时，积累了大量实战经验。其中达观数据在面对大量的数据交互和消息处理时，使用了称为DPIO的设计思路进行快速、稳定、可靠的消息数据传递机制，本文分享了达观数据在应对大规模消息数据处理时所开发的通讯中间件DPIO的设计思路和处理经验（达观数据架构师 桂洪冠）一、数据通讯进程模型在设计达观数据的消息数据处理机制时，首先充分借鉴了ZeroMQ和ProxyIO的设计思想。ZeroMQ提供了一种底层的网络通讯框架，提供了基本的RoundRobin负载均衡算法，性能优越，而ProxyIO是雅虎的网络通讯中间件，承载了雅虎内部大量计算节点间的实时消息处理。但是ZeroMQ没有实现基于节点健康状态的最快响应算法，并且ZeroMQ和ProxyIO对节点的状态管理，连接管理，负载均衡调度等也需要各应用自己来实现。达观科技在借鉴两种设计思路的基础上，从进程模型、服务架构、线程模型、通讯协议、负载均衡、雪崩处理、连接管理、消息流程、状态监控等各方面进行了开拓，开发了DPIO（达观ProxyIO的简写，下文统称DPIO），确保系统高性能处理相关数据。在DPIO的整个通讯框架体系中，采用集中管理、统一监控策略管理节点提供服务，节点间直接进行交互，并不依赖统一的管理节点（桂洪冠）。几种节点间通过http或者tcp协议进行消息传递、配置 ...继续阅读 (60)

因为有同学在微信后台咨询这个问题，所以这里简单记录一下，其实自己之前也摸索了一些方法，不是太完美，目前所使用的这个方法算是折中后比较好的。这段时间在鼓捣“NLPJob”这个公众号，特别是微信公众号支持“原创声明”后，就很乐意将52nlp上积攒的一些文章搬上去，但是逐渐会遇到一些数学公式的问题。目前在52nlp上用的是mathjax完美支持latex数学公式展现，但是微信公众号的编辑器没有这个支持，另外mathjax支持的公式形式不是图片形式，所以不能直接将文章拷贝上去，但是如果是数学公式图片，微信编辑器可以直接拷贝，所以最直接的想法就是将mathjax支持的latex公式转换为公式图片保存在文章中，然后再全文拷贝到微信公众号编辑器中。其实在mathjax之前，网页上的很多数学公式都是用这种折中的方式，包括很多wordpress数学公式插件，当年我也因为52nlp上的公式问题还自己动手写了一个小的wordpress插件，但是当mathjax出现之后，之前的方案就显得很一般了。所以就开始尝试找一下支持img缓存的latex公式插件，不过多数都不满意或者有瑕疵，甚至自己又开始动手修改代码，然后blablabla….，最终发现quicklatex这个神器和它的wordpress插件QuickLaTeX，几乎完美支持和兼容Mathjax所支持的latex数学公式。方法很简单，只要 ...继续阅读 (204)