There are two sorted arrays A and B of size m and n respectively. Find the median of the two sorted arrays. The overall run time complexity should be O(log (m+n)).The following code is better than most of the results returned by baidu or google. Time complexity is O((m+n)/2), Space complexity is O(1).Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/1 double findMedianSortedArrays(vector& nums1, vector& nums2) 2 { 3 int nums1_i = 0, nums2_i = 0; 4 int mid1 = 0, mid2 = 0, count = 0; 5 while (nums1_i < nums1.size() && nums2_i < nums2.siz ...继续阅读 (9)

摘要: 通过这篇文章我们主要回答以下几个问题： 1. LSH解决问题的背景，即以图片相似性搜索为例，如何解决在海量数据中进行相似性查找？ 2. 图像相似性查找的连带问题：相似性度量，特征提取； 3. LSH的数学分析，即局部敏感HASH函数的数学原理，通过与、或构造提升查找的查... 阅读全文胡满超2018-02-24 13:10发表评论 ...继续阅读 (6)

直接上图脑图源文件下载地址http://www.cppblog.com/Files/humanchao/LSH(Locality%20Sensitive%20Hashing).zip参考文献：Website:[1] http://people.csail.mit.edu/indyk/ （LSH原作者）[2] http://www.mit.edu/~andoni/LSH/ (E2LSH)Paper:[1] Approximate nearest neighbor: towards removing the curse of dimensionality[2] Similarity search in high dimensions via hashing[3] Locality-sensitive hashing scheme based on p-stable distributions [4] MultiProbe LSH Efficient Indexing for HighDimensional Similarity Search[5] Near-Optimal Hashing Algorithms for Approximate Nearest Neighbor in High DimensionsTutorial:[1] Locality-Sensitive Hashin ...继续阅读 (16)

想转型的都是那些不甘于现状的，我就是其中之一。 我是2005年毕业，从毕业前的实习开始，做CAD二次开发，电气设计软件。2006年转做无纸办公软件，那个年代无纸办公流行，C++更是主流，感觉也算有前途。2008年转做Open Office的开发，维护世界级的产品会产生一种自豪感，Open Office本身代码体量也的确非常大。2010年转做安全类的产品，从一个模块级负责人，核心程序员，到架构师，再到负责整体产品线的负责人，经历了4年时间。 在我的职业生涯中时不时就会产生一种莫名的危机感，经常会问自己，自己掌握的技术够深吗、是主流的技术吗、未来的职业发展又在哪里？ 2006年一个同事跳槽去了一家大型企业，走的时候跟我们说，做二次开发没有前途，出去面试会被人看不起。但是我发现，在具体编码的过程中，很多经验丰富的程序员甚至不能把一个对话框程序写的很漂亮，一个对话框类的实现将界面与逻辑混在一起，没有太多解耦的思想在里面。后来的工作中悟出一个道理，没有小角色，只有小演员，只有把现在的事情做好，才能有未来。 2008年我在一个不满意的环境中，苦苦的寻找下一步的方向，从坐落在小区里的公司一直面试到了微软和IBM这个级别的公司里。被挫了很多次，也积累了很多面试的经验。其间有一家做搜索引擎的公司我没去成，我的理由只是因为工资没有任何提高。其实大家跳槽的时候都说 ...继续阅读 (15)

一级国标汉字（3755个）啊阿埃挨哎唉哀皑癌蔼矮艾碍爱隘鞍氨安俺按暗岸胺案肮昂盎凹敖熬翱袄傲奥懊澳芭捌扒叭吧笆八疤巴拔跋靶把耙坝霸罢爸白柏百摆佰败拜稗斑班搬扳般颁板版扮拌伴瓣半办绊邦帮梆榜膀绑棒磅蚌镑傍谤苞胞包褒剥薄雹保堡饱宝抱报暴豹鲍爆杯碑悲卑北辈背贝钡倍狈备惫焙被奔苯本笨崩绷甭泵蹦迸逼鼻比鄙笔彼碧蓖蔽毕毙毖币庇痹闭敝弊必辟壁臂避陛鞭边编贬扁便变卞辨辩辫遍标彪膘表鳖憋别瘪彬斌濒滨宾摈兵冰柄丙秉饼炳病并玻菠播拨钵波博勃搏铂箔伯帛舶脖膊渤泊驳捕卜哺补埠不布步簿部怖擦猜裁材才财睬踩采彩菜蔡餐参蚕残惭惨灿苍舱仓沧藏操糙槽曹草厕策侧册测层蹭插叉茬茶查碴搽察岔差诧拆柴豺搀掺蝉馋谗缠铲产阐颤昌猖场尝常长偿肠厂敞畅唱倡超抄钞朝嘲潮巢吵炒车扯撤掣彻澈郴臣辰尘晨忱沉陈趁衬撑称城橙成呈乘程惩澄诚承逞骋秤吃痴持匙池迟弛驰耻齿侈尺赤翅斥炽充冲虫崇宠抽酬畴踌稠愁筹仇绸瞅丑臭初出橱厨躇锄雏滁除楚础储矗搐触处揣川穿椽传船喘串疮窗幢床闯创吹炊捶锤垂春椿醇唇淳纯蠢戳绰疵茨磁雌辞慈瓷词此刺赐次聪葱囱匆从丛凑粗醋簇促蹿篡窜摧崔催脆瘁粹淬翠村存寸磋撮搓措挫错搭达答瘩打大呆歹傣戴带殆代贷袋待逮怠耽担丹单郸掸胆旦氮但惮淡诞弹蛋当挡党荡档刀捣蹈倒岛祷导到稻悼道盗德得的蹬灯登等瞪凳邓堤低滴迪敌笛狄涤翟嫡抵底地蒂第帝弟递缔颠掂滇碘点典靛垫电佃甸店惦奠淀殿碉叼雕凋刁掉吊钓调跌爹碟蝶迭谍叠丁盯叮钉顶鼎锭定订丢东冬董懂动栋侗恫冻洞兜抖斗 ...继续阅读 (17)

软件架构设计要关注哪些要点，我一直在思考这个问题？人类有计划的做事必有其强列的目的性，软件开发活动也不例外。软件不可能由一个人完成，所以软件的设计要分层，分模块，便于人员分工，专业的人做专业的事情。软件的开发需要传承，铁打的营盘流水的兵，简单的设计是优秀软件的共性，用普通人就能理解的设计原则可以便于理念的传承。为了传承，文档也很重要。文档是时间流逝中最不容易产生二义性的媒介，好的文档使经验更好传播；另外文档化的工作之于设计阶段，有利于思考的升华和快速成熟，比如将所懂一门知识写成一本书，仍然需要很多总结和提升的工作。软件的发布需要测试，靠人工驱动效率太低，那么靠数据驱动的自动化测试能够大大提高测试的效率。软件的成果需要市场化，遇到问题要进行反馈和解决，日志的设计很重要。当工程师一下子面对几M甚至几十M的数据时，很难快速理出头绪。如果通过查看最后几行，就能明晰程序的动向，那程序的后期质量进步将变得很顺畅。软件的功能会发展，合理的抽象才能有效的应对变化，当我们可以预料到未来的变化，我们可以通过抽象接口的技术手段提前应对。这样版本在不断演进中，路不会越走越难。综上所述，好的软件设计需有具备以下特征：1、分层，分模块2、简单3、有文档4、数据驱动5、适量日志6、合理的抽象胡满超2014-08-28 22:48发表评论 ...继续阅读 (17)

出现这个问题主要是调用的问题，没有加入包./bin/hadoop jar FirstJar/WordCount.jar WordCount input output改成如下的样子就可以了./bin/hadoop jar FirstJar/WordCount.jar cn.edu.ruc.cloudcomputing.book.chapter03.WordCount input output胡满超2014-05-27 19:28发表评论 ...继续阅读 (53)

转自：http://www.cppblog.com/changshoumeng/archive/2014/05/09/206871.html胡满超2014-05-19 17:06发表评论 ...继续阅读 (26)

You can check socket is connect by net.socket._handle like this code:Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/varobj =newnet.socket;if(!obj._handle){obj.connect(8080, '127.0.0.1',function() {send;});}else{send;}胡满超2014-05-13 16:11发表评论 ...继续阅读 (23)

转自：http://blog.163.com/javy1225@126/blog/static/459230342009230115919910/一.CTime转化为CStringCTime tmSCan = CTime::GetCurrentTime();CString szTime = tmScan.Format("'%Y-%m-%d %H:%M:%S'");这样得到的日期时间字符串就是以"2006-11-27 23:30:59"的格式.这是不是很方便呢?//取得CTime中的日期CString cstrDate = tmScan.Format("%Y-%m-%d");//取得CTime中的时间CString cstrTime = tmScan.Format("%H:%M-%S");二.CString转化为CTime的几种方法CString timestr = "2000年04月05日";int a,b,c ;sscanf(timestr.GetBuffer(timestr.GetLength()),"%d年%d月%d日",&a;,&b;,&c;);CTime time(a,b,c,0,0,0);--------or - ---------------------CString s("2001-8-29 19:06:23");int nYe ...继续阅读 (21)

转自：http://blog.codinglabs.org/artic ... -easy.html#jtss-tqq周末花时间看了一些比特币原理相关的资料，虽然不敢说把每个细节都完全搞懂了，不过整体思路和关键部分的主要原理还是比较明白。写一篇文章分享给大家。这篇文章的定位会比较科普，尽量用类比的方法将比特币的基本原理讲出来。这篇文章不会涉及算法和协议中比较细节的部分，打算后面会再写一篇程序员视角下的比特币原理，那里会从技术人员的视角对比特币系统中较为关键的数据结构、算法和协议进行一些讲解。在这篇文章中我会给出一个虚拟的村庄叫“比特村”，整个文章会以讲故事的方式，逐步告诉大家比特币提出的动机、解决了什么问题以及一些关键组件的目标和设计方案。问题的提出我们先从比特币产生的动机开始。以物易物的比特村话说在这个世界上，有一个叫比特村的小村庄，村庄共有几百户人家。这个村庄几乎与世隔绝，过着自给自足的生活。由于没有大规模贸易，比特村村民一直过着以物易物的生活，也就是说村民之间并没有使用统一的货币，互相间的贸易基本上就是老张家拿一袋面粉换老李家一只羊，王大嫂拿一筐野果换刘大婶两尺布。村民们一直就这么纯朴的生活着。实物货币终于有一天，村民觉得一直这样以物易物实在太不方便了，于是村子全员开会，讨论如何解决这个问题。有人提议，以便于分割且稀有的东西，例如黄金，作为一般等价物， ...继续阅读 (21)

搜索引擎在查找时主要考虑两方面因素：网页和查询的相关性、网页的重要性链接分析解决网页重要性的问题网页中最重要的三个要素，出链（Out Link），入链（In Links），锚文字链接分析算法1、随机游走模型：对直接跳转和远程跳转两种用户浏览行为进行抽象的概念模型，用户从当前网页到达某网页的概率2、子集传播模型：把网页划分为若干子集，给予子集内网页初始权值，根据链接关系，按照一定方式将权值传递到其他网页不同子集传播模型在如下方面存在差异：1）如何定义特殊子集合2）在确定了特殊子集合所具有的性质后，如果对子集内的网页赋初始值3）从特殊子集合将其分值传播到其他网页时，采取何种传播方式PageRank算法除了考虑到入链数量的影响，还参考了网页质量因素数量假设：在Web图模型中，如果一个页面节点接收到的其他网页指向的入链数量越多，那么这个页面越重要质量假设：质量高的页面会通过链接向其他页面传递更多的权重算法开始赋予每个网页相同的重要性得分，通过迭代递归计算来更新每个页面节点的PageRank得分，直到稳定为止远程跳转：解决链接陷阱的通用方式，在网页向外传递分值时，不限于向出链所指网页传递，也可以以一定的概率向任意其他网页跳转（虚拟边，权值通过虚拟边向外传递）HITS(Hypertext Induced Topic Selection)算法Authority页面：某个领域或者某个话题相关的高质 ...继续阅读 (25)

检索模型与搜索排序最重要的两个因素，用户查询与网页相关性，网页链接情况检索模型：用户查询与网页相关性布尔模型，向量空间模型，概率模型，语言模型，机器学习排序算法布尔模型：数据基础是集合论，搜索结果过于粗糙，无法量化搜索词与文档之前的相关性向量空间模型：把文档看做是由T维特征组成的一个向量，最常用的是以单词作为特征，实际应用中，文档的维度相当高（成千上万）将查询和文档之间的内容相似性作为相关性的替代计算相似性，使用COSINE，计算查询词特征权值与文档中每个特征权值向量的点积特征权重：由词频Tf，逆文档频率IDF确定词频Tf：Wtf=a+(1-a)*Tf/Max(Tf)a取0.4效果较好逆文档频率因子：文档集合范围的一种全局因子，特征单词之间的相对重要性有研究者进一步分析认为：IDF代表了单词带有的信息量的多少（熵），其值越高，说明其信息含量越多，越有价值IDFk=log(N/nk)N代表文档集合中总共有多少个文档，nk代表特征单词k在其中多少个文档中出现过Weight_word=Tf*IDF，特征权值越大，越可能是好的指示词查询词在某个文档中的词频越高，在其他文档中出现的词频越低，这个词的权值越高向量空间模型是经验型的模型，靠直觉和经验不断摸索完善，缺乏明确的理论指导改进方向概率排序原理：给定一个用户查询，如果搜索系统能够在搜索结果排序时按照文档和用户需求的相关性由高到低排序，那么 ...继续阅读 (47)

词典压缩：减小词典的内存占用好的压缩算法：压缩率，压缩速度，解压速度（最重要）一元编码10210311041110511110Elias Gamma:x=2^e+de+1:一元编码d:二元编码Elias Delta:x=2^e+de+1:再使用Elias Gamma编码一次d:二元编码Golomb & Rice因子1=(X-1)/b，因子1+1，一元编码因子2=(X-1) mod b，使用二元编码，编码宽度在log(b)Golomb: b=0.69*Avg(序列平均值)Rice：2的整数次幂，所有小于Avg中最接近Avg的数值变长压缩算法SimpleXSimple9: 32位比特位，4个比特为管理数据存储区，28个比特压缩数据存储区Simple9的28位有9种表示形式Simple16: 28位有16种表示形式，并且通过非当项完全固定长度，解决数据区有浪费位的情况PForDelta：目前解压速度最快的一种倒排文件压缩算法1，对待编码的连续K个数值（一般为128），确定10%的大数数值，根据70%小数确定夺取的比特宽度，确定整个序列2，对原始数据遍历，将大数放置到尾端，并转换成链表结构的序列3、将所有数字压缩到队列中文档编号重排序网页的文档ID+单词词频信息，文档ID使用D-Gap进行编码将内容越相似的网页，在编排文档号时越相邻海量数据文本聚类速度较慢，将URL相似的网页聚合在一起，假 ...继续阅读 (22)

单词词典1、哈希加链表2、树形结构：B树或者B+树倒排列表：单词+文档号，词频，出现的位置文档号一般采用差值存储，以节省空间建立索引1、两遍文档遍历法第一遍，收集全局统计信息，文档数N，每个文档包含不同单词数M，每个单词在多少个文档中出现过的信息DF，通过这些信息可以计算出最终索引的大小第二遍，在建立好的内存中建立索引，从磁盘读取文档并解析文档是最消耗时间的步骤2、排序法始终在内存中分配固定大小的空间，用来存放词典信息和索引中间结果，当分配空间消耗光的时候，把中间结果写入磁盘，清空内存数据进行下一轮索引中间结果排序，排序前，文档ID，单词ID，单词频率排序后，单词ID（主键），文档ID（次键）合并中间结果，把中间结果文件进行合并，按单词ID写入最终结果文件3、归并法在中间结果排序完成以后，把字典信息也写入文档中，这样全额使用内存在建立中间索引中，实际单词，文档编号，词频合并时，针对每个单词的倒排列表进行合并，形成最终的词典信息动态索引倒排索引：词典在内存里，倒排列表存储在磁盘文件中临时索引：词典和倒排列表都在内存中，当有新文档加入时，放到临时索引中删除文档列表：当文档内容被更改时，系统认为旧文档被删除，增加一篇新文档当用户输入查询时，先从找倒排索引+临时索引，去掉删除文档列表中的文档结果索引更新策略1、完全重建策略：当新增文档达到一定数量后，新老索引合并重建，适合小文档集合，主流商 ...继续阅读 (17)

二、网络抓虫网页页面划分为5个部分：1、已下载2、已过期3、待下载4、可知网页集合，未下载，但可索引5、不可知网页集合，暗网网页爬虫分三种类型：1、批量型：有明确的抓取范围和目标，当达到这个目标后停止抓取2、增量型：不断抓取，抓取到以后定期更新3、垂直型：抓取特定行业网页优秀爬虫的特性：高性能、可扩展（良好的并发性）、健壮性、友好性（遵守Robot协议）评价爬虫质量的标准：覆盖率，时新性，重要性抓取策略：优先选择重要网页进行抓取1、宽度优先遍历策略，虽然机械，但是效果好，隐含了一些网页优秀级的假设2、非完全PageRank策略，对已下载网页集合，加上待抓取URL，形成网页集合，进行PageRank计算，将待抓取按得分进行排序3、OCIP策略，在线页面重要性计算，待下载页面都分配相同的cash，下载后把页面拥有的现金平分给包含的链接，待抓取URL则根据手头现金排序，优先下载最充裕网页。计算速度快，适合实时计算，效果略优于宽度优先4、大站优先策略，哪个网站等等下载的页面最多，则优先下载这些链接，效果略优于宽度优先网页更新策略1、历史参考策略，过去频繁更新的网页，将来也会频繁更新，利用泊松过程抓取策略应该忽略掉广告或导航等非重要区域的频繁变化，集中在主题内容的变化探测和建模2、用户体验策略，对搜索结果排名靠前，更新以后对搜索质量（排名）的影响较大的页面进行更新3、聚类抽样策略，先对网页进 ...继续阅读 (17)

一、搜索引擎介绍搜索引擎发展阶段：1、分类目录的一代2、文本检索的一代3、链接分析的一代4、用户中心的一代搜索引擎的三个目标：更全，更快，更准搜索引擎的3个核心问题：1、用户真正的需求是什么，搜索词背后的含义2、哪些信息是和用户需求真正相关，关键词匹配3、哪些信息是用户可以依赖的，返回给用户重要的，可依赖的网页优秀的云存储与云计算机平台已经成为大型商业搜索引擎的核心竞争力胡满超2013-09-05 14:27发表评论 ...继续阅读 (19)

You need compile boost and add libs path in project or makefile.Compile boost run:bjam stage --toolset=msvc-10.0 link=static runtime-link=static threading=multi debug release胡满超2013-08-20 15:52发表评论 ...继续阅读 (27)

转自：http://blog.chinaunix.net/uid-23766031-id-2386460.html死锁：一种情形，此时执行程序中两个或多个线程发生永久堵塞（等待），每个线程都在等待被其他线程占用并堵塞了的资源。例如，如果线程A锁住了记录1并等待记录2，而线程B锁住了记录2并等待记录1，这样两个线程就发生了死锁现象。gdb调试死锁的方法：gdbattach pidthread apply all bt找到_lll_lock_wait 锁等待的地方。然后查找该锁被哪个线程锁住了。例如：查看哪个线程拥有互斥体（然后list代码，查看使用互斥变量的名称）(gdb) print AccountA_mutex$1 = {__m_reserved = 2, __m_count = 0, __m_owner = 0x2527,__m_kind = 0, __m_lock= {__status = 1, __spinlock = 0}}(gdb) print 0x2527$2 = 9511(gdb) print AccountB_mutex$3 = {__m_reserved = 2, __m_count = 0, __m_owner = 0x2529,__m_kind = 0, __m_lock = {__status = 1, __spinlock = 0}}(gdb) prin ...继续阅读 (38)

1、能准确领会上级领导的意图和需求2、能对任务进行分解，驱动下属完成任务3、能够在资源有限的情况下，笼络下属，驾驭团队胡满超2013-08-16 10:59发表评论 ...继续阅读 (17)

1、开展工作就事论事，在管理下属时不要纠缠于细节2、把驱动自己做事，变成驱动团队做事3、对任务和模块进行切割，把事情和责任分到人头4、把“驱动员工，分派任务，检查进度”变成“分割责任，收集信息，帮助下属清除困难”5、培训和开会必不可少，做培训和主持会议的水平是领导者重点培养的核心技能胡满超2013-08-08 15:58发表评论 ...继续阅读 (18)

VC控制台使用CSocket要点：1、在Stdafx.h中加入#include "afxsock.h"2、在CPP中加入if (!AfxSocketInit()){_tprintf(_T("Fatal Error: Socket initialization failed\n"));return 1 ;}3、在工程生成的时候支持MFC是必须的步骤做上上述几点在Debug版本调用CSocket::Create函数的时候就不会出现Assert了胡满超2013-06-27 14:45发表评论 ...继续阅读 (27)

最使用VC编写base64的程序，找了半天发现ATL本身就提供此功能，以下几个函数就可以满足常见需要：Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/intBase64EncodeGetRequiredLength(intnSrcLen, DWORD dwFlags=ATL_BASE64_FLAG_NONE){}intBase64DecodeGetRequiredLength(intnSrcLen)throw(){}BOOL Base64Encode( _In_count_(nSrcLen)constBYTE *pbSrcData, _In_intnSrcLen, _Out_z_cap_post_count_(*pnDestLen, *pnDestLen) LPSTR szDest, _Inout_int*pnDestLen, _In_ DWORD dwFlags = ATL_BASE64_FLAG_NONE)throw(){}BOOL Base64Decode(LPCSTR szSrc,intnSrcLen, BYTE *pbDest,int*pnDestLen)throw(){}胡满超2013-05-09 13:32发表评论 ...继续阅读 (17)

Code highlighting produced by Actipro CodeHighlighter (freeware)http://www.CodeHighlighter.com/1std::vectorvec;2vec.push_back(1);3vec.push_back(2);4vec.push_back(3);5vec.push_back(4);6vec.push_back(5);7vec.push_back(6);8vec.push_back(7);9vec.push_back(8);1011std::vector::iterator ite = vec.begin();12while(ite != vec.end())13{14if(*ite == 2)15{16ite = vec.erase(ite);17}18else19{20printf("%d\n", *ite);21++ite;22}23}胡满超2013-04-22 14:05发表评论 ...继续阅读 (21)