本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设接上篇：http://www.36dsj.com/archives/6387第二部分:数据集成请让我首先解释 一下“数据集成”是什么意思，还有为什么我觉得它很重要，之后我们再来看看它和日志有什么关系。数据集成就是将数据组织起来，使得在与其有关的服务和系统中可以访问它们。“数据集成”（data integration）这个短语应该不止这么简单，但是我找不到一个更好的解释。而更常见的术语 ETL 通常只是覆盖了数据集成的一个有限子集(译注：ETL，Extraction-Transformation-Loading的缩写，即数据提取、转换和加载)——相对于关系型数据仓库。但我描述的东西很大程度上可以理解为，将ETL推广至实时系统和处理流程。你一定不会听到数据集成就兴趣盎然屏住呼吸，并且天花乱坠的想到关于大数据的概念，不过，我相信世俗的问 ...继续阅读 (142)

图文版请看这：深度学习系列：深度学习在腾讯的平台化和应用实践（一）深度学习系列：Mariana DNN多GPU数据并行框架 微信语音是怎么来的？（二）深度学习系列：Mariana CNN并行框架与图像识别（三）深度学习系列：解密最接近人脑的智能学习机器——深度学习及并行化实现（四）邹永强，腾讯数据平台部精准推荐中心深度学习方向负责人邹永强目前负责腾讯深度学习平台Mariana设计，开发与应用。已经成功支持微信语音识别，微信图像识别，正在开展广点通图文广告点击率预估提升工作。有丰富的自研分布式文件系统开发和数千台服务器运营经验，具备领导设计和开发大数据并行处理解决方案经验。拥有11项专利，涉及并行机器学习平台、分布式文件系统和分布式数据库。曾获PDCAT2008最佳论文奖和NPC2010最佳论文奖提名，近期研究工作发表于国际顶级学术会议 VLDB2014。邹永强2010年于中科院计算所获分布式系统方向博士学位。记者：您所在的公司，都曾使用过哪些大数据技术？您对这些技术满意的地方和不满意的地方分别有什么？邹永强：腾讯公司有多个部门在广泛使用多种大数据技术。以数据平台部为例，有TDW作为分布式数据仓库提供增强的Hive功能；有Gaia提供分布式资源管理；有HBase作为分布式数据库；有全内存的分布式key-value系统TDE；利用Storm完成流式计算；利用Spark完成机器学习任务； ...继续阅读 (106)

Collect common operations indict, includingnesteddictionaries, iteration, sorting.1. Basic operationsBasic operations ofdictare as follows, excerpt fromPythondocumentationhere.len(d) #Return the number of items d[key] #Return the item of d with key key d[key] = value #Set d[key] to value. del d[key] #Remove d[key] from d. Raises a KeyError if key is not in the map. key in d #Return True if d has a key key, else False. key not in d #Equivalent to not key in d. iter(d) #Return an iterator over the keys of the dictionary ...继续阅读 (45)

移动大数据时代: 无线网络的挑战与机遇张平, 崔琪楣 侯延昭, 徐瑨 北京邮电大学, 北京 1008762014-11-03 收稿, 2014-12-19 接受, 2015-01-20 网络版发表 国家自然科学基金(61471058, 61421061)和北京高等学校青年英才计划(YETP0429)资助摘要：随着移动互联网、云计算、物联网、机器类型通信等新兴信息通信技术的飞速发展, 信息社会进入了网络化的大数据时代. 快速普及的智能化移动终端应用助推了全球移动数据流量的大幅度增长. 在移动大数据时代, 海量数据、业务类型演进、数据多样化、数据空-时域分布不均匀等特征给无线网络带来了严峻的挑战. 为了应对挑战, 一方面, 无线网络从新频谱拓展、传输技术、智能立体化组网等多维度进行演进以满足大数据传输与应用的需求; 另一方面, 移动大数据作为一种新的生产要素改变着人们认知网络的方法, 无线网络可以充分借鉴互联网数据挖掘的理论与方法, 实现网络的灵活部署、无线资源的优化配置和低能耗绿色通信.当今, 移动互联网、云计算、物联网、机器类型通信等新兴信息通信技术的飞速发展导致数据流量的爆炸式增长和数据结构类型的高度复杂化, 信息社会进入了网络化的大数据(big data)时代[1,2]. 宏观上大数据即指海量的数据; 从微观上定义, 大数据是指需要通过快速获取、处理、分析以从中提取有价值的海量 ...继续阅读 (86)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设第四部分：系统建设我们最后要讨论的是在线数据系统设计中日志的角色。在分布式数据库数据流中日志的角色和在大型组织机构数据完整中日志的角色是相似的。在这两个应用场景中，日志是对于数据源是可靠的，一致的和可恢复的。组织如果不是一个复杂的分布式数据系统呢，它究竟是什么？分类计价吗？如果换个角度，你可以看到把整个组织系统和数据流看做是单一的分布式数据系统。你可以把所有的子查询系统（诸如Redis, SOLR,Hive表等）看成是数据的特定索引。你可以把Storm或Samza一样的流处理系统看成是发展良好的触发器和视图具体化机制。我已经注意到，传统的数据库管理人员非常喜欢这样的视图，因为它最终解释了这些不同的数据系统到底是做什么用的–它们只是不同的索引类型而已。不可否认这类数据库系统现在大量的出现，但是事实上，这种复杂性一直都存在 ...继续阅读 (107)

这次抓取了110万的用户数据，数据分析结果如下：从结果可以看到，知乎的男女分布为61.7和38.3%，对于一个知识型、问答型的社区来说，已经很优秀了，女生再多一点的话，知乎差不多都可以做婚恋社区了，开个玩笑。对了，在爬了3000万QQ用户数据，挖出了花千骨赵丽颖的QQ号一文中，我们可以看到，除了没有填写姓名的用户外，QQ空间的男女比例为56%和23%。这个数据可以作为一个参考。且不论女性多少，但看男性用户，知乎只比QQ空间少了5%.从职业分布来看，知乎用户中，从事互联网行业的用户是最多的。传统行业从业者相对较少，这和知乎的定位也有很大的关系。北上广深仍然是用户人群最多的城市。值得注意的是，杭州用户比广州用户还多，这说明杭州的互联网行业发展迅猛，有阿里巴巴的缘故？看懂啦？还是技术宅比较多，尤其是程序员。结合男女比例来看，知乎做到这样的数据非常不易，从事互联网行业的人较多，而这群人里面，还有38.3%是妹子哦。对了，女性分布为什么是38.3的比例？三八……下面是技术正文：开发前的准备安装Linux系统（Ubuntu14.04），在VMWare虚拟机下安装一个Ubuntu；安装PHP5.6或以上版本；安装curl、pcntl扩展。使用PHP的curl扩展抓取页面数据PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。本程序是抓取知乎的用户数据，要能访 ...继续阅读 (82)

文|叶蓬 这篇文章原载于内刊，现发布于此。内容有所删减基于大数据分析的安全管理平台技术研究及应用Research and Application of Big Data Analysis Based Security Management PlatformLast Modified By yepeng @ 2014-1-14【内容摘要】本文首先通过介绍大数据的起因，给出了大数据的定义和特征描述，并简要说明了当前大数据的研究概况。接下来，本文阐释了大数据分析技术，对大数据在信息安全领域尤其是安全管理平台领域的应用做了深入分析，并给出了基于大数据安全分析技术的安全管理平台的基本特征。最后，针对一个基于大数据安全分析技术的新一代安全管理平台从5V角度进行了深入介绍，并强调了安全分析师的关键作用。无所不在的大数据毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。什么是大数据？大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有 ...继续阅读 (34)

董老师开讲了《大数据入门》2015.01.17 硅谷创业协会讲座笔记：同学们好，今天的讲座主题是大数据入门，我的大纲如下首先自我介绍一下，我叫董飞，目前在硅谷的一家做在线教育公司Coursera做数据工程师，之前本科南开大学毕业，加入创业公司酷迅，做实时信息检索，后来进入百度基础架构组，搭建了Baidu App Engine的早期版本，随后去杜克大学留学，攻读硕士期间，做跟Hadoop大数据相关的研究项目Starfish，之后在Amazon EC2部门实习，了解它们的内部架构，毕业后加入Linkedin，做广告组的架构，涉及Hadoop调优，Data Pipeline, 实时系统。在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网百度，阿里巴巴，奇虎，到美国一线公司Facebook，Google，Linkedin，Twitter，到热门Startup，Uber，Pinterest，Airbnb，Dropbox，Snapchat，拿到10+ offer，并且在Linkedin期间，也积极参与面试过近200人，代表校园招聘，成为全公司前三的面试官，参与面试题制定，乐于分享并帮助很多人成功求职，实现目标。在知乎上写完关于技术，求职的几个帖子，引起强烈反响，美国大数据工程师面试攻略有哪些？知乎日报 哪些硅谷创业公司能给拜访者留下深刻印象？Coursera上有哪些 ...继续阅读 (126)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设我在六年前的一个令人兴奋的时刻加入到LinkedIn公司。从那个时候开始我们就破解单一的、集中式数据库的限制，并且启动到特殊的分布式系统套件的转换。这是一件令人兴奋的事情：我们构建、部署，而且直到今天仍然在运行的分布式图形数据库、分布式搜索后端、Hadoop安装以及第一代和第二代键值数据存储。从这一切里我们体会到的最有益的事情是我们构建的许多东西的核心里都包含一个简单的理念：日志。有时候也称作预先写入日志或者提交日志或者事务日志，日志几乎在计算机产生的时候就存在，同时它还是许多分布式数据系统和实时应用结构的核心。不懂得日志，你就不可能完全懂得数据库，NoSQL存储，键值存储，复制，paxos,Hadoop,版本控制以及几乎所有的软件系统；然而大多数软件工程师对它们不是很熟悉。我愿意改变这种现状。在这篇博客文章里，我将带 ...继续阅读 (104)

1、存在的背景基础设施的巨大飞跃，数据储存技术、网络技术的迅猛发展，为大数据时代的到来准备了物质基础。物联网本质上就是更多采集数据的入口和节点；云计算培养了服务的商业模式和集中建设降低单位计算和存储成本。到了移动互联网就更有意思了：第一个特点是身份，在合适的时间，合适的地点，将合适的信息送给合适的人，你要知道你的对方是谁，他有什么喜好，他现在是什么状态，没有这个精准身份的信息，一切都无从谈起。第二个就是连接，双向适时的互动连接，有了网络以后，你想要什么信息，就从电脑上去索取。手机我们一半除了拿信息以外，我们另外一半推信息，但是这个带来的变化也就是信息流动能够更加适时了。第三个是手机主要的特性，信息是有位置属性的。最后是感应，我们电脑上已经不会再有太多的感应器了，手机上的感应器角度会越来越多，可穿戴的产品，未来我们的手机可以闻到味道，可以感受到甲醛超标，可以感受到电磁辐射。这三样结合在一起本质上就是产生、处理和应用了大数据，通过各种各样新的技术和来帮助我们解决各种各样的问题，重新构建信息流，资金流、物流。2 、数据究竟有多大大数据带动方法论上的变化本质上是人的行为越来越被虚拟化，以前历史上谁都不知道你在互联网上是人还是狗，现在处处行迹处处痕，语言分析、自然语义处理、图像处理、信号处理、关系预测来精准预计，导致全球数据量每两年翻一翻。随着Iphone和各种安卓普及，每个人在云端都有几个 ...继续阅读 (62)

【摘要】前言Redis和Memcached最大的区别，Redis 除啦支持数据持久化之外，还支持更多的数据类型而不仅仅是简单key-value结构的数据记录。Redis还支持对这些数据类型做更多的服务端操作，从而也能减少网路的IO次数与数据体积，这里也比Memcached要方便与高效，只针对这一点啊，想喷的...阅读全文 ...继续阅读 (23)

译者：36大数据编辑 原上草（36大数据专稿，拒绝转载）Palantir，提起这家公司就会让人觉得如雷贯耳。之前36大数据之前应该花了非常多的时间去收集和整理了关于这家公司背后的故事，参考揭秘：曾用大数据帮助CIA干掉本·拉登的公司Palantir Technologies，在2013年美国大数据公司收入排行榜中，Palantir排名第一。Palantir中国专区>>>Palantir也被称为大数据行业的印钞机，它的客户包括美国国家安全局（NSA）、美国联邦调查局（FBI）、美国中央情报局（CIA）和很多其他的美国反恐和军事机构。那么，Palantir公司的大数据产品和技术又是怎么样的呢？带着这个问题，36大数据特别编译了Palantir官网上的产品资料，今天先放出上篇。一、产品概述英语原文>它如何运作多源数据为起点各个机构都有各自的数据，它们中有很多是结构化数据，如日志文件，财务数据表和电子表格，还有一些是非结构化数据，如电子邮件，文件，图片和视频。这些数据通常情况下存储在分离系统中。每一天它们的类型都在迅速变化，体量都在呈指数性增长，并且变得越来越难以被利用。机构内部看重这些数据的人并不是从它们有多少行，多少列，原始文本是什么，这些角度来思考它们的作用的，而是从当前本机构所负担的任务和面临的挑战来思考。他们需要一种方法，以此来探寻已有的数据，并且能用自己 ...继续阅读 (72)

jQuery的属性操作主要包括jQuery.fn.valjQuery.fn.attrjQuery.fn.removeAttrjQuery.fn.propjQuery.fn.removePropjQuery.fn.addClassjQuery.fn.removeClassjQuery.fn.toggleClass接下来一一分析jQuery对他们的处理a. jQuery.fn.valjQuery.fn.val用来获取jQuery对象的第一个元素的val值或者给jQuery对象的每一个元素设置其val值。参数个数为0表示获取get，否则表示设置set。处理过程比较简单：判断参数个数，没有参数表示获取当前匹配元素中的第一个元素的value值，此时如果能使用valHooks则使用之，否则使用elem.value获取值（null/undefined需要转成空字符""）；如果有参数，表示要为当前所有的匹配元素设置值，如果参数是函数，调用函数的返回值作为值val，否则使用传递的参数做为值val。能使用则用之，否则使用elem.value = val。源码：val:function( value ) {varret, hooks, isFunction,elem=this[0];//获取jQuery对象的第一个元素//获取值if( !arguments.length ) {if( elem ) {h ...继续阅读 (14)

Quartz.NET是一个开源的作业调度框架，是OpenSymphony 的 Quartz API的.NET移植，它用C#写成，可用于winform和asp.net应用中。它提供了巨大的灵活性而不牺牲简单性。你能够用它来为执行一个作业而创建简单的或复杂的调度。它有很多特征，如：数据库支持，集群，插件，支持cron-like表达式等等。它的下载地址：http://sourceforge.net/projects/quartznet/files/quartznet/我们下载了最新版本后，发现它使用的Common.Logging.dll \Common.Logging.Core这二个dll是3.0.0.0版本的，这二个dll是什么作用呢，我简要概述一下Common.Logging.dll 通用日志接口Common.Logging.Core 包含 Common.Logging 低级抽象常见到其他所有的 Common.Logging 软件包的便携式 (PCL) 实现。(通俗的讲就是帮你实现了读取配置文件实现你想要的log，比如你想用log4net,直接在配置文件中配置一下，就可以直接在项目中使用，具体的实现由它来帮你完成)。接下来我们是使用log4net作为日志，这里不要下载最新的版本，因为Common.Logging的版本限制了你使用最新的。这中间为了让你少走弯路，你直接用程序包管理控制台 ...继续阅读 (23)

4G 网 络及云计算等新技术的大数据时代， 给新媒体提供了 更大的技术支撑， 本文分析了 大数据、 云计算、 新媒体等技术的特点， 探讨建立和完善应用 于新媒体的云计算模式。4G 网络已经铺开， 在这大信息、 大数据时代， 新媒体已逐渐成为媒体传播的主要渠道。 而云计算作为一种新兴的技术， 对提升、 优化大数据、 对新媒体信息的处理有着巨大的作用。云计算逐渐成为储存信息的主要方式， 数字信息化进程中， 产生了大规模的数据， 大数据的生成、 处理和分析对传播学研究， 既是一种挑战也是一种机遇。 大数据时代， 新媒体技术对人类社会的方方面面都起着深刻的影响， 包括了政治、 经济、 文化等等系统， 所以这一相关研究具有重要的现实意义。大数据与新媒体的关系大数据（ Big Data） 是指“无法用现有的软件工具提取、 存储、 搜索、共享、 分析和处理的海量的、 复杂的数据集合。 ” 业界通常用 4 个 V：一是数据体量巨大（ Volume） 、 二是数据类型繁多（ Variety） 、 三是价值密度低（ Value） 、 四是处理速度快（ Velocity） 。新媒体相对于报刊、 户外广播、 电视四大传统媒体新媒体被形象地称之为第五媒体， 它有五个特征， 包括有数字化、 网络化、 互动性、超文本、 虚拟性。 随着互联网的发展， 新媒体突飞猛进日 渐成为人们获取信息和新闻消息的主要来源之一。 ...继续阅读 (29)

处理浏览器兼容问题实际上不是jQuery的精髓，毕竟让技术员想方设法取弥补浏览器的过错从而使得代码乱七八糟不是个好事。一些特殊情况的处理，完全实在浪费浏览器的性能；突兀的兼容解决使得的代码看起来既不美观也也不能对前端技术有任何提升。但是不管怎么说，只要不同的浏览器存在，就有可能出现兼容性问题，我们还必须去解决。比较好的是jQuery提供了一些比较优雅的浏览器兼容方案。在处理浏览器兼容问题的时候最没有技术含量的方式是if…else..分支判断。jQuery中用到很多处理兼容的方法：多用于普通兼容性处理的正则表达式处理以及使用的最多的方法是hooks机制。分析之前先列一下jQuery中整理出来的兼容问题jQuery.support 1. jQuery.support详解在jQuery之初就会对浏览器检测查看浏览器的支持情况，并将检测结果保存在jQuery.support中以备后用。可以说，jQuery.support是浏览器差别的轮廓（其中<ie8的兼容问题不再考虑）。jQuery.support ={//当使用.innerHTML的时候,IE吞掉开头的空白。leadingWhitespace:true/false(空白还在/空白被吞掉（IE）),//IE浏览器会自动给空表插入tbody标签。tbody:true/false(tbody可用/tbody会被 ...继续阅读 (42)

据国外媒体报道，由杰夫·史密斯(Jeff Smith)运营的美国激进主义对冲基金Starboard Value在第三季度对雅虎股份持有量翻了一番，而早些时候该对冲基金曾抛售了一部分这家门户网站的股票。据当地时间周五提交给监管机构的文件显示，该对冲基金在截至9月30日的三个月里增持了355万股雅虎股票，在成功地鼓动雅虎分离所持阿里巴巴股份之后，在这三个月的增持让该对冲基金所持雅虎股票增加至710万股。史密斯在今年10月份曾表示，股价下跌是买入机会，股价反映了对雅虎所持阿里巴巴股份分离的全面课税。在第二季度，该对冲基金几乎将所持雅虎股票抛售了一半，曾出售了330万股雅虎股票。周五提交给监管机构的文件还显示，今年第三季度，这家激进主义的对冲基金还增加了对Westrock Co.、Medassets Inc.和Media General Inc.三家公司的投资。Starboard Value是美国最为活跃的激进分子之一，一般瞄准其认为价值被低估的中小市值的上市公司，推动这样公司高管和董事会对公司进行改组，例如资产分离和资产对外出售。雅虎已经宣布剥离所持阿里巴巴股份，尽管这样的交易也许不会免税。如果剥离不能够免税，雅虎股东被征税额将大约为90亿美元。雅虎预计，剥离事项将会在截至12月31日的今年第四季度完成。为了恢复其核心的在线广告业务，雅虎一直在苦苦努力。雅虎首席执行官玛丽莎·梅耶尔(Ma ...继续阅读 (17)

一．前言.效果图还是先看看效果图吧：   定义Button按钮名称叫FButton，主要是集成了字体图标（参考上一篇：WPF自定义控件与样式1-矢量字体图标(iconfont)）。其实在WPF里，要实现本文FButton的需求，完全可以不用自定义控件，使用样式、模板就可以搞定了的。二．按钮FButton控件定义2.1 FButton继承自微软基础控件Button （C#代码）FButton继承自微软基础控件Button，没有什么逻辑代码，主要扩展了几个属性：控件外观控制的属性，如圆角、鼠标悬浮前景色背景色、是否开启动画（鼠标悬停时小图标转一圈，移开又转回去）、鼠标按下颜色等；字体图标相关属性，如字符值、字体图标大小、字体图标间距等。详见代码：///<summary>///FButton.xaml 的交互逻辑///</summary>publicpartialclassFButton : Button{publicstaticreadonlyDependencyProperty PressedBackgroundProperty =DependencyProperty.Register("PressedBackground",typeof(Brush),typeof(FButton),newPropertyMetadata(Bru ...继续阅读 (32)

该模块主要对url中的query部分进行处理，我们发送GET请求时，将参数直接放在URL中，经常碰到的需求就是把一个对象转化为query字符串放到url中去发送GET请求。io-query模块便提供了两个方法来处理query：objectToQuery将一个object转化成query字符串queryToObject将query字符串转化成对象 从对象转化成query是拼接的过程，对象的字段和值都需要编码objectToQuery:functionobjectToQuery(/*Object*/map){//summary://takes a name/value mapping object and returns a string representing//a URL-encoded version of that object.//example://this object:////| {//| blah: "blah",//| multi: [//| "thud",//| "thonk"//| ]//| };////yields the following query string:////| "blah=blah&multi=thud&mul ...继续阅读 (11)

https://github.com/alsotang/ko-timeoutko-timeoutusagetimeout(gen, ms)gen- a genarator functionms- millisecond. can use ‘3s’ or '200ms’, whichhttps://www.npmjs.com/package/mssupportexampleshould timeouttry { yield timeout(function * () { yield sleep(50) }, 20) } catch (e) { e.message.should.eql('timeout: exceed 20ms') }should get return valuevar value = yield timeout(function * () { yield sleep(10) return 30; }, 20) value.should.eql(30)licenseMIT ...继续阅读 (17)

表单的处理在前端开发中一样意义非凡，dojo/dom-form模块提供了一系列方法来处理表单元素。比如：fieldToObject： 将一个表单字段转化成JavaScript原生类型，可能是string、array等toObject：将一个表单元素转化成JavaScript对象toQuery： 将一个表单元素转化成编码后的query字符串toJson： 将一个表单元素转化成JSON字符串我们知道，表单字段的值可能是一个结果，也可能是多个结果，所以在JavaScript中字段的值可能是字符串也可能是数组，form模块中提供了一个setValue函数，该函数用于便利form中的表单元素时，取出其中的字段值：functionsetValue(/*Object*/obj,/*String*/name,/*String*/value){//Skip it if there is no valueif(value ===null){return;}//如果name存在，转化成数组，不存在直接赋值给objvarval =obj[name];if(typeofval == "string"){//inline'd type checkobj[name] =[val, value];}elseif(lang.isArray(val)){val.push(value);}else{obj[name]= ...继续阅读 (15)

1 背景2015年11月6日，FoxGlove Security安全团队的@breenmachine 发布的一篇博客[3]中介绍了如何利用Java反序列化漏洞，来攻击最新版的WebLogic、WebSphere、JBoss、Jenkins、OpenNMS这些大名鼎鼎的Java应用，实现远程代码执行。然而事实上，博客作者并不是漏洞发现者。博客中提到，早在2015年的1月28号，Gabriel Lawrence (@gebl)和Chris Frohoff (@frohoff)在AppSecCali上给出了一个报告[5]，报告中介绍了Java反序列化漏洞可以利用Apache Commons Collections这个常用的Java库来实现任意代码执行，当时并没有引起太大的关注，但是在博主看来，这是2015年最被低估的漏洞。确实，Apache Commons Collections这样的基础库非常多的Java应用都在用，一旦编程人员误用了反序列化这一机制，使得用户输入可以直接被反序列化，就能导致任意代码执行，这是一个极其严重的问题，博客中提到的WebLogic等存在此问题的应用可能只是冰山一角。虽然从@gebl和@frohoff的报告到现在已经过去了将近一年，但是@breenmachine的博客中提到的厂商也依然没有修复，而且国内的技术人员对这个问题的关注依然较少。为了帮助大家更好的理解它 ...继续阅读 (117)

@PathVariable和@RequestParam的区别请求路径上有个id的变量值，可以通过@PathVariable来获取 @RequestMapping(value = "/page/{id}", method = RequestMethod.GET)@RequestParam用来获得静态的URL请求入参 spring注解时action里用到。简介：handler method 参数绑定常用的注解,我们根据他们处理的Request的不同内容部分分为四类：（主要讲解常用类型）A、处理requet uri部分（这里指uri template中variable，不含queryString部分）的注解： @PathVariable;请求路径上有个id的变量值，可以通过@PathVariable来获取 @RequestMapping(value = "/page/{id}", method = RequestMethod.GET)@RequestParam用来获得静态的URL请求入参 spring注解时action里用到。简介：handler method 参数绑定常用的注解,我们根据他们处理的Request的不同内容部分分为四类：（主要讲解常用类型）A、处理requet uri部分（这里指uri template中variable，不含queryString部 ...继续阅读 (15)

rcibRCIB(running codes in background js) is a node.js package for providing ability to run js codes in background or a way to extend node.js by C++ closures.RCIB relove cpu-bound tasks for node.js, it works as follow picture: you use it like this:rcib.postTask( path.join(__dirname, ‘./background.js’), 'globalFunction2’, JSON.stringify({a:100, b: 200}), function (err, value) { if(err) console.error(err) else console.log(value) })globalFunction2 is a CPU-intensive work in background js, it runs in other thread, when finished ,callback will run in main loop. ...继续阅读 (24)

集合类：个人感觉和数据结构有共通之处，都是对数据集合的整合，方便数据的管理和操作。可以使用集合来维护对象组，与数组(Array)不同，集合可以包含更高级的功能，如对包含对象的访问，搜索，排序。数组的大小是固定的，数组元素要事先声明元素类型，而集合元素类型是object；数组需要通过整数下标来访问数组元素，而集合并不需要，如队列和栈；数组可读可写但不能声明只读，而集合可以可以用ReadOnly方法声明只读。System.Collections命名空间包含接口和类，这些接口和类定义各种对象（如列表、队列、栈、哈希表和字典）的集合。 1.ArrayList（数组列表）ArrayList可以储存任何类型的元素，相当于List<Object>,其容量是可变的。常用的操作方法有：名称作用Add()向列表中添加一个元素Remove(a)移除列表中的一个值为a元素RemoveAt(int i)移除列表中索引值为i的元素Reverse()反转数组元素Sort()以从小到大的顺序排列数组元素Clone()复制一个数组1staticvoidMain(string[] args)2{3ArrayList a =newArrayList();4a.Add(100);//单个添加5foreach(intnumberinnewint[6] {6,3,7,4,3,8})6{7a.Add(nu ...继续阅读 (19)

百度测试部2015年10月份的面试题之——字符串处理，找出最长的子串。代码如下：privatestaticstringSelectNumberFromString(stringinput){stringresult ="";foreach(Match matchinRegex.Matches(input,@"\d+"))//不要在匹配字符串的开头和结尾加上"^"和"$"。{result= match.Value.Length > result.Length ?match.Value : result;}returnresult;}测试代码如下：staticvoidMain(string[] args){stringinput =Console.ReadLine();stringresult =SelectNumberFromString(input);Console.WriteLine(result);Console.ReadKey();}测试数据与结果：用C#写就是方便不少，但是感觉百度好像不喜欢微软技术，是吗？如果您有其他版本的解法，欢迎添加进来一起学习。有时间我会陆续解决其他的面试题，欢迎关注。本文链接：C#中的字符串处理——找出最长数字子串，转载请注明。 ...继续阅读 (12)

废话就不说了。这里记录三种使用pbn的方式:1、手动方式2、动态方式3、proto文件方式代码示例是编译不过的，主要是学习交流之用。1、手动方式核心类:ProtoContractAttributeProtoMemberAttributeProtoBuf.Serializer需要注意的地方：继承的表示法，需要在基类上使用 ProtoSub(typeof(SubClass), SubClassTag(int))类似XML那种标记子类的方式。 XMLInclude。所以这种使用方式有诸多不便。使用方式如代码:using UnityEngine; using UnityEditor; using System.Collections.Generic; using ProtoBuf; using System; using System.IO; using System.Xml.Serialization; namespace StaticUsageDemo { [ProtoContract] [Serializable] public class TestDataTable { [ProtoMember(1)] public TestData[] Data = new TestData[0]; } ...继续阅读 (49)

这是一个最简单的co函数，里面ret.value(next) 为最重要的一句，但就是这很疑惑~generator函数，next()后会返回 Object {value: 值, done: false或true}而在co函数中，ret.value(next)这样把value当成函数传参调用，这是怎么理解呢？ ...继续阅读 (34)

MongoDb 用 mapreduce 统计留存率(金庆的专栏)留存的定义采用的是新增账号第X日：某日新增的账号中，在新增日后第X日有登录行为记为留存输出如下：（类同友盟的留存率显示）留存用户注册时间    新增用户  留存率                      1天后   2天后   3天后   4天后   5天后  6天后  7天后  14天后  30天后2015-09-17  2300      20.7 %  15.6 %  13 %    11.3 %  9.9 %               2015-09-18  2694  ...继续阅读 (139)

 在绑定完Action的所有参数后,WebAPI并不会马上执行该方法,而要对参数进行验证,以保证输入的合法性. ModelState在ApiController中一个ModelState属性用来获取参数验证结果. public abstract class ApiController : IHttpController, IDisposable{public ModelStateDictionary ModelState { get; }}   ApiContext的ModelState属性实际是对每个Action参数验证的结果集合. public class ModelStateDictionary : IDictionary<string, ModelState>, ICollection<KeyValuePair<string, ModelState>>, IEnumerable<KeyValuePair<string, ModelState>>, IEnumerable{public int Count { get; }public bool IsReadOnly { get; }public bool IsValid { get; }publi ...继续阅读 (18)