9月12日下午，一场关于智能汽车路线图的探讨在天津（泰达）国际汽车论坛展开。中国工业与信息化部产业政策司司长冯飞在论坛上表示：“智能汽车这个概念，自动驾驶是最高境界”。他预计，到2025年，自动驾驶的智能汽车会真正投放到市场。一些车企对自动驾驶有更高的预期。记者了解到，奔驰、大众、日产等多家汽车企业大都将2020年定为无人驾驶汽车正式推向市场的元年。但对于中国市场，日产（中国）投资有限公司副总经理三崎匡美表示，日产还没有明确全自动驾驶车辆进入中国的具体时间表，目前只是在探讨这种技术进入中国的可能性。他认为，中国的整个交通系统要进行大幅度的改变之后，才能适合自动驾驶汽车的大范围推广。无人驾驶或者自动驾驶技术主要依赖于高精度地图、雷达、车道保持系统、激光测距系统、红外摄像头、立体视觉、车轮角度编码器等7方面关键技术的发展。目前，互联网企业、汽车企业都希望能够建立起行业标准，作为未来通吃全自动驾驶的掌舵者。三个阶段“第二次工业革命的重点是汽车，新一轮的产业变革的也重点必将还是汽车。”接在接受记者采访时，冯飞表示，汽车的智能化，是生产制 造过程的智能化和产品的智能化，两者缺一不可。而自动驾驶作为产品智能化的最高表现，“恐怕是已经看得见的全球未来竞争的一个制高点，我们别无选择”。一辆汽车至少是由3万个零部件组装在一起，它需要大量的零部件供应商，产业链条非常复杂。因此，冯飞指出，虽然自动驾驶是 ...继续阅读 (34)

简介：我有幸在很早参与了一个大数据科学项目，我非常喜欢其中的工作，甚至我意识到我的努力可以增加一些公司的价值。然而，可悲的是，只有不到30%的数据科学项目最终实施了。我备受打击的意识到我的努力被浪费了。但是，我不是唯一的一个。几乎，每一个分析家都有同样失望的感觉。36大数据专稿，原文作者：Tavish Srivastava 本文由36大数据翻译组-望天翻译，任何不标明译者和出处以及本文链接http://www.36dsj.com/archives/37512 的均为侵权。即使在今天，数据科学行业面临的真正挑战是企业和分析人员之间缺乏协调。令我惊讶的是，我甚至注意到，这些人更喜欢坐在同一个办公室里坐在一起。如果这两种技能的专业人士很普遍，我们就可以看到一个实施可能性更高的项目。在过去的四年里，我花了很多时间思考使一个项目成功的最佳实践。我发现，如果有个对症的人坐在你的办公室，他能明确定义业务问题，并且诱导你突破思维定式，你将突破管窥限制。因此，你在数据科学/分析工作中正在取得成功时，我建议你遵循下面提到的提示。这些都是尝试和测试的总结。为了获得最大的利益，我建议你遵守。我从他们身上已经受益。现在轮到你了！以下是优先顺序在你开始解决问题之前请先掌握业务我知道你是一个数据分析师，所有你关心的都是数字。但是，一个令人敬畏的业务分析师和一般数据分析师有哪些不同呢？那就是他们对业务理解的潜质。 ...继续阅读 (24)

vBulletin 是一个商用的论坛程序套件，在全球拥有数万用户且增长速度很快。该论坛采用PHP Web语言及MySQL数据库。正是由于其用户较多，其漏洞出现频率较高，在绿盟科技漏洞库（NSVD）中共有49条记录，大部分是SQL注入漏洞。此次漏洞等级较高，为远程代码执行漏洞（RCE），理论上说攻击者可执行任意代码，甚至完全控制论坛 。可能的影响该论坛程序在国外使用较多，国内使用较少，在绿盟科技广谱平台Seer系统中仅有50多条记录；此次漏洞的PoC已经开始在网络流传，已有国外媒体报道vBulletin官网479895用户信息遭到泄露；该论坛并没有中文版本，国内流行较多的中文版本及破解版本，这些版本可能存在漏洞修复的问题；受此影响的版本包括5.1.4~5.1.9vBulletin在其ajax接口使用了反序列化函数unserialize。导致存在漏洞，可以覆盖其上下文中使用的类的类变量，导致可以产生各类问题。0X01 漏洞分析1，漏洞本质问题hook.php文件的vB_Api_Hook类的decodeArguments方法，传入的值会被进行反序列化操作。并且攻击者还可以控制传入的$arguments的值，因此漏洞的全部演出从这里开始。public function decodeArguments($arguments) { =》if ($args = @unserialize($arg ...继续阅读 (107)

作为国内第三大车展，广州国际车展已经走过了第 13 个年头。为汽车厂商提供交流、集中展示机会的广州车展见证了汽车业从快速发展到如今面临剧变的变迁。虽然并不像北京、上海车展有那么多重要的活动和新车型，广州车展依旧是中国最值得关注的车展之一。（优酷视频）规模依旧庞大，逛足一天不在话下跟往年一样，这一次的广州车展依旧是广州市最大规模的展会之一，动用了琶洲会展中心 A 区和 B 区两个大展馆。跟公众日相比，媒体日最大的看点是各个厂商的新车发布会。虽然汽车是发布会的主角，但似乎大多数苦等发布会的记者更希望能够一睹代言明星的风采，范冰冰、李晨、吴彦祖、邓紫棋都是当天发布会的嘉宾。（在雷诺发布会上围观拍摄范冰冰的观众）除了兰博基尼、玛莎拉蒂等少部分豪华车厂商不允许未受邀请的记者进入展台以外，我能够近距离观看、试乘各类汽车，并与经销商、汽车厂商管理者交流，这也是媒体日的最大福利之一。法拉利在 488 Spider 发布会结束后开放了展台以及所有参展车型，媒体日的参展观众可以试乘体验。（长安汽车总裁朱华荣（右一）参观长安马自达展台）论细节，特斯拉还得拜师老牌车厂奔驰在这一次车展上发布了 G63 AMG 463 特别版、CLA 200 运动版、新款 AMG A45 4MATIC、Smart Forfour 以及两款插电混合动力车型 S500 eL 和 C350 eL。运动、环保、年轻是奔驰在这一次车展 ...继续阅读 (44)

作为国内第三大车展，广州国际车展已经走过了第 13 个年头。为汽车厂商提供交流、集中展示机会的广州车展见证了汽车业从快速发展到如今面临剧变的变迁。虽然并不像北京、上海车展有那么多重要的活动和新车型，广州车展依旧是中国最值得关注的车展之一。规模依旧庞大，逛足一天不在话下跟往年一样，这一次的广州车展依旧是广州市最大规模的展会之一，动用了琶洲会展中心 A 区和 B 区两个大展馆。跟公众日相比，媒体日最大的看点是各个厂商的新车发布会。虽然汽车是发布会的主角，但似乎大多数苦等发布会的记者更希望能够一睹代言明星的风采，范冰冰、李晨、吴彦祖、邓紫棋都是当天发布会的嘉宾。（在雷诺发布会上围观拍摄范冰冰的观众）除了兰博基尼、玛莎拉蒂等少部分豪华车厂商不允许未受邀请的记者进入展台以外，我能够近距离观看、试乘各类汽车，并与经销商、汽车厂商管理者交流，这也是媒体日的最大福利之一。法拉利在 488 Spider 发布会结束后开放了展台以及所有参展车型，媒体日的参展观众可以试乘体验。（长安汽车总裁朱华荣（右一）参观长安马自达展台）论细节，特斯拉还得拜师老牌车厂奔驰在这一次车展上发布了 G63 AMG 463 特别版、CLA 200 运动版、新款 AMG A45 4MATIC、Smart Forfour 以及两款插电混合动力车型 S500 eL 和 C350 eL。运动、环保、年轻是奔驰在这一次车展上突出的三种 ...继续阅读 (21)

以下内容来自T11峰会-跨界融合分会场TalkingData 首席金融行业专家 鲍忠铁的演讲，演讲主题为《18亿数据解读移动互联网》。鲍忠铁先生目前已在36大数据开通专栏，地址见>>>鲍忠铁：大家下午好！今天我会讲三个议题，一是用18亿数据解读现在移动互联网的生态圈。二是看看数据有什么样的应用。三是大数据的隐私保护问题。我们的数据提及了三次，我们移动互联网的设备是12.4亿，去年年底的时候是10.6亿，半年的时间增加1.8亿。参考中国人口的比例，15-60岁移动互联网分布用户中9亿，跟后台拿到的所有移动互联网的手机设备数字很相近，大概9亿。平均下来，从中国移动互联网中心拿到的数据，智能手机用户为6.75亿，平均每个人1.35部，每年新增3亿，每天会增加80万智能手机设备，这是多大的量。每个移动设备生命周期只有2年，所有从事智能手机的行业企业，未来的发展空间还很大，因为一年有3亿设备的增加规模。刚才提到，80年以前出生的人是6个亿，未来就是中国移动互联网的主要用户。再看几个数字，移动互联网占有率品牌最多的是苹果，其次三星、小米、华为，比上次统计的64.3%是下降，苹果在下降，三星是在增长。小米今年能卖到8000万，华为品牌也在增长。Apple Watch，说明苹果的神话已经不在了。上市三个月的统计，第一个月销量42万，接下来的三个月只卖64万，并且趋势还在下滑。我们 ...继续阅读 (66)

一、数据挖掘技术的基本概念随着计算机技术的发展，各行各业都开始采用计算机及相应的信息技术进行管理和运营，这使得企业生成、收集、存贮和处理数据的能力大大提高，数据量与日俱增。企业数据实际上是企业的经验积累，当其积累到一定程度时，必然会反映出规律性的东西；对企业来，堆积如山的数据无异于一个巨大的宝库。在这样的背景下，人们迫切需要新一代的计算技术和工具来开采数据库中蕴藏的宝藏，使其成为有用的知识，指导企业的技术决策和经营决策，使企业在竞争中立于不败之地。另一方面，近十余年来，计算机和信息技术也有了长足的进展，产生了许多新概念和新技术，如更高性能的计算机和操作系统、因特网(intemet)、数据仓库(datawarehouse)、神经网络等等。在市场需求和技术基础这两个因素都具备的环境下，数据挖掘技术或称KDD(KnowledgeDiscovery in Databases；数据库知识发现)的概念和技术就应运而生了。数据挖掘(Data Mining)旨在从大量的、不完全的、有噪声的、模糊的、随机的数据中, 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。还有很多和这一术语相近似的术语,如从数据库中发现知识(KDD)、数据分析、数据融合(Data Fusion)以及决策支持等。二 、数据挖掘的基本任务数据挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。1 ...继续阅读 (75)

写在前面几个月前，团队邀我做次内部的分享，主题是如何有效搜索信息。这是因为平时工作中，我经常会分享一些专业学习文档，而这些文档的出现往往很及时，回应一些我们自己项目的困惑，所以大家会好奇我如何及时找得到那么专业且对口的参考资料。这些资料有些来自网络搜索，有些却是来自我的“个人资料库”，它分门别类，容易检索，所以很轻易就能够翻出来示人。所以后来，这次分享便从“搜索术”，扩大为如何获取、整理各种信息的技能。这原来我认为是常识的东西，却在简单分享后得到好评。受到鼓励之余，我也明白了并不是所有人都明白有效的信息搜集及整理有多么重要，也并不是所有人，都掌握了行之有效的方法和技巧。故整理成文，做抛砖引玉之用。一.信息搜集及整理循环图 如上图1所示，我认为“信息搜集及整理术”会包含三个关键阶段：搜索：“找信息”——用各种搜索渠道快速找到所需的精准信息。集成：“存信息”——简单来说，就是把你找到的信息，定制成为个人资料库，按照自定义的主题，分类存储在自己很方便访问的地方。整理：“理信息”——信息单纯集成而不加整理，时间长了就会杂乱不堪，所以才会出现很多人自己的硬盘资料库已经塞满了，每当需要什么资料的时候，还是需要去搜索。定期对所集成的信息进行整理(归类，去重，留精，加可供搜索的标签等等)，能够显著提升信息搜索效率。最初你需要一定的动力去尝试开始做这件事情，而一旦兴趣产生，再加以坚持， 这 ...继续阅读 (40)

1. 微信支付将向境外商户全面开放。微信支付团队宣布，将向境外商户全面开放微信支付能力。微信跨境支付的核心功能是实现 “人民币收款，向境外商家结算外币”。全面开放后，微信用户跨境购物无需再兑换外币，只要结账时让收银员扫描微信钱包中的二维码，输入密码即可用人民币支付，系统将自动用外币与境外商家结算。支持英镑、港币、美元、日元、加拿大元、澳大利亚元、欧元、新西兰元和韩元 9 个币种的交易。2. 苹果系统不安全，Google 杀毒软件开始支持 Mac。Google 旗下在线文件扫描工具 VirusTotal 将提供新服务，在沙箱内扫描用户上传的可疑 Mac 应用，从而获得更多信息，优化对 Mac 恶意软件的探测和分析。通过 VirusTotal，用户可以上传可疑文件，并使用 54 种反病毒工具进行扫描。3. 双十一后退货收件增加 4-5 倍。然而随着双十一宝贝的到货，不少人开启了 “退货模式”，退货理由五花八门。值得一提的是，这是新修订的《消费者权益保护法》颁布后的第一个 “双十一”。有了 “七天无理由退货” 等消费者保护法新条款 “护航”，让不少一时冲动血拼的市民们有了 “后悔” 的权利。4. 欧盟拟强化比特币管理，切断恐怖分子资金链。在上周的巴黎恐怖袭击事件发生后，一个匿名为 GhostSec 的黑客组织入侵了 ISIS 的网络，并发现 ISIS 使用比特币融资的证据。该黑客组织称， ...继续阅读 (41)

前言最近读到一篇老外的文章《Visualizing Algorithms》，表示被里面各种算法炫酷的展示亮瞎了眼，一时冲动决定要将这篇文章翻译成中文，但是由于原文较长而且很文艺（我会告诉你们是我的英语太渣了么-_-），我打算以解读的形式来展示原文而并非翻译，如果感兴趣可以直接看原版。最后我会整合其他一些算法可视化的素材。好了，闲话不多说，Let’s begin~本文译者为Resume，原文地址>>>采样首先我们来欣赏一下梵高同学的名画《星空》的一部分关于光是怎样在人的视网膜上成像涉及到物理和生物的一些知识，这里我们不作讨论。但是其中有很重要的一个过程就是人眼把连续的光信号变成了离散的信号，并将其反馈给大脑。这个过程就称为采样。采样在计算机图形学中扮演着非常重要的角色。即使是简单的调整图像大小也要用到采样。因此如何进行采样就显得十分重要，一方面要保证采样点要均匀分布，另一方面要避免采样点重复或产生规律（否则会产生混叠）。人的视网膜在采样上做的非常出色，看下面这张视网膜在显微镜下的图，图中的较大的视锥细胞探测颜色，较小的视杆细胞对弱光较为敏感。这些细胞稠密且均匀的分布在视网膜上，而且它们之间的相对位置是无规律的。我们称之为泊松圆盘分布，因为任意细胞间的最小距离总是一定的。但是构造一个泊松圆盘分布并不容易，我们先来看看米切尔最佳候选算法(Mitchell’s best- ...继续阅读 (66)

对数据价值和变现形式的探索，在广告行业已进行了十几年，目前形成了比较完善的数据交易与定价机制，并且在规模化地创造整个互联网的营收。今年，国内就有 两家大数据交易所（贵阳大数据交易所和长江大数据交易所）正式挂牌运营。因此，详细了解广告行业的数据变现方案及其在整个商业化机制…对数据价值和变现形式的探索，在广告行业已进行了十几年，目前形成了比较完善的数据交易与定价机制，并且在规模化地创造整个互联网的营收。今年，国内就有 两家大数据交易所（贵阳大数据交易所和长江大数据交易所）正式挂牌运营。因此，详细了解广告行业的数据变现方案及其在整个商业化机制方面的经验与教训，对 真正理解数据价值，做好数据交易将会非常有帮助。为此，在七牛主办的D-Future大会上，360高级总监刘鹏（北冥乘海生）分享了自己在这一领域的观察和思考，并明确指出数据交易中所存在的定价和隐私问题。那么，如今互联网上的用户行为数据到底有没有价值，数据到底该如何变现呢？这个问题将从什么是大数据谈起。相关阅读：360 刘鹏：数据如何变现、定价什么是大数据？刘鹏对大数据的认识和其他人不一样。从实践的角度去理解，他并不认为传统的数据分析问题属于大数据问题。例如，虽然统计公司在每个省的用户比例等问题 要处理大量日志，但这并不是大数据，而是属于传统数据分析的问题，因为通过很低的采样（如十万分之一的采样），将数据抽出来，用Exce ...继续阅读 (33)

1. 微信支付将向境外商户全面开放。微信支付团队宣布，将向境外商户全面开放微信支付能力。微信跨境支付的核心功能是实现 “人民币收款，向境外商家结算外币”。全面开放后，微信用户跨境购物无需再兑换外币，只要结账时让收银员扫描微信钱包中的二维码，输入密码即可用人民币支付，系统将自动用外币与境外商家结算。支持英镑、港币、美元、日元、加拿大元、澳大利亚元、欧元、新西兰元和韩元 9 个币种的交易。2. 苹果系统不安全，Google 杀毒软件开始支持 Mac。Google 旗下在线文件扫描工具 VirusTotal 将提供新服务，在沙箱内扫描用户上传的可疑 Mac 应用，从而获得更多信息，优化对 Mac 恶意软件的探测和分析。通过 VirusTotal，用户可以上传可疑文件，并使用 54 种反病毒工具进行扫描。3. 双十一后退货收件增加 4-5 倍。然而随着双十一宝贝的到货，不少人开启了 “退货模式”，退货理由五花八门。值得一提的是，这是新修订的《消费者权益保护法》颁布后的第一个 “双十一”。有了 “七天无理由退货” 等消费者保护法新条款 “护航”，让不少一时冲动血拼的市民们有了 “后悔” 的权利。4. 欧盟拟强化比特币管理，切断恐怖分子资金链。在上周的巴黎恐怖袭击事件发生后，一个匿名为 GhostSec 的黑客组织入侵了 ISIS 的网络，并发现 ISIS 使用比特币融资的证据。该黑客组织称， ...继续阅读 (50)

医疗大数据的基本概念搭上“互联网+”东风的医疗，要走上发展快车道，离不开“大数据”这把金钥匙。如果我们把“互联网+”医疗比作一幢高楼大厦，那么，“大数据”就是这幢大厦的地基，万丈高楼平地起，没有坚固的地基，空中楼阁难触及；甚至，“大数据”还可以说是这幢大厦的砖瓦，没有充足的砖瓦，海市蜃楼不长久。一个小小的比方，让大数据的重要性不言而喻。这让我们在探究“互联网+”医疗之前，不得不先去认识一下如此风靡的“大数据”。大数据的前世今生回顾历史，“大数据”这个时髦的词汇，在物理学、生物学、环境生态学等领域，以及军事、金融、通讯等行业存在已有时日。但是真正引起人们高度关注的，还是因为近年来互联网和信息行业的迅速发展所致。且让我们来看看“大数据”在互联网行业的表现。首先，它源于互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于人们将不能再用G或T来衡量，所以，大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。那么，大数据到底有多大？一组名为“互联网上一天”的数据告诉我们：一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……截止到20 ...继续阅读 (53)

本文会包含几块内容：1. 什么是流程图？流程图和其他图表（如线框图，概念图，架构图，用例图）有什么不同？2. 为什么需要流程图？3. 流程图的分类？4. 如何绘制流程图？5. 流程图绘制工具视篇幅情况，会在行文时略加划分为系列，敬请关注并多多交流。干货教程：如何绘制业务流程图(二)第一部分：什么是流程图？1. 定义了解一个事情，我习惯从它的定义开始。我们因为厌恶十年教育，厌恶背各种定理和定义，所以我发现生活中和工作中很多人都很讨厌给一个事情下定义以及去参考定义。所以你会发现很多人在一起争吵得不可开交，仔细去听，原来是鸡同鸭讲，根本不在一个频道上。对于一个事情的描述，没有一个共同的语言，没有所谓的术语。有定义很好办，你们共同引用一个定义，发现定义有问题，OK，去补充这个定义，并扩展到更多的人群。当然，任何事情过犹不及，我们相互提醒吧。那什么是流程图呢？说文解字是一种了解定义的好方法。流程图=流程+图，如下图：图2：流程图的定义流程：Flow,是指特定主体为了满足特定需求而进行的有特定逻辑关系的一系列操作过程，流程是自然而然就存在的。但是它可以不规范，可以不固定，可以充满问题。所以就会造成看似没有流程。前不久，团队每个人对接一个业务团队去调研流程，反馈给我的流程有一些缺失。询问时，负责人反馈给我的答复是：这一块业务他们没有流程。其实严格意义上讲，业务已经开展，不可能没有流程，只是说没有 ...继续阅读 (99)

【原题】A Few Useful Things to Know About Machine Learning【译题】机器学习的那些事【作者】Pedro Domingos【译者】刘知远【说明】译文载于《中国计算机学会通讯》 第 8 卷 第 11 期 2012 年 11 月 ，本文译自Communications of the ACM 2012年第10期的“A Few Useful Things to Know About Machine Learning”一文。机器学习系统自动地从数据中学习程序。与手工编程相比，这非常吸引人。在过去的20年中，机器学习已经迅速地在计算机科学等领域普及。机器学习被用于网络搜索、垃圾邮件过滤、推荐系统、广告投放、信用评价、欺诈检测、股票交易和药物设计等应用。麦肯锡全球研究院（the McKinsey Global Institute）最近一份报告指出，机器学习（又称数据挖掘或者预测分析）将驱动下一轮创新【15】。现在已经有几本优秀的机器学习教材书可以供感兴趣的研究者和实践者使用（例如米切尔（Mitchell）和维滕（Witten）等人的教材【16,24】）。但是，成功使用机器学习所应掌握的大量“民间知识”并没有出现在这些教材中。因此，很多机器学习项目浪费了大量时间，甚深入了解所需的“民间知识”可推进机器学习的应用。至最终也没有得到理想的结果。其实这些“民 ...继续阅读 (91)

译者|穆文杰（ChrisMu，邮箱821367986@qq.com，本文由ChrisMu翻译向36大数据投稿，并经由36大数据编辑发布，转载必须获得作者及本站的同意。）原文作者Ahmed El Deeb。一、小数据来自哪里？科技公司的数据科学、关联性分析以及机器学习等方面的活动大多围绕着”大数据”，这些大型数据集包含文档、 用户、 文件、 查询、 歌曲、 图片等信息，规模数以千计，数十万、 数百万、 甚至数十亿。过去十年里，处理这类型数据集的基础设施、 工具和算法发展得非常迅速，并且得到了不断改善。大多数数据科学家和机器学习从业人员就是在这样的情况下积累了经验，逐渐习惯于那些用着顺手的算法，而且在那些常见的需要权衡的问题上面拥有良好的直觉（经常需要权衡的问题包括：偏差和方差，灵活性和稳定性，手工特性提取和特征学习等等)。但小的数据集仍然时不时的出现，而且伴随的问题往往难以处理，需要一组不同的算法和不同的技能。小数据集出现在以下几种情况:企业解决方案:当您尝试为一个人员数量相对有限的企业提供解决方案，而不是为成千上万的用户提供单一的解决方案。时间序列:时间供不应求!尤其是和用户、查询指令、会话、文件等相比较。这显然取决于时间单位或采样率，但是想每次都能有效地增加采样率没那么容易，比如你得到的标定数据是日期的话，那么你每天只有一个数据点。关于以下样本的聚类模型： ...继续阅读 (63)

摘要： 深度学习可以完成需要高度抽象特征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。训练深层模型是长期以来的难题，近年来以层次化、逐层初始化为代表的一系列方法的提出给训练深层模型带来了希望，并在多个应用领域获得了成功。深层模型的并行化框架和训练加速方法是深度学习走向实用的重要基石，已有多个针对不同深度模型的开源实现，Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架。深度学习是目前最接近人脑的智能学习方法，深度学习引爆的这场革命，将人工智能带上了一个新的台阶，将对一大批产品和服务产生深远影响。深度学习系列：深度学习在腾讯的平台化和应用实践（一）深度学习系列：Mariana DNN多GPU数据并行框架 微信语音是怎么来的？（二）深度学习系列：Mariana CNN并行框架与图像识别（三）深度学习系列：解密最接近人脑的智能学习机器——深度学习及并行化实现（四）一、深度学习的革命人工智能(Artificial Intelligence)，试图理解智能的实质，并制造出能以人类智能相似的方式做出反应的智能机器。如果说机器是人类手的延伸、交通工具是人类腿的延伸，那么人工智能就是人类大脑的延伸，甚至可以帮助人类自我进化，超越自我。人工智能也是计算机领域最前沿 ...继续阅读 (124)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设接上篇：http://www.36dsj.com/archives/6387第二部分:数据集成请让我首先解释 一下“数据集成”是什么意思，还有为什么我觉得它很重要，之后我们再来看看它和日志有什么关系。数据集成就是将数据组织起来，使得在与其有关的服务和系统中可以访问它们。“数据集成”（data integration）这个短语应该不止这么简单，但是我找不到一个更好的解释。而更常见的术语 ETL 通常只是覆盖了数据集成的一个有限子集(译注：ETL，Extraction-Transformation-Loading的缩写，即数据提取、转换和加载)——相对于关系型数据仓库。但我描述的东西很大程度上可以理解为，将ETL推广至实时系统和处理流程。你一定不会听到数据集成就兴趣盎然屏住呼吸，并且天花乱坠的想到关于大数据的概念，不过，我相信世俗的问 ...继续阅读 (142)

文|王峰微店是全球领先的移动电商网络，创造了一个便利的手机购物环境，目前有超过3000万的店主使用微店销售商品。微店大数据架构师王锋，将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。“人类正从IT时代走向DT时代”，2014年三月在北京举行的一场大数据产业推介会上，阿里巴巴集团创始人马云在主题演讲中发表了他的这一观点。这个观念提法很快就被广泛传播开来，并被人们所接受。这里笔者不准备大谈DT时代，但是相信DT时代一定是以数据处理为核心的，因此大数据技术在这里有至关重要的地位，很有幸笔者及各位看官正在这个领域努力。曾看到一篇文章，里面有个观点，“DT时代的骨骼——大数据处理平台”，反映了大数据处理平台在互联网或者移动互联网公司的重要性。大数据处理平台其实包含了整个大数据处理过程，它承载了从数据采集、传输、存储、分析挖掘（离线 OR、实时 OR、即席查询）、可视化、价值体现的整体流程。这些在大的互联网公司，尤其以BAT为首，已经逐步成熟，而且价值体现不断放大。而在初创公司或者具有一定规模的创业公司，大数据处理平台的基础设施或开始搭建，或处于较初始的状态，或者在逐步规范中。可能有人会有另外的想法：我们公司规模没有那么大，有必要整这么一套么？是的，如果数据量很小，每天新增数据（比如应用日志）都是MB级别，或者GB级别，而以后也不会有爆发式增长，也没必要太折腾。无 ...继续阅读 (67)

做产品和投资、开发IP（知识产权）是明星围绕互联网创业的3个方向“成功的产品一定是慢慢地去个人化……没有我这个标签大家依然认可这个品牌”“今天还是别化妆了。”8月的一个下午，在预定的拍摄地点，汪峰伸手拦住了打算给他上妆的化妆师，“这次想给大家一个商人的形象，化妆也许不太适合。”镜头前的汪峰，头戴鸭舌帽，标志性的黑框眼镜，黑色紧身T恤的下摆塞进休闲长裤，被大LOGO的加粗皮带箍住，脚踩运动鞋。这与传统身着剪裁合宜西服的中年成功商人的形象仍相去甚远。2015年3月，由汪峰担任董事长的峰范（北京）科技有限公司成立。7个月后的10月20日，峰范科技的首个产品FIIL耳机在北京751艺术区发布。其中，圈铁结合HiFi耳机FIIL Bestie售价人民币599元，头戴罩耳式降噪HiFi耳机FIIL售价1099元，无线头戴罩耳式降噪HiFi耳机FIILWireless售价1599元。明星跨界创业不是新鲜事，餐饮、服装、影视、地产等都是他们的掘金地。如今，“互联网＋”概念下的硬件创业风潮又将他们卷入其中。互联网创业服务平台36氪的研究院分析师王亚谦认为，未来明星做的产品会越来越广泛，甚至越来越产业化。“这一方面是因为做产品的准入门槛较低，另一方面也是因为这是传统的 ...继续阅读 (86)

[摘要]两款手表都提供了丰富的功能，但这些对我而言并没有太大的吸引力，体验期结束后，我选择不佩戴其中的任何一款。腾讯数码讯（编译：大禾）近来，各类智能手表纷纷涌现，让人应接不暇，而对于那些“罹患”选择恐惧症的人来说，要想挑选一款适合自己的产品恐怕要备受煎熬。日前，知名科技网站CNET刊载了一篇对手表持敬而远之态度的人所写就的文章，与广大读者就自己在这方面的体验进行了分享。以下是该文的主要内容：我本来就对手表不太感兴趣，尤其是手机出现之后。诺基亚3210在报时方面相当可靠，甚至都不需要特别调校，以至于让我曾经佩戴的卡西欧G-Shock彻底退休。此后，我就没有佩戴过任何手表，这一局面直到Pebble的第一款智能手表出现时才得以改变。就算我是一名Kickstarter的早期支持者，也仍然在大约一个月之后选择让Pebble手表长久地呆在了办公桌的抽屉里。我并非唯一对智能可穿戴产品不感兴趣的人。依据凯度的调查指出，在美国超过16周岁的人群中，仅有3%拥有智能手表。即便如此，我仍然对配备Watch OS 2的Apple Watch以及搭载Tizen的三星Gear S2产生了兴趣。我准备分别尝试一下这两款产品，看看能不能借此找出一些理由，让我们这些从来不想佩戴任何手表类产品的人改变主意。我仅在此与广大读者朋友分享一下我的个人观点。为了尽可能做出公平合理的比较，我选择将Apple Watch与iP ...继续阅读 (24)

    作者：张相於当当个性化推荐开发经理86年生人，人民大学本科硕士毕业，现任当当个性化推荐开发经理。从事推荐系统、机器学习系统等方面工作，并关注互联网金融、反欺诈、风险控制等机器学习技术的新应用。联系方式：zhangxiangyu@dangdang.com 下面是正文：当当个性化推荐开发经理张相於深度分享当当推荐团队的机器学习实践经验，侧重介绍一个小团队在构建系统时的一些实践，一些坑，以及如何从坑里爬出来。当当构建机器学习系统过程中踩过的坑主要包括：只见模型，不见系统；不重视可视化分析工具；过于依赖算法；关键流程和数据没有掌握在自己团队；团队不够“全栈”；巨型系统。工具方面，当当在探索阶段选择的是R和Python，大数据阶段则主要依靠Hadoop和Spark，目前集群是几百台的规模。在“全流程构建”的不断迭代中，当当还总结提取出的一套特征工程相关的工具——dmilch。先说一下我的初衷。机器学习系统现在多红多NB这件事情我已不必赘述。但是由于机器学习系统的特殊性，构建一个靠谱好用的系统却并不是件容易的事情。每当看到同行们精彩的分享时，我都会想到，这些复杂精妙的系统，是怎样构建起来的？构建过程是怎样的？这背后是否有一些坑？有一些经验？是否可以“偷”来借鉴？所以我希望做一个更侧重“面向过程”的分享，与大家分享一下我们在构建系统时的一 ...继续阅读 (76)

中午吃完饭，看到一个微博中别人转的央视新闻《别被改装充电宝盗取隐私》觉得又是啥高大上的东西上了央视，看完后才知道是数字公司的某研究员做的伪装充电宝盗取隐私的玩意。心里豁然开朗，原来这玩意也可以上央视啊!那么问题来了: 这玩意都应用到了哪些技术，并且那个防护神器又是怎么实现的?我们这些天天写脚本的能玩不?还是需要那些玩二进制的牛人帮忙才能完成呢?那么下面我给大家介绍一种方法，揭秘攻击者是如何低成本快速打造一个伪造的充电宝的，以及我们该如何防御。主要是IOS系统，至于Android的方法我想满大街都是吧这里就不说了，以后说不定会在博客中写下。至于用途吗不关你是进行物理社工还是什么的就自由发挥，本文所提技术并不局限于“充电宝” ，不费话了进入正题。原理分析首先，我们来分析下在不了解已有技术情况下假设要从零开始做起，我们是怎么分析和设计这个东西?我估计大多数人第一个想到的应该是iTunes , 苹果手机管理的配套软件，因为在它里面有个功能是备份数据用的，即使刷机后，只要恢复下数据那么所有的通讯录，短信，甚至上网信息等等都会被恢复回去，二进制牛如果看到了应该会说逆下iTunes分析下它通讯协议不就完事了。嗯，确实可以实现奈何我们脚本小子操起IDA跟看天书的应该差不多，不过这里有一点说的对，那就是通讯协议。如果我们能够模拟iTunes协议，告诉iPhone我需要给你备份数据，那么按照它的接受协 ...继续阅读 (40)

摘要：友盟大数据平台的架构借鉴了Lambda架构思想，数据接入层让Kafka集群承担，后面由Storm消费，存储在MongoDB里面，通过Kafka自带的Mirror功能同步，两个Kafka集群，可以分离负载；计算有离线和实时两部分，实时是Storm，离线是Hadoop，数据仓库用Hive，数据挖掘正在从Pig迁移到Spark，大量的数据通过计算之后，存储在HDFS上，最后存储在HBase里面，通过ES来提供多级索引，以弥补HBase二级索引的缺失……友盟从 2010 年成立开始就专注移动大数据， 5 年来不仅积累了大量的数据，而且积累了丰富的技术和经验，那么友盟的大数据平台是怎样架构的呢？在刚刚结束的MDCC 2015 大会上，友盟的数据平台负责人吴磊在 Android 专场为大家做了技术分享。以下是吴磊的口述，整理时略有删减。关于友盟大数据平台目前，友盟合作的 App 超过 64 万 ，同时为 23 万开发者团队提供服务，截止到2015年7月底，友盟数据平台总量 9 PB，每天增量压缩后有 7TB，每天要处理接近 82 亿的对话，实时处理 100K QPS，离线处理 800 多个常规任务，集群规模是 500 多台服务器， 14000 个 CPU 核心。关于友盟数据架构友盟架构思想友盟的架构主要参考了Twitter提出的Lambda架构思想。如上图所示，最 ...继续阅读 (65)

作者：@Heidixie阿里巴巴谢雨宏一. 一段经历，一点心得一直追我博客的人想必是清楚我之前做交互设计，然后去轮岗过行业运营，然后突然就开始做产品经理了。我也觉得奇怪的是，上次发了一个招聘启事后，来加我微信的同学们，既有做交互的，也有做产品经理的，甚至还有在IBM做了5年BI数据分析师的……这样看来，我的博客逐渐成了一个交叉学科。简单来说，也差不多如上图所示。当时是一个新业务开拓，仅仅4个月的轮岗（非正式的轮岗，当时就是老大给了各个部门体验其他团队工作的机会，但是组织架构可以在轮岗结束后再恢复原岗位），结果成了职业历程上的分水岭。为什么呢？行业运营除了日常的商家管理、活动策划以及选品外，当时的商业模式还需要我们介入整体的供应链管理。而虽然当时身处家居行业，供应链管理却是在不同行业之间有较大的共通性。所以后来又成立了一个横向的部门——供应链管理。于是从垂直行业里调出的部分同学加入这个横向部门。而供应链管理，离不开大量的数据分析工作，供应链整体效能如何？需要和BI部门通力合作，所以供应链管理部门合并到了BI部门。于是我就“随波逐流”地成了BI部门的一员——虽然我们并不做具体的数据分析，更多是向分析师提需求。再后来，供应链整体效能的数据统计和分析，是靠分析师们每天出手工报表和报告发送给各部门管理人员的。发了一段时间后，分析师苦不堪言，接收方也过于被动，当他在邮件里看到某个数据异常时，无 ...继续阅读 (47)

羊年春晚摇一摇活动已经落下帷幕，现在回过头来看看这一全民参与的有趣的活动背后，有着怎样的后台系统？这个系统又是如何被设计与实现出来的？作者：张文瑞 iotazhang  腾讯 WXG 技术架构部，本文提供PPT下载，下载请看末尾链接。1.   春晚摇一摇活动形式在了解这个系统之前，先看看羊年春晚有哪些活动形式？春晚摇一摇复用了摇一摇入口，但提供了全新的界面和交互内容。在羊年春晚摇一摇界面里，用户摇动手机后，可以看到明星拜年、全家福、好友贺卡等精彩纷呈的活动页；也会有温馨的“休息一下”，或让很多误以为中奖的“挂服务器”等特殊用途的页面。大家最期待的肯定是摇红包，摇中红包的幸运用户除了自己领到一份红包（种子红包）外，还可以领到若干份用于分享给其他好友的红包（分裂红包）。围绕这些活动，下面将会通过4个处于项目不同阶段的里程碑版本来介绍我们设计、实现这一系统过程中的一些思考和做法，特别是标题里提到的“有把握”是由何而来。2.   V0.1原型系统原型系统很简单，但已经基本实现了春晚摇一摇的需求。原型系统的架构见下图。相关的处理流程如下：用户摇动手机后，客户端产生摇一摇请求，请求发到接入服务后，会被转发到摇一摇服务；摇一摇服务会根据现场节目的流程，经过一系列的逻辑判断，给客户端返回一个结果：明星拜年、红包或者其他活动；假设是摇到了红包，由于红包都是企业赞助的，需要对企业形象进行展示，客户端会 ...继续阅读 (72)

董老师开讲了《大数据入门》2015.01.17 硅谷创业协会讲座笔记：同学们好，今天的讲座主题是大数据入门，我的大纲如下首先自我介绍一下，我叫董飞，目前在硅谷的一家做在线教育公司Coursera做数据工程师，之前本科南开大学毕业，加入创业公司酷迅，做实时信息检索，后来进入百度基础架构组，搭建了Baidu App Engine的早期版本，随后去杜克大学留学，攻读硕士期间，做跟Hadoop大数据相关的研究项目Starfish，之后在Amazon EC2部门实习，了解它们的内部架构，毕业后加入Linkedin，做广告组的架构，涉及Hadoop调优，Data Pipeline, 实时系统。在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网百度，阿里巴巴，奇虎，到美国一线公司Facebook，Google，Linkedin，Twitter，到热门Startup，Uber，Pinterest，Airbnb，Dropbox，Snapchat，拿到10+ offer，并且在Linkedin期间，也积极参与面试过近200人，代表校园招聘，成为全公司前三的面试官，参与面试题制定，乐于分享并帮助很多人成功求职，实现目标。在知乎上写完关于技术，求职的几个帖子，引起强烈反响，美国大数据工程师面试攻略有哪些？知乎日报 哪些硅谷创业公司能给拜访者留下深刻印象？Coursera上有哪些 ...继续阅读 (125)

全新的重装来袭，这次，它加入了一个能让你怦然心动的功能–心率检测，千呼万唤始出来，在可穿戴设备百家争鸣的今天，小米手环光感版又会给我们带来哪些不一样的光芒和体验！小米手环（光感版）使用中问题汇总一、小米手环（光感版）使用需求1、小米手环（光感版）的硬件及系统需求是什么？安卓设备要求：Android 4.4 及以上版本，并支持蓝牙4.0的安卓智能手机。苹果设备要求：iOS 7.0及以上版本的 iPhone 4s / 5 / 5c / 5s / 6 / 6 Plus。二、小米手环（光感版）充电问题1、小米手环（光感版）如何充电？通过包装盒内配件：小米手环（光感版）专用充电线为手环充电，（取下手环上的米粒，将两个带有镀金触点的那头塞进去，注意，面板朝上）。注意通过电脑USB接口或者电压为5V的手机充电器，电流1A、2A或者500mA都可以，手环本身对输入电流有做限制，不用担心对手环造成损害。2、小米手环（光感版）多长时间能充满电？充电时间大约需要2-3个小时，充满电手环三个白灯常亮。注意：3个白灯全亮的时候，证明电量已满，建议多充一会。3、小米手环（光感版）电池容量有多大呢？45mAh。4、我的手环（光感版）为什么耗电特别快？光感版手环中最大的耗电者是马达震动和心率测试；震动马达虽小，可它是手环里最大的耗电者之一；就像大屏触摸手机显示屏常亮一样，所以查找手环功能可以尽量少用。 ...继续阅读 (55)

58同城是中国本地生活服务应用的代表。从最新数据规模上看，58同城已经超过了美国的Graigslist成为该领域世界第一，拥有超过1.3亿的月独立用户和400多万的季度活跃本地商户,月度发布超过5600万条本地生活服务信息。更复杂的是，58同城覆盖了诸如招聘、二手、二手车、房产等几乎所有垂直生活服务领域，所以数据类型非常异构多样。本案例将介绍在这样一个海量异构的数据源上，如何构建一个满足全领域需求的个性化推荐引擎。PPT要点：推荐系统：发现用户偏好，给用户主动推荐符合其意图的信息好友推荐，商品推荐，网络日志推荐，视频推荐，App推荐，广告推荐Amazon, Facebook，Google, Netflix, Youtube, Apple…推荐引擎的历史：1992年推荐系统诞生。Collaborative Filtering算法诞生，推荐系统诞生；GroupLens Project应用CF到新闻过滤2003年Amazon商品推荐、CDNOW音乐专辑推荐使用Itembased CF；MovieLens电影2004年推荐个性化，Karypis引入个性化推荐系统并逐步发展2007年Google Personalized News推进个性化推荐技术影响力巨大进步2009年推荐技术多样化 Netflix Prize推荐大赛结束，推荐技术开始受到普遍关注，基于邻域的推荐算法得到较多改进；Matr ...继续阅读 (26)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设我在六年前的一个令人兴奋的时刻加入到LinkedIn公司。从那个时候开始我们就破解单一的、集中式数据库的限制，并且启动到特殊的分布式系统套件的转换。这是一件令人兴奋的事情：我们构建、部署，而且直到今天仍然在运行的分布式图形数据库、分布式搜索后端、Hadoop安装以及第一代和第二代键值数据存储。从这一切里我们体会到的最有益的事情是我们构建的许多东西的核心里都包含一个简单的理念：日志。有时候也称作预先写入日志或者提交日志或者事务日志，日志几乎在计算机产生的时候就存在，同时它还是许多分布式数据系统和实时应用结构的核心。不懂得日志，你就不可能完全懂得数据库，NoSQL存储，键值存储，复制，paxos,Hadoop,版本控制以及几乎所有的软件系统；然而大多数软件工程师对它们不是很熟悉。我愿意改变这种现状。在这篇博客文章里，我将带 ...继续阅读 (104)