Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件，基于Hadoop和Spark技术平台打造，加上8大创新的功能组件，有效的解决了企业级大数据数据处理和分析的各种技术难题，帮助企业快速的构建和推广数据业务。Transwarp Inceptor提供完整的SQL支持，支持主流的SQL模块化扩展，兼容通用开发框架和工具，支持事务特性保证数据的准确性，允许多租户的隔离与管理，能够利用内存或者SSD来加速数据的读取，支持与关系型数据库实时对接并做统计分析，辅以高性能的SQL执行引擎，从而能够给企业提供高性价比和高度可扩展的解决方案。SQL编译器 SQL 2003 Compiler企业级数据仓库、数据集市等应用大多基于SQL来开发，而Hadoop业界的产品大部分对SQL的兼容程序比较差，或者不支持SQL的模块化扩展，因而应用迁移的成本非常高，甚至是不具备可行性。为了降低应用迁移成本，Transwarp Inceptor开发了完整的SQL编译器，支持ANSI SQL 92和SQL 99标准, 并且支持ANSI SQL 2003 OLAP核心扩展，可以满足绝大部分现有的数据仓库业务对SQL的要求，方便应用平滑迁移。除了更好的SQL语义分析层以外，Inceptor包含强大的优化器保证SQL在引擎上有最佳的性能。Inceptor包含3级优化器：首先是基于规则的 ...继续阅读 (94)

比赛介绍参见安全脉搏《第七届HCTF杭电网络攻防大赛》，关注HCTF2014 Writeup安全脉搏CTF频道WEB题目404抓包,页面有个302跳转,http header里面有flag:hctf{w3lcome_t0_hc7f_f4f4f4} fuck ===if (isset($_GET['a']) and isset($_GET['b'])) { if ($_GET['a'] != $_GET['b']) if (md5($_GET['a']) === md5($_GET['b'])) die('Flag: '.$flag); else print 'Wrong.'; Wrong.利用php弱类型绕过的题,直接构造:http://120.26.93.115:18476/eff52083c4d43ad45cc8d6cd17ba13a1/index.php?a[]=aaa&b[]=bbb得到flag:hctf{dd0g_fjdks4r3wrkq7jl} injection根据官方的提示 xpath injection,到google搜了一堆payload,最后找了一个直接用了:http://120.26.93.115:24317/0311d4a262979e312e1d4d25565815 ...继续阅读 (316)

—— 对这个问题的思考来源于前几天对 Java Socket 编程的尝试，TCP 协议要求建立一个 Socket 连接（注明的三次握手）之后才能进行通信，而连接双方进行数据的发送与接受，都是通过对输入输出流的机制来完成的。流的概念流作为概念应该是语言无关的。文件IO流，Unix系统标准输入输出流，标准错误流(stdin, stdout, stderr)，还有一开始提到的 TCP 流，还有一些Web后台技术（如Nodejs）对HTTP请求/响应流的抽象，都可以见到流的概念。K&R 在 C Programming Language 书中提到流是这样定义的：流 (stream) 是与磁盘或其它外围设备关联的数据的源或目的地。可以把流理解成是对程序与外界交换数据的一种抽象，这里的外界限定是有必要的，通常不会把程序内部的数据流动抽象为流，毕竟在程序内部，数据流动是由函数调用、返回来完成的。而当我们使用三个标准IO流时，我们关心的是怎样通过它们与外界交互；当我们使用文件流时，我们关心的是将内存中的数据持久化到磁盘文件中（或从磁盘中读数据导内存）。于是数据从 A 处“流”向 B 处，可以类比像水流一样从高处流向低处。在水流动的过程中，作为最基本物理组成单位的水分子是不变的，相应的数据流也有它最小的组成单位。在不同的编程语言中，这个最小单位通常是字节流（二进制流）中的字节，或者字符流（文本 ...继续阅读 (26)

我使用multiparty解析前端上传的文件，然后使用request上传到文件服务器。form.on('part', function(part) { if (part.filename) { var formData = { name: part.filename, my_file: part }; request.post({ url: 'http://service.com/upload', formData: formData }, function optionalCallback(err, httpResponse, body) { if (err) { return console.error('upload failed:', err); } console.log('Upload successful! Server responded with:', body); ...继续阅读 (61)

【编者按】在之前文章中，我们介绍了Java 8和Scala的Lambda表达式对比。在本文，将进行 Hussachai Puripunpinyo Java 和 Scala 对比三部曲的第二部分，主要关注 Stream 和 Collection，本文由OneAPM工程师编译整理。首先，为大家做一个简短的介绍，collection 是有限的数据集，而 stream 是数据的序列集，可以是有限的或无限的。Streams API 是 Java 8 中新发布的 API，主要用于操作 collection 和 streaming 数据。Collections API 会改变数据集状态，而 Streams API 则不会。例如，当你调用Collections.sort(list)时，该方法会对传入的参数进行排序，而调用list.stream().sorted() 则会复制一份数据进行操作，保持原数据不变。你可以在这里获得更多关于 API 数据流的信息以下是笔者从 Java 8 文档中摘出的 collections 和 streams 之间的比较。强烈建议大家阅读完整版。Streams 和 collections 有以下几点区别：无存储。steam 不是存储数据元素的数据结构。而是通过计算操作管道从源头传输数据元素。2.本质是函数。对 Stream 对象操作能得到一个结果，但是不会修改原始数据。L ...继续阅读 (32)

电脑主机究竟可以有多小？年初 Intel 推出的 Compute Stick 把电脑主机放到了只比 U 盘稍大的体积内，并且它还预装了完整的 Windows 操作系统，随后，联想、宏碁等厂商也推出了这类的「电脑棒」产品。不过由于体积和性能的局限，这类产品往往无法流畅运行 Windows 操作系统。Intel Compute Stick （左）和华硕 Chromebit （右）近日，华硕也推出了一款「电脑棒」产品 Chromebit，不同的是，Chromebit 使用了 ARM 处理器，预装了Chrome OS 系统。比U盘大一点的电脑主机相比传统 PC 主机，华硕 Chromebit 显得非常娇小，它的三围只有 123 x 31 x 17mm，重量也只有 75g。Chromebit 的外壳材质为磨砂塑料，有黑色和橙色两种颜色可选。Chromebit 的设置过程非常简单，只需要把它插到电视机或者显示器的 HDMI 接口上，再连上电源线就可以了。需要注意的是，Chromebit 机身上没有任何实体按键，接通电源后就会立刻开机。在 HDMI 连接器的另外一侧有一个 USB 2.0 接口，这也是 Chromebit 上唯一的接口。如果你的显示器或电视机的 HDMI 接口在机身侧面，Chromebit 连接起来不会有丝毫问题，不过如果 HDMI 接口在机身后面的话，需要显示器或电视 ...继续阅读 (138)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设第三部分：日志和实时流处理到此为止，我只是描述从端到端数据复制的理想机制。但是在存储系统中搬运字节不是所要讲述内容的全部。最终我们发现日志是流的另一种说法，日志是流处理的核心。但是，等等，什么是流处理呢？如果你是90年代晚期或者21世纪初数据库文化或者数据基础架构产品的爱好者，那么你就可能会把流处理与建创SQL引擎或者创建“箱子和箭头”接口用于事件驱动的处理等联系起来。如果你关注开源数据库系统的大量出现，你就可能把流处理和一些开源数据库系统关联起来，这些系统包括了：Storm,Akka,S4和Samza.但是大部分人会把这些系统作为异步消息处理系统，这些系统与支持群集的远程过程调用层的应用没什么差别（而事实上在开源数据库系统领域某些方面确实如此）。这些视图都有一些局限性。流处理与SQL是无关的。它也局限于实时流处理。不存在内在的原 ...继续阅读 (114)

今天起，Google 移动端的搜索可以直接索引 app 里的内容，无需 app 主动匹配网页内容。此外，Google 还上线了一个名为“stream”的选项（功能），它可以在搜索结果中直接将一个 app 呈现给用户，即使用户没有在自己手机上安装这个 app。并且这个 app 不是 web app，而是运行在虚拟机上的原生 app。目前支持这个功能的 app 只有 9 个，包括 Hotel Tonight, Weather, Chimani app, Gormey, My Horoscope, Visual Anatomy Free, Useful Knots, Daily Horoscope 以及 New York Subway。“为了支持这个功能，我们和 Google 一起工作了好几个月。”Chimani 的 CEO Kerry Gallivan 说道。Chimani 是波特兰一家创立了 5 年的公司，专门为国家公园和其他室外旅游景点打造的 app。“Stream”的技术来自于 Google 2014 年收购的一间名为 Agawi 的初创企业。“app 运行在 Google 云平台的虚拟机上。Google app 代理端将用户的触摸交互发送到云端。云平台处理完用户的触摸交互后，渲染好 app 发回给代理端。”Google app 索引团队的负责人 Rajan Patel 说道。换 ...继续阅读 (15)

今天起，Google 移动端的搜索可以直接索引 app 里的内容，无需 app 主动匹配网页内容。此外，Google 还上线了一个名为“stream”的选项（功能），它可以在搜索结果中直接将一个 app 呈现给用户，即使用户没有在自己手机上安装这个 app。并且这个 app 不是 web app，而是运行在虚拟机上的原生 app。目前支持这个功能的 app 只有 9 个，包括 Hotel Tonight, Weather, Chimani app, Gormey, My Horoscope, Visual Anatomy Free, Useful Knots, Daily Horoscope 以及 New York Subway。“为了支持这个功能，我们和 Google 一起工作了好几个月。”Chimani 的 CEO Kerry Gallivan 说道。Chimani 是波特兰一家创立了 5 年的公司，专门为国家公园和其他室外旅游景点打造的 app。“Stream”的技术来自于 Google 2014 年收购的一间名为 Agawi 的初创企业。“app 运行在 Google 云平台的虚拟机上。Google app 代理端将用户的触摸交互发送到云端。云平台处理完用户的触摸交互后，渲染好 app 发回给代理端。”Google app 索引团队的负责人 Rajan Patel 说道。换 ...继续阅读 (10)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设接上篇：http://www.36dsj.com/archives/6387第二部分:数据集成请让我首先解释 一下“数据集成”是什么意思，还有为什么我觉得它很重要，之后我们再来看看它和日志有什么关系。数据集成就是将数据组织起来，使得在与其有关的服务和系统中可以访问它们。“数据集成”（data integration）这个短语应该不止这么简单，但是我找不到一个更好的解释。而更常见的术语 ETL 通常只是覆盖了数据集成的一个有限子集(译注：ETL，Extraction-Transformation-Loading的缩写，即数据提取、转换和加载)——相对于关系型数据仓库。但我描述的东西很大程度上可以理解为，将ETL推广至实时系统和处理流程。你一定不会听到数据集成就兴趣盎然屏住呼吸，并且天花乱坠的想到关于大数据的概念，不过，我相信世俗的问 ...继续阅读 (142)

When Google got started, Search meant sitting at your desktop and finding the best information on websites. Today, you’re more likely to be searching on your mobile device, and the best answers may be buried in an app … perhaps one that you don’t even have installed yet. Finding information in apps is still too hard. That’s why today, we’re sharing some new ways for you to get great content from apps — even without having to go through a download right away.We started indexing the content of appstwo years ago, so that when people search on Google, they can find the best results whether ...继续阅读 (16)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设第四部分：系统建设我们最后要讨论的是在线数据系统设计中日志的角色。在分布式数据库数据流中日志的角色和在大型组织机构数据完整中日志的角色是相似的。在这两个应用场景中，日志是对于数据源是可靠的，一致的和可恢复的。组织如果不是一个复杂的分布式数据系统呢，它究竟是什么？分类计价吗？如果换个角度，你可以看到把整个组织系统和数据流看做是单一的分布式数据系统。你可以把所有的子查询系统（诸如Redis, SOLR,Hive表等）看成是数据的特定索引。你可以把Storm或Samza一样的流处理系统看成是发展良好的触发器和视图具体化机制。我已经注意到，传统的数据库管理人员非常喜欢这样的视图，因为它最终解释了这些不同的数据系统到底是做什么用的–它们只是不同的索引类型而已。不可否认这类数据库系统现在大量的出现，但是事实上，这种复杂性一直都存在 ...继续阅读 (106)

这次抓取了110万的用户数据，数据分析结果如下：从结果可以看到，知乎的男女分布为61.7和38.3%，对于一个知识型、问答型的社区来说，已经很优秀了，女生再多一点的话，知乎差不多都可以做婚恋社区了，开个玩笑。对了，在爬了3000万QQ用户数据，挖出了花千骨赵丽颖的QQ号一文中，我们可以看到，除了没有填写姓名的用户外，QQ空间的男女比例为56%和23%。这个数据可以作为一个参考。且不论女性多少，但看男性用户，知乎只比QQ空间少了5%.从职业分布来看，知乎用户中，从事互联网行业的用户是最多的。传统行业从业者相对较少，这和知乎的定位也有很大的关系。北上广深仍然是用户人群最多的城市。值得注意的是，杭州用户比广州用户还多，这说明杭州的互联网行业发展迅猛，有阿里巴巴的缘故？看懂啦？还是技术宅比较多，尤其是程序员。结合男女比例来看，知乎做到这样的数据非常不易，从事互联网行业的人较多，而这群人里面，还有38.3%是妹子哦。对了，女性分布为什么是38.3的比例？三八……下面是技术正文：开发前的准备安装Linux系统（Ubuntu14.04），在VMWare虚拟机下安装一个Ubuntu；安装PHP5.6或以上版本；安装curl、pcntl扩展。使用PHP的curl扩展抓取页面数据PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。本程序是抓取知乎的用户数据，要能访 ...继续阅读 (82)

最近10年，没有一个技术名词能像大数据一样深入社会每个阶层，获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉，以至于2013年后，真正从事大数据行业的人尽量避免提及这三个字。本文无意对大数据概念做任何修正，评判，或专家论调。只是一些事实，和来自20年数据分析从业经验的一些感想。1 辉煌的十年大数据浪潮来自三股力量推动：技术社区，市场，学术圈。2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”，明确提出 MapReduce。值得注意的是，Google 并没有发明什么，’分布执行-中央汇总’ 是最朴素古老的并行思想，Google 这篇文章价值在于，把这种并行思想流程化、规范化了，并提出了可能的实现架构。市场迅速对此作出反应，很多软件实现涌现出来，其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。2008年前后以安卓手机为代表的智能设备开始普及，信息采集成本前所未有得低，物联网，大数据变现前景变得乐观。众包思想，自媒体概念深入人心。2010年，无人驾驶汽车开始测试，2012年3月到2013年12月，美国先后有四个州通过了自动驾驶汽车可上路测试的法律。2011年，IBM ...继续阅读 (39)

文|叶蓬 这篇文章原载于内刊，现发布于此。内容有所删减基于大数据分析的安全管理平台技术研究及应用Research and Application of Big Data Analysis Based Security Management PlatformLast Modified By yepeng @ 2014-1-14【内容摘要】本文首先通过介绍大数据的起因，给出了大数据的定义和特征描述，并简要说明了当前大数据的研究概况。接下来，本文阐释了大数据分析技术，对大数据在信息安全领域尤其是安全管理平台领域的应用做了深入分析，并给出了基于大数据安全分析技术的安全管理平台的基本特征。最后，针对一个基于大数据安全分析技术的新一代安全管理平台从5V角度进行了深入介绍，并强调了安全分析师的关键作用。无所不在的大数据毫无疑问，我们已经进入了大数据（Big Data）时代。人类的生产生活每天都在产生大量的数据，并且产生的速度越来越快。根据IDC和EMC的联合调查，到2020年全球数据总量将达到40ZB。什么是大数据？大数据早就存在，只是一直没有足够的基础实施和技术来对这些数据进行有价值的挖据。随着存储成本的不断下降、以及分析技术的不断进步，尤其是云计算的出现，不少公司已经发现了大数据的巨大价值：它们能揭示其他手段所看不到的新变化趋势，包括需求、供给和顾客习惯等等。比如，银行可以以此对自己的客户有 ...继续阅读 (33)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设我在六年前的一个令人兴奋的时刻加入到LinkedIn公司。从那个时候开始我们就破解单一的、集中式数据库的限制，并且启动到特殊的分布式系统套件的转换。这是一件令人兴奋的事情：我们构建、部署，而且直到今天仍然在运行的分布式图形数据库、分布式搜索后端、Hadoop安装以及第一代和第二代键值数据存储。从这一切里我们体会到的最有益的事情是我们构建的许多东西的核心里都包含一个简单的理念：日志。有时候也称作预先写入日志或者提交日志或者事务日志，日志几乎在计算机产生的时候就存在，同时它还是许多分布式数据系统和实时应用结构的核心。不懂得日志，你就不可能完全懂得数据库，NoSQL存储，键值存储，复制，paxos,Hadoop,版本控制以及几乎所有的软件系统；然而大多数软件工程师对它们不是很熟悉。我愿意改变这种现状。在这篇博客文章里，我将带 ...继续阅读 (104)

提到 Gulp，不得不说到的是较早的 JS 项目自动化构建工具——Grunt。前端开发过程中，特别是最近几年多了 CoffeeScript、Sass、Less 等一些预编译语言，很多代码每次写完需要手动到工作目录去编译才能执行。此外，项目预发布时候需要进行 js、css 文件合并、压缩、重命名等操作，实在是很繁琐。此前很多工程师使用的是 Makefile 构建项目，但是这要求需要一定Linux基础，而且编写配置文件会增大非常多工作量， Grunt 的出现，解放了前端工程师的双手=_=Grunt 通过 CLI 配合配置文件 gruntfile.js 去完成自动化构建任务，社区有非常多的 Grunt 插件，比如 concat（合并文件）、 uglify（js压缩），只需要在 gruntfile.js 中配置好路径等一些参数，运行以下命令就可以自动执行。grunt takeNameGulp是一款 The streaming build system（流式构建系统），如果说 Grunt 是基于 gruntfile.js 任务执行器，Gulp 就是基于 NodeJS 的文件流任务执行器，比起 Grunt 有如下特点使用方便通过代码优于配置的策略，Gulp 可以让简单的任务简单，复杂的任务更可管理。构建快速通过流式操作，减少频繁的 IO 操作，更快地构建项目。插件高质Gulp 有严格的插件指导 ...继续阅读 (33)

1 背景2015年11月6日，FoxGlove Security安全团队的@breenmachine 发布的一篇博客[3]中介绍了如何利用Java反序列化漏洞，来攻击最新版的WebLogic、WebSphere、JBoss、Jenkins、OpenNMS这些大名鼎鼎的Java应用，实现远程代码执行。然而事实上，博客作者并不是漏洞发现者。博客中提到，早在2015年的1月28号，Gabriel Lawrence (@gebl)和Chris Frohoff (@frohoff)在AppSecCali上给出了一个报告[5]，报告中介绍了Java反序列化漏洞可以利用Apache Commons Collections这个常用的Java库来实现任意代码执行，当时并没有引起太大的关注，但是在博主看来，这是2015年最被低估的漏洞。确实，Apache Commons Collections这样的基础库非常多的Java应用都在用，一旦编程人员误用了反序列化这一机制，使得用户输入可以直接被反序列化，就能导致任意代码执行，这是一个极其严重的问题，博客中提到的WebLogic等存在此问题的应用可能只是冰山一角。虽然从@gebl和@frohoff的报告到现在已经过去了将近一年，但是@breenmachine的博客中提到的厂商也依然没有修复，而且国内的技术人员对这个问题的关注依然较少。为了帮助大家更好的理解它 ...继续阅读 (116)

Java8主要的改变是为集合框架增加了流的概念，提高了集合的抽象层次。相比于旧有框架直接操作数据的内部处理方式，流+高阶函数的外部处理方式对数据封装更好。同时流的概念使得对并发编程支持更强。在语法上Java8提供了Lambda表达式来传递方法体,简化了之前方法必须藏身在不必要的类中的繁琐。Lambda表达式体现了函数式编程的思想，即一个函数亦可以作为另一个函数参数和返回值，使用了函数作参数/返回值的函数被称为高阶函数。1. Lambda表达式Java 被诟病为繁琐的地方就在于不支持传递方法，Java中的方法必须依赖类存在，也不能将方法作为参数或返回值，这是与python等语言相比的弱势。Java 8中使用新特性Lambda表达式来改善这一点。1.1 使用示例以Runnable接口为例，如果需要执行一个线程，实际只需要run()方法中的代码块，但形式上必须要先制造一个Runnable接口实现类(通常是匿名内部类)。使用Lambda表达式仅仅需要一行代码，达到传递run方法的效果,而不必定义匿名内部类。new Thread(()->System.out.println("Lambda")).start();1.2 类型参数推断机制(Type Argument Inference)Lambda表达式之所以能够做如此简化得益于Java的类型参数推断机制。所有省略的内容都可以由编译器通 ...继续阅读 (25)

java中把不同的输入/输出源(键盘、文件、网络连接等)抽象表现为Stream(流).java程序可以通过使用不同的流来访问不同的输入/输出源.而Stream（流）可以直观的理解为从数据的源(Source)到数据的接收(Sink)之间的这样一段有序数据.ps. 注意此处是Stream（流） 并不是 那款常喝的运动饮料的Scream（尖叫）   也不是冰激凌的奶油 Cream大家看以参照下图，在脑海中想象一下,途中的水滴就是流中的数据，他们共同组成了这段有序的数据（水：流）。  一、流的分类1、按照流的方向（从程序运行所在的内存的角度来划分）输入流：只能从流中读取数据，不能向其写出数据.（基类 InputStream, Reader）输出流：只能向其写出数据，不能从中读入数据（基类OutputStream，Writer）2、按照操作的数据单元不同字节流：操作的最小数据单元是字节（8 bit），主要以InputStream、OutputSteam为基类字符流：操作的最小数据单元是字符（16bit），主要以Reader、Writer为基类3、按照流的角色分节点流：可以从/向一个特定的IO设备读写数据的流。这种流属于一种Low level Stream.这种流往往直接连接到实际(防盗连接：本文首发自http://www.cnblogs.com/jil ...继续阅读 (23)

 说起这个，还真是费了一般功夫。说个最简单的方法：第一步：把需要生成到Debug中的文件放到项目中（注意：当前文件夹目录是什么样的，存放到Debug中也是什么样）第二部：设置文件属性中复制到输出目录（如果较新则复制：就是在内容更改后就更新，不复制：不会复制，始终复制：如果该文件需要修改，不建议选择此项）生成操作（无，编译，内容，嵌入的资源）第三步：已经完成了，是不是很简单。 还有个手动的方法（哈哈，有点麻烦哦！！！）：///<summary>///项目中资源文件保存到Debug///</summary>///<param name="name">保存的文件名称。比如："文本.txt"</param>///<param name="path">项目下的路径。比如：".Demo.文本.txt"</param>///<returns>0：保存失败，1:保存成功，2：文件已存在</returns>publicintFileSaveDebug(stringname,stringpath){stringstrStartupPath = System.Windows.Forms.Application.StartupPath;//Debug路径stringpathsave = st ...继续阅读 (18)

这一层主要是用于实现网络通信，现在都是基于Tcp/Ip，而Tcp/Ip协议栈由socket来实现，换句话说就是现在网络通信服务底层大都是通过socket实现的，在thrift源码中，就是将socket包装成各种transport来使用。TTransport:这是一个基类，并且是一个抽象类。TIOStreamTransport继承TTransport类，是最常用的base transport, It takes an InputStream and an OutputStream and uses those to perform all transport operations.主要是由inputStream和OutputStream进行读写操作，主要有open,close,read,write,flush等方法。代码如下：1publicclassTIOStreamTransportextendsTTransport {23privatestaticfinalLogger LOGGER = LoggerFactory.getLogger(TIOStreamTransport.class.getName());45/**Underlying inputStream*/6protectedInputStream inputStream_ =null;78/**Underlying ou ...继续阅读 (19)

1.首先定义注册类RegisterEntity[Serializable]publicclassRegisterEntity{publicstringRegisterKey;publicboolIsRegistered;publicList<int>RegisterOrder;publicDateTime RegisterDate;publicDateTime ExpireDate;}RegisterKey，注册码（序列号）IsRegistered，是否已注册RegisterOrder，注册顺序，由于打开注册码生成文件的时候会暴露Guid，这里作了一个简单的加密算法，打乱顺序后存入RegisterKey，而打乱后的顺序会存入这个List，RegisterDate，注册日期ExpireDate，过期日期 2.生成序列号privateRegisterEntity GenerateRegisterKey(RegisterEntity registerEntity){StringBuilder fakeKey=newStringBuilder();stringkeyPart;List<int> registerOrder =newList<int>();intsplitCount =4;intcurrentOrder =0;for(inti = ...继续阅读 (31)

使用了笨重fsockopen()方法后，我们开始在PHP函数库里寻找更简单的方式来进行POST请求，这时，我们发现了PHP的文件函数也具有与远程URL交互的功能。最简单的是fopen()和fread()函数。$fp=fopen('http://localhost?query=query','r');$content=fread($fp,1024);echo$content;//输出HTML文档信息fclose($fp);然后是file_get_contents()函数：$content=file_get_contents('http://localhost?query=query');echo$content;//输出HTML文档信息但是，我们会发现，通这两种方式我们只能通过GET方式发送信息并读取网页信息，而且，这两种方式还面临着超时，无法处理头信息等问题。 不过，我们仔细查看file_get_contents()的函数原型：string file_get_contents ( string $filename [, bool $use_include_path [, resource $context [, int $offset  ...继续阅读 (31)

Web渗透Web1怎么在Web上Ping呢访问flag.php,发现头有Key:DDoS，并不懂什么鬼。搜了半天，据说html5有ping这个属性。改一下 抓包：直接改为flag.php：而且此时，头部的Key:DDoS也没有了Flag : cCFVY1Yjs5VQ9X2GCG4v6IdpkaKBEsbM Web2社工库查询翻出来西瓜大神的QQ，然而好像没什么卵用。脑洞的试了试管理员消息的那个10000intval秒懂。。。只要某些cms里会这样if intval(xxx) {}，这样可能会造成绕过，输入10000.1 Web 3 Access注入http://218.245.4.113:8888/web03/ca55022fa7ae5c29d179041883fe1556/index.asp?id=886%20union%20select%201,2,3,4,5,6,7,8,9,10,11,12%20from%20adminhttp://218.245.4.113:8888/web03/ca55022fa7ae5c29d179041883fe1556/index.asp?id=886%20union%20select%201,2,3,4,id,6,7,8,9,10,11,12%20from%20admin猜出来两个表news和admin，字段不能爆出 ...继续阅读 (431)

最近在调试一个过去的项目，asp写的一个无组上传类，以前都测试通过的，本次发布却提示：ADODB.Stream 错误 '800a0bbc' 写入文件失败。 /UpLoadClass_Dreacom_v3/UpLoadClass.asp，行 703发生此错误的系统是：Windows Server 2008 R2有的还可能提示：ADODB.Stream 错误 30004开始以为是权限的问题，于是设置文件夹的权限，甚至给了Everyone完全控制的权限，结果还是不行；相关错误代码行：stream.SaveToFile fileName, 2输出文件路径：response.write "<br />fileName=" & fileName指定的保存目录：folderPath=C:\inetpub\wwwroot\UpLoadClass_Dreacom_v3\Demo1\UpLoadFile临时文件保存位置：fileName=C:\inetpub\wwwroot\UpLoadClass_Dreacom_v3\Demo1\UpLoadFile\2015\10\2851107108ad_0.tmp 通过路径可以发现，多了几层目录，这是什么呢？这涉及到下面的函数：Public Function GetNewUploadID() dim ...继续阅读 (73)

最近在调试一个过去的项目，asp写的，提示：ADODB.Stream 错误'800a0bb9'参数类型不正确，或不在可以接受的范围之内，或与其他参数冲突。 /UpLoadClass_Dreacom_v3/UpLoadClass.asp，行635发生错误的代码行：Stream.Writebuff打印变量长度：Response.writeLenb(buff)发现变量的长度是0，所以导致这个问题，加上以下条件修正：ifLenb(buff) >0thenStream.Writebuffendif注意，这里是进行二进制操作：SetStream =Server.CreateObject("ADODB.Stream") Stream.Type =1'1为二进制，2为字符串Stream.Open Stream.Position =0 ...继续阅读 (45)

getimagesize函数并不属于 GD 扩展的部分，标准安装的 PHP 都可以使用这个函数。可以先看看这个函数的文档描述：http://php.net/manual/zh/function.getimagesize.php如果指定的文件如果不是有效的图像，会返回 false，返回数据中也有表示文档类型的字段。如果不用来获取文件的大小而是使用它来判断上传文件是否是图片文件，看起来似乎是个很不错的方案，当然这需要屏蔽掉可能产生的警告，比如代码这样写：<?php $filesize = @getimagesize('/path/to/image.png'); if ($filesize) { do_upload(); } # 另外需要注意的是，你不可以像下面这样写： # if ($filesize[2] == 0) # 因为 $filesize[2] 可能是 1 到 16 之间的整数，但却绝对不对是0。但是如果你仅仅是做了这样的验证，那么很不幸，你成功的在代码里种下了一个 webshell 的隐患。要分析这个问题，我们先来看一下这个函数的原型：static void php_getimagesize_from_stream(php_stream *stream, zval **info, INTERNAL_FUNCTION_PARAMETERS) { ... ...继续阅读 (57)

返回该系列目录《基于Task的异步模式--全面介绍》 把一个流拷贝到另一个流是有用且常见的操作。Stream.CopyTo 方法在.Net 4中就已经加入来满足要求这个功能的场景，例如在一个指定的URL处下载数据：publicstaticbyte[] DownloadData(stringurl){using(varrequest =WebRequest.Create(url))using(varresponse =request.GetResponse())using(varresponseStream =response.GetResponseStream())using(varresult =newMemoryStream()){responseStream.CopyTo(result);returnresult.ToArray();}}为了提高响应能力和伸缩性，我们想使用基于TAP模式来实现上面的功能。可以尝试按下面的来做：publicstaticasyncTask<byte[]> DownloadDataAsync(stringurl){using(varrequest =WebRequest.Create(url)){returnawaitTask.Run(() =>{using(varresponse =request.GetRespons ...继续阅读 (63)

 题记在阅读JDK源码java.util.Collections的时候在UnmodifiableCollection类中看到了这么一段代码：publicvoidforEach(Consumer<?superE>action) {c.forEach(action);}而Consumer的源码如下：@FunctionalInterfacepublicinterfaceConsumer<T>{voidaccept(T t);defaultConsumer<T> andThen(Consumer<?superT>after) {Objects.requireNonNull(after);return(T t) ->{ accept(t); after.accept(t); };}}乍一看让我费解了一下，但是回过神来发现这不就是Java8的新特性Lambda表达式吗。原来对于这些新特性只是了解一下，没注意到在JDK源码中也使用到了，所以抽时间看了一下Java的Lambda表达式。Lambda演算Lambda演算在wiki上的非形式化表述如下：    在λ演算中，每个表达式都代表一个函数，这个函数有一个参数，并且返回一个值。不论是参数和返回值，也都是一个单参的函数。可以这么说，&lamb ...继续阅读 (11)