2014年10月25日，由eBay、CSDN共同举办的“大数据峰会”将在上海豫园万丽酒店举办。腾讯T4技术专家、数据平台部精准推荐中心总监李勇，以“腾讯大数据平台与推荐应用架构”作为峰会的结尾。内容简介：腾讯的月活跃用户8.3亿微信月活跃用户4.4亿QQ空间月活跃用户6.5亿游戏月活跃用户过亿如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础，数据应用商业化是价值导向。数据平台体系化是应用基础，数据应用商业化是价值导向。腾讯深度学习平台的挑战深度神经网络模型复杂，训练数据多，计算量大模型复杂：人脑有100多亿个神经细胞，因此DNN的神经元和权重多训练数据多：大量训练数据才能训练出复杂模型微信语音识别：数万个神经元，超过50,000,000参数，超过4,000,000,000样本，单机训练耗时以年计，流行的GPU卡需数周深度神经网络需要支持大模型更深更宽的网络能获得更好的结果以图像识别为例，增加卷积层的filter数量，加大模型深度等，可获得更好的模型质量深度神经网络训练中超参数多，需要 ...继续阅读 (29)

View Code PYTHON#!/usr/bin/env python # -*- coding:utf-8 -*- # mail: cn.b4dboy@gmail.com   import sys import imp import glob import marshal import uncompyle2     files = glob.glob(r'./code/*.txt') for plug in files: txt = '' with open(plug, 'r') as f: txt = f.read()   try: arr = eval(txt) #decode some file if imp.get_magic() == arr[1][:4]: code [...] ...继续阅读 (145)

有些朋友手上有几十万甚至上百万个域名，如果把这些域名全部扔给wvs、 APPscan这样的重型扫描器，显然是不太合适的。对于一个拥有上万IP的企业，又如何快速定位可能存在弱点的机器呢？试试信息泄漏批量扫描脚本 BBScan。  BBScan是一个迷你的信息泄漏批量扫描脚本。规则字典非常小，但尽量保证准确和可利用性。特性：小字典 可以自动扫描 Target/Mask 网络中所有的主机  误报率小安装:在pip已经安装的前提下，可以直接： pip install -r requirements.txt使用示例： 1. 扫描单个web服务 www.target.com python BBScan.py  --host www.target.com --browser2. 扫描www.target.com和www.target.com/28下的其他主机 python BBScan.py  --host www.target.com --network 28 --browser3. 扫描txt文件中的所有主机 python BBScan.py&n ...继续阅读 (34)

本文作者：Jay Kreps，linkedin公司首席工程师；文章来自于他在linkedin上的分享；原文标题：The Log: What every software engineer should know about real-time data’s unifying abstraction。文章内容非常干货，非常值得学习。文章将以四部分进行阐述，建议大家耐心看完。第一部分：Log是什么？第二部分：数据集成第三部分：日志和实时流处理第四部分：系统建设第三部分：日志和实时流处理到此为止，我只是描述从端到端数据复制的理想机制。但是在存储系统中搬运字节不是所要讲述内容的全部。最终我们发现日志是流的另一种说法，日志是流处理的核心。但是，等等，什么是流处理呢？如果你是90年代晚期或者21世纪初数据库文化或者数据基础架构产品的爱好者，那么你就可能会把流处理与建创SQL引擎或者创建“箱子和箭头”接口用于事件驱动的处理等联系起来。如果你关注开源数据库系统的大量出现，你就可能把流处理和一些开源数据库系统关联起来，这些系统包括了：Storm,Akka,S4和Samza.但是大部分人会把这些系统作为异步消息处理系统，这些系统与支持群集的远程过程调用层的应用没什么差别（而事实上在开源数据库系统领域某些方面确实如此）。这些视图都有一些局限性。流处理与SQL是无关的。它也局限于实时流处理。不存在内在的原 ...继续阅读 (114)

序言新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后台系统支撑。微博平台第一代架构为LAMP架构，数据库使用的是MyIsam，后台用的是php，缓存为Memcache。技术篇：微博推荐引擎体系结构简述探寻微博背后的大数据原理：微博推荐算法简述微博背后的那些算法大数据新玩法，微博商业数据API开放自助接入随着应用规模的增长，衍生出的第二代架构对业务功能进行了模块化、服务化和组件化，后台系统从php替换为Java，逐渐形成SOA架构，在很长一段时间支撑了微博平台的业务发展。在此基础上又经过长时间的重构、线上运行、思索与沉淀，平台形成了第三代架构体系。我们先看一张微博的核心业务图（如下），是不是非常复杂？但这已经是一个简化的不能再简化的业务图了，第三代技术体系就是为了保障在微博核心业务上快速、高效、可靠地发布新产品新功能。第三代技术体系微博平台的第三代技术体系，使用正交分解法建立模型：在水平方向，采用典型的三级分层模型，即接口层、服务层与资源层；在垂直方向，进一步细分为业务架构、技术架构、监控平台与服务治理平台。下面是平台的整体架构图：如上图所示，正交分解法将整个图分解为3*4=12个区域，每个区域代表一个水平维度与一个垂直维度的交点，相应的定 ...继续阅读 (174)

会计上的对账分为账账核对、账实核对、账证核对。对第三方支付而言，对账一般分为三部分：1、内部账户/账务体系的对账，一般叫试算平衡、平衡检查2、与外围渠道的对账，又分为与上游渠道（银联、银行、结算中心等）的对账、与商户/用户的对账3、与网银流水的对账1、2都是对信息流的核对；3是对实际资金流的核对。第三方支付的资金对账和交易对账具体流程有什么区别？为什么要分两步分开对账？ - 梁川的回答供参考。具体到批量代付时候，以上3部分都需要做。与上游渠道对账上，由于不同渠道的对账机制不同，只能按照上游渠道的对账机制要求进行核对。例如同样是代付的对账：有些渠道是以回盘文件作为最终状态的对账凭证；有些渠道回盘文件并非最终状态，回盘文件只是供接入方查询交易状态的一种方式，T+1天还需要进行单独的对账。类似这样的批量代付上，由于细节的逻辑较为复杂，例如：1、同行、跨行问题：不同银行的批量代付格式要求差异，提交的格式（例如无联行号）不符合某家银行要求；2、对公、对私问题3、代付渠道差异：上游渠道可能也使用了不同的渠道，不同的渠道的限额、到账时效、支持的银行等都不同等等。这些原因会导致同一批次的代付请求，最终的状态、状态的含义可能千差万别。因此最好咨询一下上游渠道，问问与其对账的方案，以他们推荐的方案为准（当然也不一定靠谱，呵呵）。来源：知乎 www.zhihu.com作者：梁川【知乎日报】千万用户的选择 ...继续阅读 (35)

[摘要]温控上的趋于平衡得益于自主架构，另外在GPU、基带、ISP方面也有不错的提升。腾讯数码讯（马炯慧）虽然高通在骁龙810发热问题上一向口风甚严，但在无数用户以及诸多合作厂商的抱怨下，一向高调的高通也不得不把姿态压低。不过于不久前发布的骁龙820，似乎又让高通重拾自信，而他们的总裁德里克·阿伯尔也公开表示，“骁龙820是目前最好的移动Soc芯片”。那么，骁龙820为什么能够控制过热问题，又有哪些新亮点，相信这些都是不少用户颇为关心的话题。温控好或得益于自主架构骁龙820到底还烫不烫？相比起其它方面，大家对这个问题更为关心。高通方面给出的答复是，“骁龙820在发热上完全没有可担心的，并且从已经测试过的厂商反馈来看，对骁龙820的温控表示满意”，用户也大可放心。同样为了获得更好的温控效果，高通除了换回自主设计64位架构核心Kryo。Kryo拥有4个核心，每核支持最高达2.2GHz的处理速度，更注重架构与单线程效率。此外，还采用了最新的14纳米FinFET工艺制程，这或许是它能够摆脱发热的根本所在。与上一代骁龙810处理器相比，Kryo CPU在性能方面将至多提升两倍，而功耗最高下降两倍。仅从高通的描述来看，骁龙820似乎在使用了自家架构后温控问题也得到了迎刃而解。骁龙系列中最强温控之外，骁龙820在其它方面也有所提升。比如说，可以支持到最高2800万像素摄像头、支持4K视 ...继续阅读 (21)

7月6日，做为第一款可以测血压&心率的37度健康手环上市2月余，37度科技CEO王帅再次面对媒体开腔，袒露了自己对行业内怪象的担忧和不满。记者：给我的第一个印象就是，37度手环表现的非常低调，并没有很大规模的宣传或者炒作自己。王帅：“产品是核心，我们做的还不够好。炒作团队对用户能产生什么价值？”37度团队是一个以研发为核心的组织。“我们团队通过两年才增长到10人，每个人都负责与其他人不相交的一块领域，其中市场人员只有一个。我们读了这么多年书出来做事不是为了抄袭复制别人做过的事，希望做些有增益价值的事，不过我们做的不够好，要不断的改进。”问到具体销量时，王帅称：“两个月内，我们销售了6万台，一点水分都没有，由于智能设备的主要市场还是在线上，统计销量我们可以从京东、天猫等渠道中推算出来，还是比较准确的。我们的企业基因之一就是不虚报销量、不虚报融资额、不对用户进行洗脑。37度的第一步还是聚焦在目标人群中通过口碑发展的。”被问及口碑时，王帅微笑了下：“我们确实是比较低调的品牌，我们没有开发布会，也没有做过多的公关活动。4月27日，首批2000台预约，我记得预约数在4000多人，不到1分半，就销售一空了；第二次预约3000台，也就6到7分钟售罄。后期我们的销量基本都是靠已购买的用户口碑推荐给周边人转化 ...继续阅读 (26)

在这个人人都高喊“大数据时代”的今天，数据似乎被提到一个前所未有的高度。无论是个人站长还是大中型公司，亦或是大型跨国集团，无论是网络营销还是线下的市场营销都在意识到数据的重要性，凡是都以数据来说话。但是，据笔者了解，在很多中小型公司和个人站长中，对于数据重视有余，却利用不足。很多人不清楚需要搜集什么样的数据;也有的不清楚通过什么渠道来搜集数据;还有大部分不清楚搜集整理的数据如何去分析，进而也就不清楚怎么去利用这些数据。所以，很多数据也就仅仅只是数字，无法去转化和为公司利益服务，成了一个华丽丽的摆设或者鸡肋。先来说说三类将数据做成摆设的类型：1、重视数据但不清楚如何搜集，这是“被数据”类型。对数据处于模糊了解状态，由于生活在这个信息爆炸化时代，耳濡目染各种宣讲数据的重要性，自然也就重视起数据来，知道公司和企业做事和计划要靠数据来支撑。但是由于没有专业的相关数据人员，自己的公司(或者是个人站长)该做哪些数据，通过什么渠道来搜集整理，可谓是一知半解。最后可能是通过头脑风暴和网上的所谓教程来比葫芦画瓢，再加上咨询下同行，东拼西凑而成的数据，这样的数据自然就真的只是摆设了。2、了解所需数据但来源不规范，这是“误数据”类型。对数据了解比较了解，由于在互联网或者公司摸爬滚打多年，出于自身原因和目的大概知道该需要什么数据。但是同样由于没有专业的相关数据人员，对于数据的来源和制作并不规范，数据采集也 ...继续阅读 (22)

董老师开讲了《大数据入门》2015.01.17 硅谷创业协会讲座笔记：同学们好，今天的讲座主题是大数据入门，我的大纲如下首先自我介绍一下，我叫董飞，目前在硅谷的一家做在线教育公司Coursera做数据工程师，之前本科南开大学毕业，加入创业公司酷迅，做实时信息检索，后来进入百度基础架构组，搭建了Baidu App Engine的早期版本，随后去杜克大学留学，攻读硕士期间，做跟Hadoop大数据相关的研究项目Starfish，之后在Amazon EC2部门实习，了解它们的内部架构，毕业后加入Linkedin，做广告组的架构，涉及Hadoop调优，Data Pipeline, 实时系统。在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网百度，阿里巴巴，奇虎，到美国一线公司Facebook，Google，Linkedin，Twitter，到热门Startup，Uber，Pinterest，Airbnb，Dropbox，Snapchat，拿到10+ offer，并且在Linkedin期间，也积极参与面试过近200人，代表校园招聘，成为全公司前三的面试官，参与面试题制定，乐于分享并帮助很多人成功求职，实现目标。在知乎上写完关于技术，求职的几个帖子，引起强烈反响，美国大数据工程师面试攻略有哪些？知乎日报 哪些硅谷创业公司能给拜访者留下深刻印象？Coursera上有哪些 ...继续阅读 (126)

接上篇介绍：趋势：大数据代表未来，投资力度增强36大数据专稿，拒绝转载！大数据的源与流大数据从源到流到汇聚应用，包含数据入口、数据融合处理、数据应用三个主要过程。从前到后看，这三个过程分别对应于数据资产领域、数据融合与处理相关领域、数据应用相关领域。1) 数据资产领域“数据正在成为一种（战略）资产”已经是行业的共识。大数据很大程度上是随着社会信息化程度提高而在近期产生的，即是以前没有或无法获取且正在不断生成的“新（fresh）”数据。不同的公司把握着各个数据入口，而把握数据资产的企业也必然成为大数据的首批和直接受益者。从公司业务模式上，数据资产公司可以区分为纯数据资产公司和兼数据资产公司；从数据类型上，数据可以区分为交易数据（含询价等）和交互数据。纯数据资产公司指其产品和业务即为数据本身，代表企业如友盟和个信互动等。友盟（Umeng）将核心代码植入各种移动应用，向移动应用创业者提供应用统计分析、用户反馈等服务，目前，国内主流开发者大多是友盟的用户，超过18万的移动应用从友盟服务中获益。个信互动的个推平台，面向公众提供专业的手机推送解决方案，并向开发者提供推送的BI数据，目前的接入用户已经超过6.8亿。不难看出，该类公司有几个特征，一是处于数据流中某个基础性的控制节点；二是在控制节点后聚集了一整类的兼数据资产型公司；三是标的数量很少，一个具体领域（如手机的信息推送或者应用统计服务）只 ...继续阅读 (34)

对于京东大数据平台来说，数据产品并不是一个新鲜事物，2011年自建数据仓库上线的同时，第一款数据产品调度平台也一同上线并正式投入使用。背后的故事：京东大数据平台演变历程28页PPT揭秘京东提升第三方卖家销量的“数据罗盘”，把用户变傻？大数据在京东的典型应用：京东用户画像技术曝光40页PPT详解：京东大数据基础构架与创新应用调度平台订单交易，仓储物流等众多京东系统都会产生数据，仅日志内容每天的大小约为1TB，大量的数据如何统一汇总到数据仓库来呢？这就需要调度产品来实现数据生产。京东调度平台发展至今已经是3.0版本，每一次的更新迭代都凝聚着京东大数据平台开发工程师许许多多个日夜的心血，也是我们技术突破与功能升级的具体体现。调度平台1.0版本架构1.0版本于2011年8月上线，一台服务器作为中心节点指挥调度，另外3台服务器负责相关数据作业，任务之间通过后置变量的方式设定前后依赖关系，调度机制便运行起来了。数据仓库建立之初的任务并不太多，数据量没有太过庞大，数据ETL过程所需计算资源也都完全应付得来。但随着仓库收纳数据的增加，数据生产任务越来越多，任务之间的依赖关系也变得越来越复杂。每个BI工程师需要根据自己的生产任务设定后置变量的值以建立任务依赖关系，任务多了之后不但设置起来耗时费力且不易管理，当一个人的任务需要重跑时后置变量的修改可能会影响到别人的任务。2.0版本上线了新的调度引擎，彻 ...继续阅读 (52)

[摘要]相比上一代935产品来讲，麒麟950用到的台积电16nm FF+工艺要比老的28nm工艺先进不少。腾讯数码讯（马炯慧）日前，华为终于发布了传闻已久的全新旗舰移动处理器麒麟950。而8万多分的安兔兔现场跑分测试，相信也让不少人感到吃惊。那么，关于麒麟950处理器哪些是它的提升之处，何时才能进行大批量的装机上市？麒麟950有这些提升之处相比上一代935产品来讲，麒麟950用到的台积电16nm FF+工艺要比老的28nm工艺先进不少。在相同核心面积下，越先进的制程工艺就能够容纳下更多的晶体管，从华为给出的数据来看，麒麟950的晶体管密度是上一代产品的2倍。而这样的工艺也会使处理器在功耗、发热方面有不同程度的减少。麒麟950还集成了4个Cortex-A72（2.3GHz）核心以及4个Cortex-A53（1.8GHz）核心，A72相比上一代A57不仅在性能方面有所提升外，还在能耗方面降低20%。根据ARM提供的数据来看，A72核心在16nm FF工艺下，2.5GHz频率运行时功耗只有750mW。性能方面ARM Cortex A72核心相比A57提升11%，而功耗则降低了20%，能效比综合提升30%。除了大核+小核之外，麒麟950的协处理器也从之前的i3协处理器（Cortex-M3架构）升级到了i5（Cortex-M7架构）。而这颗i5协处理器可以与大核A72、小核A53进行协同资源 ...继续阅读 (15)

A Better Finder Rename是一款 Mac 上的批量文件重命名工具，它可以根据你设定的规则，将一大批不同的文件规律地进行重命名。macheist.com 目前正在卖包，但只有通过分享到社交网站就可以免费获取 A Better Finder Rename 了。获取地址：https://macheist.com/点击右上角的笼子，按照步骤分享即可 来自反斗限免您可能也喜欢：Rename Master - 文件批量重命名[OS X]Best Rename X - 重命名大师[OS X]1-abc.net File Renamer – 文件名批量重命名File Renamer Turbo - 文件重命名软件1-abc.net File Renamer - 文件名批量重命名无觅 ...继续阅读 (25)

CoolFormat一款是非常实用的源代码格式化工具软件，支持对C\C++\C#\CSS\HTML\Java\JavaScript\JSON\Objective-C\PHP\SQL\XML等多种代码进行格式化。CoolFormat除了可以独立运行，还可以作为插件工作于Visual Studio 2013、Sublime Text、Notepad++等软件上。CoolFormat是网页设计、前端设计、编程人员不可多的的实用软件。以前要对css、php、html等代码格式化时，通常都是在在线代码格式化网站上进行，但是在线版的代码格式化工具通常功能有限，有时候很难达到自己的要求，并且还受着网络的制约。而采用专业的代码格式化功能则要强大的多。试过多种代码格式化工具，CoolFormat不但功能强大，还是绿色免费软件，甚至还可以做为插件工作于知名的Sublime Text、Notepad++等软件上，值得推荐。CoolFormat源代码格式化工具软件介绍CoolFormat源代码格式化是一款C\C++\C#\CSS\HTML\Java\JavaScript\JSON\Objective-C\PHP\SQL\XML代码格式化工具。软件可以快速多种风格格式化，并对语言进行着色。界面采用Office 2010风格，并有多种样式可以替换。并且支持代码高亮到网页上显示，方便博客文章之类的撰写阅读。Co ...继续阅读 (110)

1. 先从freeimage.dll中复制出函数的名字, 就是以文本的方式打开freeimage.dll, 查找FreeImage_Initialise , 然后附近的一大段函数都复制下来, 得到 free.txt文件_FreeImage_AcquireMemory@12 _FreeImage_AdjustBrightness@12 _FreeImage_AdjustColors@32 _FreeImage_AdjustContrast@12 _FreeImage_AdjustCurve@12 _FreeImage_AdjustGamma@12 _FreeImage_Allocate@24 _FreeImage_AllocateEx@36 _FreeImage_AllocateExT@40已上只复制了一小部分2. 上代码批量替换主要用正则表达式:import re funcs={} for line in open('free.txt','r'): line = line.strip() #print line real = line key = line.split('@')[0] if key[0]=='_': key=key[1:] funcs[key]=line #print funcs text = ...继续阅读 (32)

PhotoBulk是 Mac 平台上的一款批量水印添加工具，无论是文字还是图片水印，PhotoBulk 都能为你添加上，还可以让你调节文字的字体、大小、分辨率等等。获取地址：https://stacksocial.com/sales/free-watermark-resize-your-photos-with-photobulk 来自反斗限免您可能也喜欢：PhotoBulk - 一键批量为图片添加水印[OS X]Path on - 向图片添加多种形状的文字[iOS]Color Accent Studio Pro - 为图片添加亮色[OS X]Aoao Watermark for Photo – 图片水印添加工具Split Lab - 图片分割工具[OS X]无觅 ...继续阅读 (10)

看过魔镜插件的批量处理证卡教程就知道:要采用可变数据对证卡进行排版，首先得在EXCEL中输入所有的可变数据（比如姓名，电话。照片等等），其中的照片文件名，如果依照传统的办法一个一个的剪切、拷贝，这样不仅很费时间而且容易出现漏拷、重复拷贝的情况，这时候就需要用到批量提取文件名的方法了。如果不想借助批量提取文件名的软件，我们要实现提取某一文件夹下所有文件的文件名，可以第一步，新建一个txt格式的记事本文件。第二步，在记事本文件中输入：DIR *.*  /B >LIST.TXT，保存文档。（如果只是需要提取jpg，则DIR *.jpg  /B >LIST.TXT，以此类推）第三步，将此记事本文件的后辍名，由txt改为bat。会弹出重命名对话框，单击“是”。第四步，双击文件“新建文本文档.bat”即可生成list.txt文件。打开txt文件就可以看到当前文件夹内的所有文件名列表。（温馨提示：你也可以把文件“新建文本文档.bat”放在其他文件夹里运行，就可以获取当前文件夹下面的所有文件名了！）然后用EXCEL打开txt文件就得到我们想要的内容。上述方法无需额外的软件，只是利用系统自带的批处理功能即可实现批量提取文件名，不过，该方法提取出来的文件会包含后缀名。如果需要提取不包含后缀名的文本，那么我们可以采用天乐批量提取文件名这款实用的小工具来帮忙。天乐批量提取文件名工具软件是一款可 ...继续阅读 (58)

xlsx批量转为utf8的csv(金庆的专栏)策划的配置表为 xlsx 表格，可以有注释，公式。服务器和客户端使用的配置文件需要转成 csv 文件。使用 WPS 另存无法批量转换，并且结果不是utf8编码的，还需要用Notepad++转编码。除了 xlsx 转为 csv, 其他格式文件保持原样，如 *.ini, *.xml, *.lua.server/ 子目录特殊处理，不能复制到客户端。用python脚本实现，依赖 openpyxl 库。#!/usr/bin/env python# coding: utf-8# datatab.py# 从策划配置表目录 game\Design\配置表\”#   生成服务器的 game\Program\server\six\datatab\” 目录，#   和客户端的 game\Program\client\Assets\Config\” 目录。#   所有xlsx文件生成csv文件，其他文件原样复制。#   其中 server\ 目录特殊处理，仅对服务器有效，客户端跳过。## 依赖openpyxl库：http://openpyxl.readthedocs.org/en/latest/# 参考代码 http://segmentfault ...继续阅读 (121)

Batch Picture Resizer是一款能够为你批量修改图片大小的软件，在修改大小的同时还支持格式转换，水印添加以及批量重命名。获取地址：http://www.giveawayoftheday.com/batch-picture-resizer-2/截止时间：2015 年 10 月 30 日 15 时 来自反斗限免您可能也喜欢：Batch Picture Resizer - 图片大小批量修改Batch Image Resizer Pro - 批量修改图片大小[OS X]Batch Picture Protector 批量为图片添加水印Batch Image Resizer Pro - 批量图片大小更改[OS X]Batch Picture Protector – 批量为图片添加水印无觅 ...继续阅读 (12)

@阿随向前冲：旅游回来，拍了大量照片，想修好再发朋友圈，可那么多图一张张修真的是好烦啊？别着急，今天分享一个用PS原生滤镜Adobe Camera Raw一键批量修图的小技巧，主要用到的就是ACR的预设保存和应用，另外会送专业修图公司onOne出品的一套预设给大家哟。AdobeCamera Raw（后面简称ACR）是PS自带的一款滤镜，是专门处理无损Raw格式图片的软件，用过的人都说好，还不了解的小伙伴可以出门左拐问度娘哈。用李涛老师的话说，ACR与Lightroom在使用上是一脉相通的，那我们都知道LR中是可以保存调色预设的，有了预设在处理大量图片时的批量操作那是相当方便贴心的。那像我这种以Bridge+ACR+PS为准的工作流，难免会羡慕些许，但是实际上ACR也是可以保存预设的，同样也是可以对大量图片一键应用的，重要的是操作简单，实用到哭。好了，闲言少叙，咱们直接看教程了。前方高能，爱美的小伙伴请做好准备。PS：本教程，只涉及ACR预设的知识，其他操作暂不详述，如有需要可留言交流沟通。1，首先来看一下如何存储预设。在Bridge中打开你的旅游相册的文件夹，然后双击你的无损图片在ACR中打开（如果是jpg图片，可以选中图片右键菜单选择“在Camera Raw中打开”），如图按自己喜好的风格对图片进行调色。PS：这里只做保存预设演示，请忽视调色的过程。2，在完成调色设置后，可以如图 ...继续阅读 (12)

一·概述1.1 前言由于信息在当今社会显得越来越重要，其安全性就越发突出，尤其是在近几年，信息安全越来越受到企业的重视。 如今，几乎所有的互联网都有开发自己的漏洞扫描平台，用于发现内外部的安全隐患。此外，很多专业的安全工程师就有自己开发的漏洞挖掘系统，随着各种漏洞平台的出现，这种系统也越来越多，越来越强大。1.2 何去何从对于一个不是专门做安全的小公司来说，如果大费周章滴自己从头到尾开发一套扫描系统，那绝对是脑袋被驴踢了。但是这绝不意味着我们不去做漏洞扫描系统，相反，我们一定要去做，而且努力在资源有限的情况下做的更好。大家都知道，现在网上有很多开源的工具，比如sqlmap, hydra, medusa,openvas等等， 当然也有很多优秀的商业产品，比如WVS等。试想，倘若公司有成千上万个IP和域名，那么让几个安全工程师每天去使用这些不同工具，对公司的内网网进行安全扫描，那这个工作量是很大的，而且这些工作很多都是重复性的工作，所以很自然地想到：做一个自动化的漏洞扫描平台，然后自动调些工具进行扫描，最后将结果进行汇总以便分析。1.3 可以走的更远一些现在各种应用服务是个非常流行的概念，它可以降低很多使用成本和沟通成本，所以我们可以把漏洞扫描做成了一个平台，相当于做了一个漏洞扫描服务平台，任何对安全不是很了解的同事，不管是开发，还是运维，都可以使用该平台进行安全扫描，及时发现漏洞。如 ...继续阅读 (114)

0x00 前言最近也在研究ossec报警规则，还没研究的很透彻，暂时不是这篇文章的内容。ossec中文资料还是比较少，外文文献比较多。之前看到drops的两篇文章分享http://drops.wooyun.org/tips/2821，http://drops.wooyun.org/tips/636，看到评论都说批量部署是个坑，比较麻烦。现在说下我的方案，如何批量安装部署客户端。对大家有帮助，可以解决大家在批量部署过程遇到的问题。0x01 服务端配置服务端IP:192.168.145.128 服务端安装可参考http://drops.wooyun.org/tips/636，不在这篇文章讨论范围。因为ossec服务端与客户端是基于key认证传输信息的，所以服务端需为客户端生成相应的key。对于大企业来说每台主机都有一个主机名，假如我们把这样的服务器信息保存到ip.txt文本里面。 ip.txt内容格式如下： [code]... host_name:ip host_name:ip host_name:ip host_name:ip ... [/code]这样的信息对，在大企业里面可通过api直接获取得到。 接着利用脚本，批量为每条记录生成key。key_gen.py：<pre>importosif__name__=='__main__':save_keys_path="key ...继续阅读 (62)

0x00 前言最近也在研究ossec报警规则，还没研究的很透彻，暂时不是这篇文章的内容。ossec中文资料还是比较少，外文文献比较多。之前看到drops的两篇文章分享http://drops.wooyun.org/tips/2821，http://drops.wooyun.org/tips/636，看到评论都说批量部署是个坑，比较麻烦。现在说下我的方案，如何批量安装部署客户端。对大家有帮助，可以解决大家在批量部署过程遇到的问题。0x01 服务端配置服务端IP:192.168.145.128服务端安装可参考http://drops.wooyun.org/tips/636，不在这篇文章讨论范围。因为ossec服务端与客户端是基于key认证传输信息的，所以服务端需为客户端生成相应的key。对于大企业来说每台主机都有一个主机名，假如我们把这样的服务器信息保存到ip.txt文本里面。ip.txt内容格式如下：... host_name:ip host_name:ip host_name:ip host_name:ip ...这样的信息对，在大企业里面可通过api直接获取得到。接着利用脚本，批量为每条记录生成key。key_gen.py：import os if __name__ == '__main__': save_keys_path = "keys.logs" ...继续阅读 (67)

今天，遇到一个需求：需要在一个RAC环境中的多个实例中修改它们的初始化参数“Local_listener”。[oracle@gg01 ~]$ ps -ef | grep ora_ | grep -v grep | grep -v ASM | grep pmon oracle 9459 1 0 Oct08 ? 00:01:59 ora_pmon_crmls1 oracle 9756 1 0 Oct08 ? 00:01:58 ora_pmon_gppls1 oracle 10039 1 0 Oct08 ? 00:01:56 ora_pmon_hdqtls1 oracle 10384 1 0 Oct08 ? 00:01:57 ora_pmon_mkt1 oracle 10657 1 0 Oct08 ? 00:01:57 ora_pmon_mtl1 oracle 10983 1 0 Oct08 ? 00:01:57 ora_pmon_pcmls1 oracle 11305 1 0 Oct08 ? 00:01:58 ora_pmon_pos1 [oracle@gg01 ~]$由于每次进入实例后的 ...继续阅读 (16)

关于T4代码生成这块，我之前写过几篇帖子，如：《Magicodes.NET框架之路——让代码再飞一会（ASP.NET Scaffolding）》（http://www.cnblogs.com/codelove/p/4251533.html）、《Magicodes.NET框架之路——让Magicodes.NET帮你编写代码》（http://www.cnblogs.com/codelove/p/4232659.html）。ASP.NET Scaffolding虽然有些不足，但是思虑再三，考虑到时间成本，Magicodes.WeiChat中还是采用了ASP.NET Scaffolding模板来生成业务代码。目前已经实现了创建、删除、查看、编辑、分页、搜索、删除确认、批量操作、批量删除、支持日期控件、支持多个主键等情形的代码生成。我们先来看看效果图：效果图代码基架的定制与修改关于ASP.NET代码基架的知识与操作，请阅读此处（http://www.cnblogs.com/codelove/p/4251533.html），这里就不多说了。虽然ASP.NET Scaffolding Template存在一些缺陷，无法完美的实现某些代码生成的问题，但是我们目前不需要到这个级别，因此还是勉强够用了。如下图所示，我们修改了基架模板，目录位置如下：其中， ...继续阅读 (20)

1.背景在制作整体的开源工具箱产品中，数据入库是一个重要的环节。虽然PostGIS提供了数据入库界面化操作，但是毕竟此工具无法集成至我方工具箱中，并且该工具界面、操作都不是很理想，也无法定制化完成一些具体需求。所以，自制一个shp入库工具还是比较有必要的。2.思路2.1  shp导入思路Shp导入至数据库中，无论是Postgresql、mysql、oracle等，均是先将Shp转换成符合对应数据库的sql，然后再导入进去对应数据库。针对Postgresql，在PG的安装路径下有pgsql2shp.exe工具可以支持将Shp数据转换成符合要求的sql。                       2.2批量导入思路我们可以利用编写Bat文件，将转换生成的各sql依次导入。 2.3注意事项a.Postgresql中可能会出现缺少某些空间信息表以及空间函数的问题，从而导致数据无法导入。针对这种问题，我们可以在导入前进行相关表和函数的检查，然后进行整体批量导入。b.Shp以及shp所在文件路径需要为英文。 3.流程图设计  4.实现       &nbs ...继续阅读 (23)

近段时间数据库开发中有遇上一个批量数据插入并触发一个触发器的问题。程序刚开始时，一笔一笔插入是很正常的，后来改了程序，批量数据插入，此时触发器只触发第一笔记录，其余的记录均没有触发到触发器。先来看看问题，在一个表中，如果有记录插入，将会触发发送邮件的功能。为了能批量插入数据，Insus.NET创建一...本文链接：记录批量插入与触发器问题，转载请注明。 ...继续阅读 (20)

Watermark Plus是一款能够为图片批量添加水印的软件，除了能够为图片添加水印外，还可以对图片进行大小更改、批量重命名等功能。获取地址：http://macappsonsale.com/app/watermark-plus-giveaway-coupon-sale截止时间：2015 年 10 月 9 日 15 时 来自反斗限免您可能也喜欢：PixelShop 3 – 图片编辑软件[OS X]Watermark Software - 图片水印添加软件Watermark Software – 图片水印添加软件Virus Scanner Plus – BitDefender 的 Mac 版杀毒软件[OS X]Photo Watermark Software 添加图片水印无觅 ...继续阅读 (164)

手头有几个尚未开发的域名，反正用的是AWS，就想着为每个域名创建一个简单站点。思路很简单，先做好了一个模板站点，然后拷贝，修改相应的东西（如url，用户名）。1. 需求描述手头有几个尚未开发的域名，如下：to31.com  去荷兰(To Netherlands， 31为荷兰的国际区号)to47.com  去挪威(To Norway，47为挪威的国际区号)to49.com  去德国(To Germany，49为德国的国际区号)to52.com  去墨西哥(To Mexico，52为墨西哥的国际区号)to63.com  去菲律宾(To Philippines，63为菲律宾的国际区号)to65.com  去新加坡(To Singapore，65为新加坡的国际区号)预期能为这些域名找个做出国服务（如旅游、出国留学、移民）的好婆家，但在找到好归属之前，先为他们分别做一个站点。我博客用的主机是AWS，也不需要加大投入，加上对wordpress建站也比较熟，就想着为以上域名分别做一个站点，鉴于内容类似，很自然就想着，如何能批量做几个wordpress站点。思路倒是很简单：先建好一个模板站点（比如主题、导航条、插件、投放广告），复制该站点，做一些必要的修改（主要是url），就可以得到一个新的站点。2. 搭建一个模板站点我前前后后使用主机有 ...继续阅读 (37)