在公司业务中有很多模块需要记录模型的变更历史，刚开始的时候会针对需要变更记录的表增加一个变更记录表，然后做针对性的开发。后来类似的需求多了，而且不需要很详细的记录，所以单独提取了一个比较简单的模型跟踪模块出来。原理使用Django自己的信号实现，创建了一个公用的model跟踪表，所有配置跟踪的model变更记录都会保存到这张表中，通过一个公用的trace_model函数来保存变更的新老数据，而且只保存修改的字段。# coding=utf-8importinspect,jsonfromdjango.confimportsettingsfromdjango.db.modelsimportManyToManyField,ManyToOneRelfromdjango.db.models.fields.relatedimportForeignKeyfromraven.contrib.django.modelsimportclientfrommodelsimportModelRecorddeftrace_model(sender,instance,raw,using,update_fields,**kwargs):try:ifinstance._state.addingisTrue:returnobj=sender.objects.get(pk=instance.pk)change_field ...继续阅读 (163)

Tastypie是什么Tastypie是基于Django的RESTful api开发框架，如果你有一个通过Django实现的网站，那么通过Tastypie写少许的代码就能实现一个全功能的REST api。我要写些什么这不是一篇Tastypie的入门教程，如果需要教程，可以从官方文档开始，我写的只在探索Tastypie的过程中我认为值得记录的地方。Getting Started with Tastypie认证 authorization认证是指谁在访问该api，Tastypie的默认认证是Authorization(匿名只读认证)，由于我们的业务场景api的使用对象是WEB网站以及APP，而且是以WEB网站优先的，所以计划使用SessionAuthentication与ApiKeyAuthentication。SessionAuthentication是使用在网站上的，ApiKeyAuthentication可能需要定制，因为我们的OAUTH的token格式需要解密解析，待后续APP开发再进行。另外，在调试api的时候可能需要使用BasicAuthentication用用户名/密码来认证，requests库可以方便的使用BasicAuthentication，所以写一个Meta基类来实现。classBaseMeta:'''Resource Meta 基类，把Resource的常用设置 ...继续阅读 (145)

周末花了点时间把许久没有动过的Blog做了一些优化，优化的目标：更快，更省。更快缓存SQL查询结果优化数据库表结构优化SQL查询语句使用misaka(C写的Markdown解析器)更省用SAE KVDB替换Memcached数据库在blogs表设计的时候使用了时间戳+年的2个字段，也许是因为没有经验吧，实际上直接使用DateTime类型字段是更好的选择，所以删除了year字段，并且把ceated字段改为DateTime。在view函数中进行SQL查询尽量遵循越少越好的原则，所以把/tags/:tag的IN查询改写为LEFT JOIN，/tags的tag进行了排序。在插入数据时，生成批量INSERT的语句。替换库以前用了markdown2这个纯python的库，实际上SAE是自带misaka库的，一个C写的Markdown库的python绑定，毫无疑问misaka的渲染速度不是markdown2可比的所以直接就替换了。渲染速度对比可以看这里：https://github.com/lepture/mistune/issues/1使用SAE KVDB替换了Memcached，Memcached无疑是要比KVDB要快的，虽然我只使用了2M的Memcached的，代价是每个月14云豆，KVDB从测试来看不会比Memcached慢多少，没有容量的限制，综合考虑就替换了。SAE 存储测试对比:h ...继续阅读 (122)

** 手贱把工作电脑的Ubuntu搞挂了好像，不得已重装一下，这里记录一下过程工作中用到Ubuntu主要是做Python开发环境，在家习惯了用Mac，切换到Ubuntu还是很方便了，比较坑的，是经常莫名其妙的系统错误。1. 安装系统必须是Ubuntu 14.04 64bit 选择不在线更新安装2. 更新系统在系统设置中选择国内的源，我用的是163的sudo apt-get update&&sudo apt-get upgrade sudo apt-get install vim3. 安装markdowm编辑器因为要写这篇记录，所以我先安装了haroopad这个markdown编辑器http://pad.haroopress.com/user.html下载安装即可4. 安装Chrome必须要找个64bit deb包才能安装，可能翻墙才能下载到5. 去除Amazon广告http://jingyan.baidu.com/article/676629974846c554d51b84cb.html6. 安装搜狗输入法http://pinyin.sogou.com/linux/?r=pinyin下载安装即可7. 安装Sublime Text 3http://c758482.r82.cf2.rackcdn.com/sublime-textbuild-3083amd64.debli ...继续阅读 (231)

** 本文描述的的安装环境均为Ubuntu 14.04 64bit1. 安装Elasticsearch参考https://www.digitalocean.com/community/tutorials/how-to-install-and-configure-elasticsearch-on-ubuntu-14-04安装OpenJDK;sudo apt-get install openjdk-7-jre下载并安装Elasticsearch;https://www.elastic.co/downloads/elasticsearch当前最新版本为2.0,本文以2.0版本为准sudo dpkg -i elasticsearch-2.0.0.deb安装完成后会创建/usr/share/elasticsearch目录,/etc/elasticsearch目录为配置文件目录,/etc/init.d/elasticsearch启动文件.启动Elasticsearchsudo /etc/init.d/elasticsearch start sudo service elasticsearch start验证安装curl'http://localhost:9200/?pretty'2. 简单配置ElasticsearchElasticsearch的配置文件保存在/etc/elasticsearc ...继续阅读 (145)

开始一系列的搜索相关的学习，包括并不限于DjangoHaystackElasticsearchIK中文分词分词字典简单搜索1. DSL搜索{"query":{"match":{"last_name":"Smith"}}}2. 过滤搜索{"query":{"filtered":{"filter":{"range":{"age":{"gt":30}<1>}},"query":{"match":{"last_name":"smith"<2>}}}}}filter表示过滤条件，这里会过滤掉age大于30range是区间过滤器3. 全文搜索{"query":{"match":{"about":"rock climbing"}}}匹配about字段，中与"rock climbing"相似的文档4.短语搜索{"query":{"match_phrase":{"about ...继续阅读 (150)

问题在用Gunicorn跑Django的时候,比较郁闷的是静态文件的处理,即使在settings设置DEBUG=True,静态文件也不会正常显示.生产环境下一般不会裸跑Gunicorn,一般都会在前面放一个Nginx反代到Gunicorn,而静态文件直接交给Nginx处理.但是如heroku,coding.net的演示平台这种PaaS就不能自己配置反向代理,怎么样设置wsgi才能正常处理静态文件呢.这里总结下处理这个问题的经验.方法1强制使用Django的静态文件处理器,通过python manage.py runserver的时候,如果DEBUG=True,Django会自动加载自带的静态文件处理器,但是在Gunicorn下,这个设置会失效,我们可以强制使用Django自带的静态文件处理器.fromdjango.confimportsettingsfromdjango.conf.urls.staticimportstaticurlpatterns=[# ... the rest of your URLconf goes here ...]+static(settings.STATIC_URL,document_root=settings.STATIC_ROOT)# 附加static方法2在玩coding.net的演示平台的时候,发现了Whitenoise这个专门用来处理wsgi ...继续阅读 (304)

①.IFWechat能做什么IFWechat是一个能把微信连接到IFTTT的微信公众号,如果你还不知道IFTTT是什么,可以看看这里:ifttt 是一个什么样的网站？.IFTTT = if this then that, IFWechat通过微信公众号实现了IFTTT中this的功能,通过微信发送到IFWechat的消息都会触发用户定义的IFTTT Recipes.②.绑定微信与IFTTT1.关注IFWechat微信公众号2.生成IFTTT Maker channel key访问IFTTT Maker channel生成Maker channel key3.绑定key到IFWechat微信公众号发送 BD+key 绑定.③.绑定微信与IFTTT1.发送文本消息IFTTT Recipes示例:https://ifttt.com/p/zhu327/shared2.发送照片消息先发送图片,然后追加一条文本.3.发送地理位置4.发送分享链接④.消息格式上面有一些IFTTT Recipes示例,如果你有更好的创意,那么就需要了解下你发送给IFWechat公众号的消息会在推送给IFTTT的时候的消息格式.Event Name: text{"value1":"Hello world"// value1为文本内容}Event Name: image{&quo ...继续阅读 (153)

前两个星期,公司有需求要实现APP内嵌网页的英文版,因为要急着上线,所有就没有折腾i18n国际化,直接出了英文的模板,在view函数里面判断语言选择模板来实现.这周有空下来重新整了一下项目的国际化,使用通用的gettext来实现.flask使用的是jinja2模板,jinja2自带了i18n扩展支持,但是需要Flask-Babel扩展的支持,有学习成本,所以没有使用,直接用了python内置的gettext来实现,而且jinja2引擎也提供了gettext的钩子来处理不同的语言.gettextgettext是*nix下的标准i18n实现,python的标准库内置gettext,简单的理解一下,就是通过已有的字典映射文件,然后获取环境的语言信息来判断当前使用哪一个语言映射,最终渲染出不同的语言文本,这里就不详细研究gettext了,提供我的参考文档:http://underthehood.blog.51cto.com/2531780/1663604flask中使用jinja2app.jinja_env.add_extension('jinja2.ext.i18n')# 设置jinja2 env,增加'jinja2.ext.i18n'扩展判断请求语言环境,设置语言的上线文:importos,gettextfromflaskimportcurrent_appi18n_dir=os.pat ...继续阅读 (221)

百度一下bt search,就会发现网络上有大把的磁力链搜索引擎,最著名的莫过于海盗湾了.想要搜索就需要有资源,而资源一般都是从网络上爬取的,不同与web搜索通过主动的分析链接来一层层爬取内容,磁力链的搜索一般是通过DHT协议来获取种子信息.DHT协议是BitTorrent协议的补充协议,在BitTorrent协议中必须有一个tracker服务器用来记录哪个peer正在下载哪个资源,然后新的peer如果请求这个资源,tracker服务器就会把前面的peer信息告诉这个新的peer,这是一个集中服务的协议,产生的问题也很明显,如果tracker不能服务,那么这个资源就在网络上找不到了,而延伸出来的DHT协议就是为了解决这个问题,它把各个peer构建成一个分布式hash表的网络,你如果需要某些资源,就在这个网络中询问,直到找到资源,这样就不需要tracker服务器就能找到想下载的资源了.关于DHT协议请参考文末的参考文档,本文只描述实现DHT爬虫的相关思路.协议DHT协议基于UDP,主要有4个方法ping,find_node,get_peers,announce_peer, 其中要实现的方法是find_node,get_peers,announce_peer.在DHT分布式网络中,我们的爬虫也是一个NODE,当这个NODE加入到DHT网络后,就会被网络中NODE加入到自己的路由表,网络 ...继续阅读 (145)

听闻Docker很久了,一直也没有动手玩一下,只知道是Linux的新的虚拟技术容器,比以往的虚拟化轻量很多,能最大化利用硬件资源.最近RSS Factory因为使用量太大,又一次被搜狗反爬虫机制封杀,不少人来问我如果要自己搭建RSS服务怎么操作,也有自己动手的小伙伴遇到各种问题来问我,鉴于现在市面上有一些免费Docker CaaS提供商,所以考虑自己搭建一个RSS Factory的Docker image来分享给小伙伴来使用.顺便探索一下Docker的使用方法.概念Docker repository: 可以理解为Docker的GIT库,Docker的官方的repository就叫Docker hub,可用想见Github之于GIT,上面世界各地的开发者分享的Docker镜像或者Dockerfile;Docker image: Docker镜像,Docker容器实例是通过Docker镜像来构建的,Docker镜像可用看做是一个没有跑起来的Docker环境,存储了Docker环境的所有变更与配置;Dcoker容器: 由Docker镜像创建的容器实例才是最终我们所运行的虚拟环境,我们的应用是跑在这个环境中的.Dockerfile: 已经设置好的镜像就可用上传到repository上分享了,但是由于镜像可能很大,不方便分享,所以有了Dockerfile,Dockerfile中记录了对已有镜 ...继续阅读 (125)

公司自有服务都是后台api来实现,即使是website也是通过调用api获取来渲染网页,正常的Ajax中请求都是调用浏览器的XMLHttpRequest接口来异步请求数据,但是无论是Chrome,还是IE都有一个限制,就是不能跨域通过XMLHttpRequest来发请求.话说你有过墙梯我有张良记,聪明的开发者总是会有办法来绕过浏览器跨域的限制来请求数据,在HTML中具有src属性的标签例如script,img都是可用跨域来请求src指向的资源数据的,既然script标签可以跨域,那就利用这个来实现跨域.但是script标签返回的数据不能直接是json格式,需要是标准的javascript函数调用,所以需要返回的数据中包括一个在已有js函数的本地调用方式,传入我们需要的数据,这里的数据才是json格式的.发送请求:响应内容:parseResponse({"Name":"Cheeso","Id":1823,"Rank":7})在本地一个parseResponse的函数可用用来处理服务端传入的参数,而一般这个回调函数是作为参数来传递给服务端api的就是src属性的jsonp参数.最近也是因为客户有跨域请求我们api数据的需求所有了解了一下jsonp,不得不说开发者前辈们的各种机智,在jQuery中使用jsonp更是方便,不需要自己写script标签.jQuery(document).re ...继续阅读 (126)

openshift官方和社区提供不少配置好的环境，也包括python2.7和python3.3下的tornado套件。一方面希望拥有更高的使用自由，另一方面希望熟悉一下openshift的DIY环境，本着这个目的，自行创建一个DIY环境，在上面安装运行python 2.7.6和tornado 3.2。【Step1、创建DIY环境】【Step2、安装python 2.7.10】通过python -V看到系统已预装python 2.6.6，直接在$OPENSHIFT_DATA_DIR下安装2.7.10可以正常使用，但需要注意其调用路径为$OPENSHIFT_DATA_DIR/bin/python。cd $OPENSHIFT_REPO_DIR wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz tar -xzf Python-2.7.10.tgz cd Python-2.7.10 ./configure --prefix=$OPENSHIFT_DATA_DIR make install $OPENSHIFT_DATA_DIR/bin/python -V看到Python 2.7.10说明安装成功。【Step3、安装pip】cd $OPENSHIFT_TMP_DIR wget https://raw.github.c ...继续阅读 (154)

思路公司做项目,有用到注册,登录,密码找回等功能,以前自己写的论坛也实现了邮件密码找回,不过比较简单,直接生成随机密码,把新密码发送到用户邮箱.比较不安全,要实现一般网站的用链接找回的功能.对链接的要求有如下:每次生成的链接都必须不一样;链接要有过期时间,过期以后无效;后台在链接被请求时,必须验证链接是否有效.针对这3方面的要求,设计url格式,/resetpassword/?sid=md5加密后的字符串&user;=用户名&expires;=过期时间时间戳.在user表上增加字段secret_key用于保存加密的密钥.加密过程,生成sid:用户在请求/forgot/表单输入邮件地址,时后台校验用户是否存在,如果存在则,通过uuid生成随机字符串secret_key更新用户信息;获取当前时间戳+过期时间,生成过期的时间戳;md5加密username-expires-secret_key生成sid.解密验证:后台获取到/resetpassword/的GET请求后,先验证参数是否正确;通过username获取用户信息;判断过期时间是否过期;md5加密username-expires-secret_key与sid对比是否一致,如一致才会返回重置密码表单;重置密码表单提交时POST请求提交地址与GET请求一致,必须再次验证sid. ...继续阅读 (137)

开始写Django forum的RESTful api，首先解决用户认证的问题，使用OAuth2.0协议实现。参考理解OAuth 2.0授权OAuth2.0协议定义了4种授权模式，为了学习OAuth2.0授权协议，这里只实现简化模式。以下为简化模式授权过程。客户端对认证URI/api/authorize发起GET请求，必须带参数：response_type：表示授权类型，此处的值固定为"token"，必选项。client_id：表示客户端的ID，必选项。redirect_uri：表示重定向的URI，可选项。state：表示客户端的当前状态，可以指定任意值，认证服务器会原封不动地返回这个值。服务器验证参数返回登陆页面；用户输入用户名，密码提交登陆POST表单;服务器验证表单，生成access_token，并重定向到redirect_uri，附带参数：access_token：表示访问令牌，必选项。token_type：表示令牌类型，该值大小写不敏感，必选项。expires_in：表示过期时间，单位为秒。如果省略该参数，必须其他方式设置过期时间。state：如果客户端的请求中包含这个参数，认证服务器的回应也必须一模一样包含这个参数。然后客户端就可以使用access_token来请求Django forum实现的需要认证的RESTful api了。实现了解了认证过程后，实现起来就比较简单 ...继续阅读 (134)

参考理解RESTful架构RESTful API 设计指南来自HeroKu的HTTP API 设计指南(中文版)概念REST == Representational State Transfer，意思是表现层状态转化，我们来分解这个概念。从字面以上理解这是一个操作的过程，实际上它省略了主语资源(Resources)，合起来就是资源的表现层状态转化。资源 Resources需要操作的对象，可以是文本，图片，等等互联网上的各种资源，可以通过URI(统一资源定位符)来访问。表现层 Representational资源是客户端从服务器请求过去的，表现层代表了资源在传递过程中的表现形式，比如一个文本，可以是html，xml，json等等的形式，或者干脆是二机制。表现层在Request HTTP header中通过Accept字段表示请求的数据类型，在Response HTTP header中通过Content-Type指定数据格式。状态转化 State Transfer在HTTP请求过程中对资源的操作过程就是状态的转化，使用HTTP的各种方法来实现对资源的操作。GET 获取资源POST 新增或者修改资源PUT 修改资源DELETE 删除资源符合REST原则的API构建就是RESTful构架，从以上分析可以得出结论。每个URI代表一个资源客户端与服务端通过某种表现形式来传递资源通过HTTP ...继续阅读 (144)

Django forum在SAE上开启了5M的memcached缓存空间，memcached是用空间计费的，所以在没什么流量的情况下每天也要用1云豆，以blog上的经验来看不用缓存的情况下mysql的消耗又比较大，所以权衡之后选择SAE自己实现的kvdb缓存后端来做缓存，这样缓存消耗的云豆可以忽略不计，又可以达到缓存加速的效果。参考Django自带的memcache缓存后端来写kvdb的缓存后端。在插入数据的时候添加一个超时时间戳，获取数据的时候判断数据是否超时，如超时则删除数据。另外在实现清空所有数据的时候kvdb没有实现相应的方法，我自己阅读kvdb文档后通过迭代key值来实现清空，有一个可能的问题是这个迭代删除最多只能一次删除100条数据。实现基于django.core.cache.backends.base.BaseCache，对kvdb已有的接口进行重写适配，kvdb未实现的接口则沿用。https://github.com/zhu327/forum/blob/sae/xp/cache.py# coding: utf-8"SAE kvdb cache backend"importtimefromthreadingimportlocalfromdjango.core.cache.backends.baseimportBaseCachefromdjango.utils.enco ...继续阅读 (123)

反爬虫RSS Factory前段时间又出问题了，访问微信公众号RSS一直500，完全没法用了。经调试，发现由于爬取数据太频繁，触发了搜狗微信公众号的反爬虫，探索了下反爬虫的规则:没有带Cookie的情况下，频繁访问触发反爬虫带Cookie的情况下，频繁访问偶尔触发反爬出，偶现500错误不带Cookie情况下，隔几个小时范围一下不会触发反爬虫Cookie有几个关键字段用于识别爬虫，SUID，SNUID，SUV。不带Cookie请求任意搜狗微信公众号页面，应答set-cookie会带SUID，SNUID字段，SUV由JavaScript生成。应对反爬虫基于以上探索的反爬虫措施，制定应对反爬虫的策略。维护一个Cookie池爬取数据时随机取Cookie定时更新Cookies池实现@tornado.gen.coroutinedefget_cookies():cookies=[]client=tornado.httpclient.AsyncHTTPClient()foriinxrange(10):url='http://weixin.sogou.com/weixin?query=%s'%random.choice('abcdefghijklmnopqrstuvwxyz')# 获取SNUIDcookie_request=tornado.httpclient.HTTPRequest(url=url ...继续阅读 (7794)

用xrange循环时代替range''.join()替代+while 1替代while True列表推到 > for循环 > while循环用cProfile, cStringIO and cPickle用局部变量好于全局变量itertools用各种迭代器，生成器用map,reduce,filter替代列表推倒或循环判断a in b时，字典与集合好于列表和元组 ...继续阅读 (165)

https://github.com/zhu327/forum元旦的时候决定开始学习Django，学习最好的方式无非边学边做，所以把2年前没敢看的一个Tornado项目通过用Django实现了，这里总结下。models扩展默认User类fromdjango.contrib.auth.modelsimportAbstractUser# 继承这个类即可# setting中设置AUTH_USER_MODEL='forum.ForumUser'# 指定用户对象使用的类扩展Model的方法# 默认Model对象有个属性objects有各种方法，扩展这个方法fromdjango.db.modelsimportManager# 扩展这个类# self.get_query_set() 这个方法返回基础的QuerySet，所以扩展Manager都是围绕这个方法来写# 在Model类中把objects指向这个Manager的对象classTopic(models.Model):...objects=TopicManager()# 默认objects就是model.Manager的对象QuerySet对象的一些方法# 复杂查询使用join连接方法，用于1对1的对象，一般ForeignKeyQuerySet.select_related()# 复杂查询，用于 _set的提前查询，用于1对多，多对多，For ...继续阅读 (154)

前面学习了Cookie，知道Cookie是在浏览器端保存的用户状态，但是对Session一直没什么概念。学习Django的过程中直接使用了Django的认证系统，虽然用到了Session但是没有接触到Session的直接使用，然后在学习F2E.im的代码中，发现Tornado自带的secret cookie其实也能加密传递cookie，通过cookie传递一个userid到用户浏览器，认证的时候使用userid到数据库中查找用户信息，也能很好的认证用户。那为什么要使用session呢。Tonado中认证示例:# 重写tornado.web.RequestHandler中get_current_user方法用于认证defget_current_user(self):user_id=self.get_secure_cookie("user")ifnotuser_id:returnNonereturnself.user_model.get_user_by_uid(int(user_id))# 从数据库中取用户信息带着疑惑询问了某同事，得到了一个比较靠谱的答案。如上面的示例代码，在验证了用户名密码后，登录就把Cookie发送给用户:self.set_secure_cookie("user",str(user_id))# Tornado中设置Cookielogout时清除Cookie:sel ...继续阅读 (146)

pythonpython 2.7.3python 3.2.2DjangoDjango 1.4Django 1.5Django Book 2.0TornadoTornadoIntroduce to tornadoTornado 3.2FlaskFlask 0.10.1Flask-WTF 0.9.3Jinja2 2.7Flask-SQLAlchemy 0.16Flask-Login 0.1BottleBottleCeleryCelery 3.1RequestsRequests 1.1.0ScrapyScrapy 0.2.5Scrapy 0.2.4FabricFabricPython AlgorithmsPython Algorithms ...继续阅读 (155)

在写Django Model的Manager面临的一大问题是怎么样才能实现Django Model的复杂查询，比如LEFT JOIN语句的使用，Google用了不少时间，基本上了解大概，总结下，大概有3种方式。参考闲话 Django Raw SQL实例详解Django的 selectrelated 和 prefetchrelated 函数对 QuerySet 查询的优化想法写Model的时候参考http://f2m.im的表结构，发现它大量使用了JOIN查询，而且在多个表上都没有使用外键，我想不用外键也是为了方便修改，删除时产生不必要的约束。Django Model实现了ForeignKey，很方便的能查询到外键所在的实例，进一步能查询的更多，但是查询一次相当于执行一次SQL语句，这就造成了性能开销。所以F2E才会使用JOIN语句把计算的过程都交给MySQL。实现使用ForeignKey与select_relatedTopic.objects.select_related.all('author').all()# 查询并且查询auhtor的信息，通过 LEFT.JOINT author 表实现这种方式依赖ForeignKey，所以需要删除数据的时候要小心，避免产生关联错误。Manager.raw()Topic.objects.raw('select * form forum_top ...继续阅读 (129)