建推荐系统 涉及到实时计算、离线计算,以及各种数据采集、流转等大数据有三个非常经典的应用:计算广告、搜索、推荐。推荐系统一般包括展现子系统、日志子系统和算法子系统三个部分,是数据要能够“存、通、用”
单元测试
持续集成(Gitlab-CI,phpunit,phpcs,phpmd,quickbuid)
监控和日志检索(Rsyslog, Elasticsearch,Kibana,Zabbix,Graphite,plog,kafka,hangout)
配置管理和异常反馈系统 AOE,SLA
性能优化思路
预估流量
性能评估
找出瓶颈
预案和容灾演练
一个理解误区:用防火墙和IDS/IPS能够缓解DDoS攻击。事实上,防火墙不是用来阻挡DDoS的,目前的DDoS攻击大部分基于合法数据包,防火墙难以有效监测;同时,防火墙是高强度的检查作为代价来进行防护的,DDoS攻击中的海量流量会造成防火墙性能急剧下降。
带宽受限:自维平台受到专线带宽的限制,一旦攻击流量超过专线带宽,出口即被拥塞,任何手段都无解;托管平台受到IDC清洗能力限制,一旦超过IDC能承受的攻击流量(一般远小于20G),会强制将机器下线。
攻击复杂多变:流量型:UDP Flood,HTTP Flood;连接型:SYN Flood,CC(最难防护);反射型:DNS Flood,NTP Flood。
DDOS攻防专家:DDOS攻防需要扎实的协议分析知识;对常见的攻击行为能快速判断。
从myisam到innodb
1)完整的事务特性支持,获得更高并发的TPS
2)支持crash recovery,myisam不能自动修复,且耗时更久
3)innodb把数据和索引同时放入buffer中,而myisam则只缓存了索引
Nginx Upsync支持基于consul自动服务发现,解决reload的性能问题,微博采用基于Consul配置中心实现自动发现服务,解决了Reload的性能问题。
电商而言三大核心就是商品、会员、订单中心