在并发编程中，我们通常会用到一组非阻塞的模型：Promise，Future 和 Callback。其中的 Future 表示一个可能还没有实际完成的异步任务的结果，针对这个结果可以添加 Callback 以便在任务执行成功或失败后做出对应的操作，而 Promise 交由任务执行者，任务执行者通过 Promise 可以标记任务完成或者失败。 可以说这一套模型是很多异步非阻塞架构的基础。这一套经典的模型在 Scala、C# 中得到了原生的支持，但 JDK 中暂时还只有无 Callback 的 Future 出现，当然也并非在 JAVA 界就没有发展了，比如 Guava 就提供了ListenableFuture 接口，而 Netty 4+ 更是提供了完整的 Promise、Future 和 Listener 机制，在 Netty 的官方文档 Using as a generic library 中也介绍了将 Netty 作为一个 lib 包依赖，并且使用 Listenable futures 的示例。在实际的项目使用中，发现 Netty 的 EventLoop 机制不一定适用其他场景，因此想去除对 EventLoop 的依赖，实现一个简化版本。参考 Scala 和 Netty 的代码重新定义了接口和实现，先介绍下和 Netty 版本的区别:去除了对 EventLoop 的依赖，Callb ...继续阅读 (18)

[译] PHP7 数组：HashTable简介几乎每个C程序中都会使用到哈希表。鉴于C语言只允许使用整数作为数组的键名，PHP 设计了哈希表，将字符串的键名通过哈希算法映射到大小有限的数组中。这样无法避免的会产生碰撞，PHP 使用了链表解决这个问题。众多哈希表的实现方式，无一完美。每种设计都着眼于某一个侧重点，有的减少了 CPU 使用率，有的更合理地使用内存，有的则能够支持线程级的扩展。实现哈希表的方式之所以存在多样性，是因为每种实现方式都只能在各自的关注点上提升，而无法面面俱到。数据结构开始介绍之前，我们需要事先声明一些事情：哈希表的键名可能是字符串或者是整数。当是字符串时，我们声明类型为zend_string；当是整数时，声明为 zend_ulong。哈希表的顺序遵循表内元素的插入顺序。哈希表的容量是自动伸缩的。在内部，哈希表的容量总是2的倍数。哈希表中每个元素一定是 zval 类型的数据。以下是 HashTable 的结构体：struct_zend_array{zend_refcounted_hgc;union{struct{ZEND_ENDIAN_LOHI_4(zend_ucharflags,zend_ucharnApplyCount,zend_ucharnIteratorsCount,zend_ucharreserve)}v;uint32_tflags;}u;uint32 ...继续阅读 (37)

作者：秦朋PHP变量实现的基础结构是zval，各种类型的实现均基于此结构实现，是PHP中最基础的一个结构，每个PHP变量都对应一个zval，下面就看下这个结构以及PHP变量的内存管理机制。zval结构zval结构比较简单，内嵌一个union类型的zend_value保存具体变量类型的值或指针，zval中还有两个union：u1、u2:u1：它的意义比较直观，变量的类型就通过u1.type区分，另外一个值type_flags为类型掩码，在变量的内存管理、gc机制中会用到，第三部分会详细分析，至于后面两个const_flags、reserved暂且不管u2：这个值纯粹是个辅助值，假如zval只有:value、u1两个值，整个zval的大小也会对齐到16byte，既然不管有没有u2大小都是16byte，把多余的4byte拿出来用于一些特殊用途还是很划算的，比如next在哈希表解决哈希冲突时会用到，还有fe_pos在foreach会用到......从zend_value可以看出，除long、double类型直接存储值外，其它类型都为指针，指向各自的结构。 类型zval.u1.type类型：标量类型最简单的类型是true、false、long、double、null，其中true、false、null没有value，直接根据type区分，而long、double的值则直接存在value中：z ...继续阅读 (33)

BM25（Best Match25）是在信息检索系统中根据提出的query对document进行评分的算法。It is based on the probabilistic retrieval framework developed in the 1970s and 1980s by Stephen E. Robertson, Karen Spärck Jones, and others.BM25算法首先由OKapi系统实现，所以又称为OKapi BM25。 BM25属于bag-of-words模型，bag-of-words模型只考虑document中词频，不考虑句子结构或者语法关系之类，把document当做装words的袋子，具体袋子里面可以是杂乱无章的。It is not a single function, but actually a whole family of scoring functions, with slightly different components and parameters. One of the most prominent instantiations of the function is as follows.对于一个query , 包括关键字 , 一个文档的BM25得分:其中IDF是上篇文章《TD-IDF》中的IDF，f是《T ...继续阅读 (25)

作者: 陈迪豪，就职小米科技，深度学习工程师，TensorFlow代码提交者。TensorFlow深度学习框架Google不仅是大数据和云计算的领导者，在机器学习和深度学习上也有很好的实践和积累，在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比，TensorFlow在Github上Fork数和Star数都是最多的，而且在图形分类、音频处理、推荐系统和自然语言处理等场景下都有丰富的应用。最近流行的Keras框架底层默认使用TensorFlow，著名的斯坦福CS231n课程使用TensorFlow作为授课和作业的编程语言，国内外多本TensorFlow书籍已经在筹备或者发售中，AlphaGo开发团队Deepmind也计划将神经网络应用迁移到TensorFlow中，这无不印证了TensorFlow在业界的流行程度。TensorFlow不仅在Github开放了源代码，在《TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems》论文中也介绍了系统框架的设计与实现，其中测试过200节点规模的训练集群也是其他分布式深度学习框架所不能媲美的。Google还在《Wide & Deep Learning for Recomme ...继续阅读 (34)

原文出处： nikic 译文出处：oschina - 几点人, Khiyuan, 杨少瑜, 蒋锴, TigaPile PHP 5.5 一个比较好的新功能是实现对生成器和协同程序的支持。对于生成器，PHP的文档和各种其他的博客文章（就像这一篇或这一篇）已经有了非常详细的讲解。协同程序相对受到的关注就少了，所以协同程序虽然有很强大的功能但也很难被知晓，解释起来也比较困难。这篇文章指导你通过使用协同程序来实施任务调度，通过实例实现对技术的理解。我将在前三节做一个简单的背景介绍。如果你已经有了比较好的基础，可以直接跳到“协同多任务处理”一节。生成器生成器最基本的思想也是一个函数，这个函数的返回值是依次输出，而不是只返回一个单独的值。或者，换句话说，生成器使你更方便的实现了迭代器接口。下面通过实现一个xrange函数来简单说明：1234567891011php functionxrange($start,$end,$step=1){ for($i=$start;$i<=$end;$i+=$step){ yield$i; }} foreach(xrange(1,1000000)as$num){ echo$num,"\n";}上面这个xrange（）函数提供了和PHP的内建函数range()一样的功能。但是不同的是range()函数返回 ...继续阅读 (26)

深入浅出CoreOS（一）：概述【编者的话】CoreOS是一款OS，但它是一款面向云的轻量级OS。CoreOS是以Linux系统为基础，为了建设数据中心的需要，而从Linux底层进行了内核裁减。CoreOS提供了一系列的机制和工具来保证CoreOS组建的云环境是安全，可靠和最新的。CoreOS设计之初就定位于可以提供一种动态缩放和管理集群的能力，可以方便管理类似google 这种庞大数据中心的集群。本系列文章从浅入深介绍了CoreOS的一些特性和细节，让我们一起来学习一下。CoreOS是很多容器栈中的重要的组成部分。我们将通过这一系列的文章探讨CoreOS为什么这么重要，它到底是怎么工作的。如果您现在对CoreOS所知不多，请不用担心，让我们从头开始学习。CoreOS的基础以及CoreOS与其他Linux系统的区别CoreOS是以安全性、一致性、可靠性为设计目标的一款操作系统。CoreOS采用主动/被动双分区方案来实现自动更新。自动更新以单一体为单位，而不是通过逐包替换的方式进行。稍后我们将详细介绍这个。CoreOS使用Linux容器在更高抽象层次上管理服务，而没有采用通过yum或者APT工具做包的安装管理。单一的服务代码以及它所有的依赖会被打包到一个容器中，打包进入容器后就可以运行在单一的CoreOS机器，也可以运行在CoreOS集群中。Linux容器提供与完整虚拟机相似的功能。 ...继续阅读 (11)

服务器操作系统CoreOS初体验CoreOS官网主页使用一句话概括其理念：“A new way to think about servers”,以及紧接着的“CoreOS is Linux for massive server deployments”, 表示这是一个新思维方式思考未来服务器大规模部署的的Linux服务器操作系统。CoreOS宣称最小化的定制版linux系统，具有：Linux内核，Linux运行所需存在两个ROOT分区，一个被用作启动分区，一个被用作更新分区 更新分区在更新完成后，自动重新启动系统，当前机器不需要从负载集群中移除，为了保证其它应用程序不被打断，会通过Linux cgroup限制更新过程中的磁盘、网络等IO使用。systemd，作为默认系统和服务管理器，其优秀特性：支持并行化任务； 同时采用socket式与 D-Bus 总线式激活服务； 按需启动守护进程（daemon）； 利用 Linux 的 cgroups 监视进程； 支持快照和系统恢复； 维护挂载点和自动挂载点； 各服务间基于依赖关系进行精密控制。root分区被设计成只读，用以保证数据的一致性和更新可用CPU、IO等资源隔离，自然要祭出容器(Container)来，CoreOS很明智使用Docker作为容器管理器用以构建、发布应用，从这个层面来看，一个应用其实就是一个容器。etcd组件负 ...继续阅读 (13)

朴素贝叶斯分类器的应用作者： 阮一峰日期： 2013年12月16日生活中很多场合需要用到分类，比如新闻分类、病人分类等等。本文介绍朴素贝叶斯分类器（Naive Bayes classifier），它是一种简单有效的常用分类算法。一、病人分类的例子让我从一个例子开始讲起，你会看到贝叶斯分类器很好懂，一点都不难。某个医院早上收了六个门诊病人，如下表。症状　　职业　　　疾病打喷嚏　护士　　　感冒 打喷嚏　农夫　　　过敏 头痛　　建筑工人　脑震荡 头痛　　建筑工人　感冒 打喷嚏　教师　　　感冒 头痛　　教师　　　脑震荡现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？根据贝叶斯定理：P(A|B) = P(B|A) P(A) / P(B)可得P(感冒|打喷嚏x建筑工人) = P(打喷嚏x建筑工人|感冒) x P(感冒) / P(打喷嚏x建筑工人)假定"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了P(感冒|打喷嚏x建筑工人) = P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒) / P(打喷嚏) x P(建筑工人)这是可以计算的。P(感冒|打喷嚏x建筑工人) = 0.66 x 0 ...继续阅读 (9)

贝叶斯推断及其互联网应用（一）：定理简介作者： 阮一峰日期： 2011年8月25日一年前的这个时候，我正在翻译Paul Graham的《黑客与画家》。那本书的第八章，写了一个非常具体的技术问题----如何使用贝叶斯推断过滤垃圾邮件（英文版）。我没完全看懂那一章。当时是硬着头皮，按照字面意思把它译出来的。虽然译文质量还可以，但是心里很不舒服，下决心一定要搞懂它。一年过去了，我读了一些概率论文献，逐渐发现贝叶斯推断并不难。原理的部分相当容易理解，不需要用到高等数学。下面就是我的学习笔记。需要声明的是，我并不是这方面的专家，数学其实是我的弱项。欢迎大家提出宝贵意见，让我们共同学习和提高。=====================================贝叶斯推断及其互联网应用作者：阮一峰一、什么是贝叶斯推断贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质。它是贝叶斯定理（Bayes' theorem）的应用。英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。正是因为它的主观性太强，曾经遭到许多统计学家的诟病。贝叶斯推断需要大量的计 ...继续阅读 (10)

TF-IDF与余弦相似性的应用（一）：自动提取关键词作者： 阮一峰日期： 2013年3月15日这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，有一个非常简单的经典算法，可以给出令人相当满意的结果。它简单到都不需要高等数学，普通人只用10分钟就可以理解，这就是我今天想要介绍的TF-IDF算法。让我们从一个实例开始讲起。假定现在有一篇长文《中国的蜜蜂养殖》，我们准备用计算机提取它的关键词。一个容易想到的思路，就是找到出现次数最多的词。如果某个词很重要，它应该在这篇文章中多次出现。于是，我们进行"词频"（Term Frequency，缩写为TF）统计。结果你肯定猜到了，出现次数最多的词是----"的"、"是"、"在"----这一类最常用的词。它们叫做"停用词"（stop words），表示对找到结果毫无帮助、必须过滤掉的词。假设我们把它们都过滤掉了，只考虑剩下的有实际意义的词。这样又会遇到了另一个问题，我们可能发现"中国 ...继续阅读 (16)

数据挖掘之lsh（局部敏感hash） minhash、simhash在项目中碰到这样的问题：互联网用户每天会访问很多的网页，假设两个用户访问过相同的网页，说明两个用户相似，相同的网页越多，用户相似度越高，这就是典型的CF中的user-based推荐算法。算法的原理很简单，只要两两计算用户的相似性，针对每个用户，获取最相似的K个用户即可。但是在实际的工程上，假定用户规模在亿的规模N，计算复杂度为N*N，即使是分布式，也是非常可怕的复杂度。考虑一下，我们是不是真的需要计算所有用户之间的相似性？其实我们只需要计算和用户A最相似的K个用户即可，如果已知B和A一定不相似，那么就没有必要计算，这就是LSH的思想。 LSH：local sensitive hash，局部敏感哈希，关注可能相似的pair，而非所有的pair，这是lsh的基本思想。 举个例子：用户user1 访问过 url1,url2用户user2访问过 url2,url3用户user3访问过url3很明显，user1和user2相似，而 user1和user3是不相似的，换句话，user1和user3是不需要比较的。如何做到呢?最简单的思路，把url作为hash的key，user作为value，计算同一个key下面user的相似度。url1:user1url2:user1 user2url3:user2 use ...继续阅读 (9)

最短路径算法—Dijkstra(迪杰斯特拉)算法分析与实现(C/C++)Dijkstra算法———————————最后更新时间：2011.9.25———————————Dijkstra(迪杰斯特拉)算法是典型的最短路径路由算法，用于计算一个节点到其他所有节点的最短路径。主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。Dijkstra算法能得出最短路径的最优解，但由于它遍历计算的节点很多，所以效率低。Dijkstra算法是很有代表性的最短路算法，在很多专业课程中都作为基本内容有详细的介绍，如数据结构，图论，运筹学等等。其基本思想是，设置顶点集合S并不断地作贪心选择来扩充这个集合。一个顶点属于集合S当且仅当从源到该顶点的最短路径长度已知。初始时，S中仅含有源。设u是G的某一个顶点，把从源到u且中间只经过S中顶点的路称为从源到u的特殊路径，并用数组dist记录当前每个顶点所对应的最短特殊路径长度。Dijkstra算法每次从V-S中取出具有最短特殊路长度的顶点u，将u添加到S中，同时对数组dist作必要的修改。一旦S包含了所有V中顶点，dist就记录了从源到所有其它顶点之间的最短路径长度。例如，对下图中的有向图，应用Dijkstra算法计算从源顶点1到其它顶点间最短路径的过程列在下表中。Dijkstra算法的迭代过程：主题好好理解上图！以下是具体的实现(C/C++):/***** ...继续阅读 (6)

关于寻路算法的一些思考（1）：A*算法介绍物体的移动算法似乎显得很简单，然而寻路规划问题却十分复杂。考虑下面这个例子：这个单位的初始位置在地图的下方，想要到达地图的顶部。如果物体所能侦测到的地方（粉色部分所示）并没有障碍，那么物体就会直接向上走到它的目标位置。但在距离顶端较近的位置时，物体侦测到了障碍，因而改变了方向。该物体将不得不行进一个“U”形的路径绕过障碍物（如红色路径所示）。通过对比可知，寻路系统能够通过搜索一个更大的范围（如蓝色区域所示），并寻找一个更短的路线（如蓝色路径所示），使物体避免绕这条由凹陷障碍物造成的远路。当然，可以通过改进物体的移动算法解决上图所示的陷阱。即要么避免在地图上创建有凹陷的物体，要么标记整个凹陷物体的整个凸包为危险区域（即除非目标在该区域内，否则避免进入该区域），如下图所示： 而寻路系统则会让路径的决定提前，而不是像上图一样，物体直到移动到最后一刻才发现问题所在。对于“改进物体移动算法”和“使用寻路系统规划路径”两种方式有以下的折中：规划路径一般来说更慢，但效果更好；改进移动算法则会快一些，但有时候会卡住。如果游戏地图经常改变，那么路径规划的方式可能就意义不大了。我建议两者都使用：在更大的尺度、缓慢变换的地图和更长的路径上进行寻路规划，而对于局部区域、快速更改的地图和短的路径则使用改进的物体移动算法。算法普通教科书上的寻路算法往往只应用 ...继续阅读 (6)

用于解决最短路径问题的算法被称做“最短路径算法”，有时被简称作“路径算法”。最常用的路径算法有：Dijkstra算法、A*算法、SPFA算法、Bellman-Ford算法和Floyd-Warshall算法，本文主要介绍其中的三种。最短路径问题是图论研究中的一个经典算法问题，旨在寻找图（由结点和路径组成的）中两结点之间的最短路径。算法具体的形式包括：确定起点的最短路径问题：即已知起始结点，求最短路径的问题。确定终点的最短路径问题：与确定起点的问题相反，该问题是已知终结结点，求最短路径的问题。在无向图中该问题与确定起点的问题完全等同，在有向图中该问题等同于把所有路径方向反转的确定起点的问题。确定起点终点的最短路径问题：即已知起点和终点，求两结点之间的最短路径。全局最短路径问题：求图中所有的最短路径。Floyd求多源、无负权边的最短路。用矩阵记录图。时效性较差，时间复杂度O(V^3)。Floyd-Warshall算法（Floyd-Warshall algorithm）是解决任意两点间的最短路径的一种算法，可以正确处理有向图或负权的最短路径问题。Floyd-Warshall算法的时间复杂度为O(N^3)，空间复杂度为O(N^2)。Floyd-Warshall的原理是动态规划：设Di,j,k为从i到j的只以(1..k)集合中的节点为中间节点的最短路径的长度。若最短路径经过点k，则Di,j,k ...继续阅读 (13)

mysql5.5 semi-sync安装维护mysql5.5 semi-sync replication 安装维护mysql的replication协议是异步的，虽然异步效率、性能很好，但是却无法保证主从数据一致性（如果master crash，已经commit的事务不会被传送到任何的slave上），从mysql5.5之后，mysql为了保证主从库数据一致性，引进了semi-sync功能，semi-sync意思是MASTER只需要接收到其中一台SLAVE的返回信息，就会commit；否则需等待直至切换成异步再提交。 优点：当事务返回客户端成功后，则日志一定在至少两台主机上存在。MySQL的Semi-sync适合小事务，且两台主机的延迟又较小，则Semi-sync可以实现在性能很小损失的情况下的零数据丢失。 缺点：完成单个事务增加了额外的等待延迟，延迟的大小取决于网络的好坏。Semi-sync不是分布式事务，主库会在自己完成事务后，等待备库接收事务日志（网易已经修改源码，使其在同一事务里）备库Crash时，主库会在某次等待超时后，关闭Semi-sync的特性，降级为普通的异步复制，这种情况比较简单。主库Crash后，那么可能存在一些事务已经在主库Commit，但是还没有传给任何备库，我们姑且称这类事务为"墙头事务"。"墙头事务&quo ...继续阅读 (12)

[FMS]使用ffmpeg来完成对flv、mp4、mp3等格式的转化,使用ffmpeg或segmenter完成对视频/音频格式文件的切割，切割为m3u8格式及ts文件1、 为何要使用HTTP Live Streaming可以参考wikipediaHTTP Live Streaming（缩写是 HLS）是一个由苹果公司提出的基于HTTP的流媒体 网络传输协议。是苹果公司QuickTime X和iPhone软件系统的一部分。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载，每次只下载一些。当媒体流正在播放时，客户端可以选择从许多不同的备用源中以不同的速率下载同样的资源，允许流媒体会话适应不同的数据速率。在开始一个流媒体会话时，客户端会下载一个包含元数据的extended M3U (m3u8) playlist文件，用于寻找可用的媒体流。HLS只请求基本的HTTP报文，与实时传输协议（RTP)不同，HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。它也很容易使用内容分发网络来传输媒体流。2、 HTTP Live Streaming技术方案HTTP服务：使用Nginx提供HTTP服务，通过使用nginx-rtmp-module https://github.com/arut/nginx-rtmp-module 来增加对HLS的支持使用ffmpeg来完成对flv、mp ...继续阅读 (18)

目前MP4的概念被炒得很火，也很乱。最开始MP4指的是音频（MP3的升级版），即MPEG-2 AAC标准。随后MP4概念被转移到视频上，对应的是MPEG-4标准。而现在我们流行的叫法，多半是指能播放MPEG-4标准编码格式视频的播放器。但是这篇文章介绍的内容跟上面这些都无关，我们要讨论的是MP4文件封装格式，对应的标准为ISO/IEC 14496-12，即信息技术 视听对象编码的第12部分：ISO 基本媒体文件格式（Information technology Coding of audio-visual objects Part 12: ISO base media file format）。ISO/IEC组织指定的标准一般用数字表示，ISO/IEC 14496即MPEG-4标准。    MP4视频文件封装格式是基于QuickTime容器格式定义的，因此参考QuickTime的格式定义对理解MP4文件格式很有帮助。MP4文件格式是一个十分开放的容器，几乎可以用来描述所有的媒体结构，MP4文件中的媒体描述与媒体数据是分开的，并且媒体数据的组织也很自由，不一定要按照时间顺序排列，甚至媒体数据可以直接引用其他文件。同时，MP4也支持流媒体。MP4目前被广泛用于封装h.264视频和AAC音频，是高清视频的代表。   & ...继续阅读 (10)

1、码流总体结构：h264的功能分为两层，视频编码层（VCL）和网络提取层（NAL）。H.264 的编码视频序列包括一系列的NAL 单元，每个NAL 单元包含一个RBSP。一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成，其中 Start Code 用于标示这是一个NALU 单元的开始，必须是"00 00 00 01" 或"00 00 01"。 其中RBPS有分为几种类型：NAL的解码单元的流程如下： 2、 NAL Header：占一个字节，由三部分组成forbidden_bit(1bit)，nal_reference_bit(2bits)（优先级），nal_unit_type(5bits)（类型）。forbidden_bit:禁止位。nal_reference_bit：当前NAL的优先级，值越大，该NAL越重要。nal_unit_type ：NAL类型。参见下表 几个例子：3、 ffmpeg解析H264流程分析这是一段实际的码流在上面的图片中,共有三个起始码:0x00 0000 01const uint8_t*ff_h264_decode_nal(H264Context*h, const uint ...继续阅读 (8)

写在前面：RTP的解析，网上找了很多资料，但是都不全，所以我力图整理出一个比较全面的解析，其中借鉴了很多文章，我都列在了文章最后，在此表示感谢。互联网的发展离不开大家的无私奉献，我决定从我做起，希望大家支持。原创不易，转载请附上链接，谢谢http://blog.csdn.net/chen495810242/article/details/392073051、RTP Header解析                                                                                                                   ...继续阅读 (6)

HLS，Http Live Streaming 是由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是M3U8描述文件，二是TS媒体文件。1、M3U8文件   用文本方式对媒体文件进行描述，由一系列标签组成。#EXTM3U#EXT-X-TARGETDURATION:5#EXTINF:5,./0.ts#EXTINF:5,./1.ts#EXTM3U：每个M3U8文件第一行必须是这个tag。#EXT-X-TARGETDURATION：指定最大的媒体段时间长度（秒），#EXTINF中指定的时间长度必须小于或等于这个最大值。该值只能出现一次。#EXTINF：描述单个媒体文件的长度。后面为媒体文件，如./0.ts  2、ts文件    ts文件为传输流文件，视频编码主要格式h264/mpeg4，音频为acc/MP3。   ts文件分为三层：ts层Transport Stream、pes层 Packet Elemental Stream、es层 Elementary Stream. es层就是音视频数据，pes层是在音视频数据上加了时间戳等对数据帧的说明信息，ts层就是在pes层加入数据流的识别和传输必须的信息注： ...继续阅读 (7)

FULL TEXT索引 Mysql 3.23.23以及更高版本支持一种特殊类型的索引 全文索引在 MySQL 中是一个 全文索引在 MySQL 中是一个 FULLTEXT 类型索引。FULLTEXT 索引用于 MyISAM 表（且仅支持该类型的表），可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREATE INDEX 在 CHAR、VARCHAR 或 TEXT 列上创建。对于大的数据库，将数据装载到一个没有FULLTEXT 索引的表中，然后再使用 ALTER TABLE (或 CREATE INDEX) 创建索引，这将是非常快的。将数据装载到一个已经有 FULLTEXT 索引的表中，将是非常慢的。 全文搜索通过 MATCH() 函数完成。mysql> CREATE TABLE articles ( -> id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY, -> title VARCHAR(200), -> ...继续阅读 (9)

【原创】Sublime Text 3设置吊炸天PHP开发环境@heiyeluren@created: 2016/5/31@last modify: 2016/7/81. 下载安装Sublime Text 3http://www.sublimetext.com/32. 安装Sublime包管理器pci - Package Control    来Subl3安装Package Control很麻烦，现在简单的方法来了    (1)、简单的安装方法    使用Ctrl+`快捷键或者通过View->Show Console菜单打开命令行，粘贴如下代码：    import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_packages_path(); urllib.request.install_opener(& ...继续阅读 (47)

 转自：http://blog.csdn.net/cccallen/article/details/8440191看点：1.    Nginx 配置信息与使用.  (支持 rtmp与HLS配置)2.    有ffmpeg 编译与使用,    命令行方式来测试验证客户端使用. Nginx-RTMP功能调研1. RTMP协议介绍...22.RTMP server.32.1当前的流媒体server.32.2Wowza功能...33.Nginx-based RTMP server.53.1  Nginx rtmp 功能点...53.2编译nginx rtmp模块...63.3配置以及功能介绍...63.4用nginx-rtmp-module搭建直播环境...83.5Nginx rtmp对于HLS支持...13 1. RTMP协议介绍RTMP(Real Time Messaging Protocol)实时消息传送协议是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的私有协议。它有三种变种：1)工作在TCP之上的明文协议，使用端口1935；2)RTMPT封装在HTTP请求之中，可穿越防火墙；3)RTMPS类似RTMPT，但使用的是HTTP ...继续阅读 (35)

来源：http://mt.sohu.com/20160505/n447773387.shtml本文根据4月26日 UCloud流媒体研发总监曾凯源于〖KVM社区&UCloud技术微信群〗线上分享内容整理而成。欢迎关注〖KVM社区 & UCloud〗线上系列分享注：每一种架构在一定程度上都有参考的意义。UCloud 将邀请到了在直播、抱抱直播、Shou.tv和一起玩耍科技的技术专家，分享他们在海量服务架构探索过程中的技术实践。如感兴趣，您可以点击文末“阅读原文”，或将如下链接复制到浏览器打开了解并报名参加活动。http://form.mikecrm.com/0Whn1K#rd讲师介绍曾凯源UCloud流媒体研发总监主要负责UCloud视频云和 CDN 产品的研发工作。拥有近十年的互联网研发经验，在云计算领域具有丰富的经验。此前，曾任职于腾讯，分别负责海量云存储系统、海量CDN系统以及微信支付、彩票系统的性能优化等工作。演讲提纲本次主要为大家解析UCloud自有直播云平台架构，分析平台架构短板以及在用户规模快速增长下的架构演进过程。直播场景简介直播云架构核心架构演进容灾及故障处理直播场景&直播服务架构直播场景首先，介绍当下很火的直播场景。目前对直播场景的基本分类主要有媒体&活动直播、游戏直播、秀场直播和社交直播。媒体&活动直播特点：单向，无交互， ...继续阅读 (36)

文章来源：http://mt.sohu.com/20160606/n453247132.shtml 对技术人来说，火爆即是高并发的代名词。越是火爆的平台，对架构、负载容量的要求越高。挑战常在，怎么应战？兴起及现状日常生活用手机来看视频的次数越来越多，时间越来越长，看的内容也是种类越来越多。包括最近从3月份美国开始火起来之后，国内也在火的移动视频社交类。这个也是我们现在在重点切的一个垂类，这个垂类为什么现在会火？我们总结下来一部分原因是因为它的娱乐性很强，延迟很低，和主播有强互动的可能，所以越来越多的人在关注。国内现在起码有几家已经上线，有几十家正在联系准备上线，其中总归会有几个火起来的。这就是对我们现在接触到的这些行业做了一些分类，有综合类的，就是用户产生内容，以娱乐为主，不对用户产生的内容做强的划分。会有一些建议，但是不会强制要求。还有一部分行业性比较强的，像财经、体育，教育这些类。还有就是最广泛的秀场类的，这个盈利模式也是最清晰的，它的量特别大，主播依赖特别强的这种业务。这部分厂商的核心需求很明确，大部分来自于他们的业务需求，他们擅长做的是装机量，保持高日活，保持主播和用户之间的黏性，然后怎么做商业化，商业化已经让很多人头疼了，这些事情够他们忙，而且是他们擅长的。但是在多媒体的这部分，门槛很高，以前做点播业务，像两年前我在做媒体云的时候，当时都是点播的业务。做到后面， ...继续阅读 (21)

作者：徐汉彬、王默涵、廖声茂、匡素文、廖增康、巫泽敏，以上为腾讯增值产品部平台开发中心——PHP7升级研发项目组核心成员。 QQ会员活动运营平台（AMS），是QQ会员增值运营业务的重要载体之一，承担海量活动运营的Web系统。AMS是一个主要采用PHP语言实现的活动运营平台， CGI日请求3亿左右，高峰期达到8亿。然而，在之前比较长的一段时间里，我们都采用了比较老旧的基础软件版本，就是PHP5.2+Apache2.0（2008年的技术）。尤其从去年开始，随着AMS业务随着QQ会员增值业务的快速增长，性能压力日益变大。于是，自2015年5月，我们就开始规划PHP底层升级，最终的目标是升级到PHP7。那时，PHP7尚处于研发阶段，而我们讨论和预研就已经开始了。一、PHP7的学习和预研1. HHVM和JIT2015年就PHP性能优化的方案，有另外一个比较重要的角色，就是由Facebook开源的HHVM（HipHop Virtual Machine，HHVM是一个Facebook开源的PHP虚拟机）。HHVM使用JIT（Just In Time，即时编译是种软件优化技术，指在运行时才会去编译字节码为机器码）的编译方式以及其他技术，让PHP代码的执行性能大幅提升。据传，可以将PHP5版本的原生PHP代码提升5-10倍的执行性能。 HHVM起源于Facebook公司，Face ...继续阅读 (38)

给SSD（固态硬盘）编程（1）：简介和目录本文由 伯乐在线 - 熊铎 翻译。未经许可，禁止转载！英文出处：Emmanuel Goossaert (CodeCapsule.com)。欢迎加入翻译组。简介我想为我的键值对存储项目弄一个固态硬盘（SSD）最佳存储解决方案。为此，我必须确保我完全了解SSD是如何工作的，这样就可以优化我的hash表实例来适合SSD的内部特征。网上有很多不完全和相悖的的信息，找到关于SSD的可靠信息并不简单。为了找到适当的文献和基准以说服自己，我必须要进行大量的阅读。如果我要为SSD编程，我需要知道我在做什么。研究完之后我搞明白了，相信将我所得到的结论向大家分享会有用的。我的意图是将所有的可用信息转化为实用知识。最后我写了一篇30页的文章，但它不太适合发布在博客上。因此我决定将这篇文章分为数个可被独立消化的数个逻辑部分。而目录在本文的下方。第六部分有最为显著的贡献，这一部分是整个“为SSD编程”文章系列的总结，我相信那些心急的程序员最为喜欢。这个总结涵盖了SSD的基本知识以及所有推荐的实现固态硬盘的最佳读写性能的访问模式。另外一个重要的细节是，“为SSD编程”与我的键值对存储项目（IKVS series）之间是相互独立的，因此并不需要IKVS文章中的知识。我正打算写一篇关于IKVS series的文章，内容是关于 如何用 ...继续阅读 (15)

实现键值对存储（0）：目录本文由 伯乐在线 - 熊铎 翻译。未经许可，禁止转载！英文出处：Emmanuel Goossaert (CodeCapsule.com)。欢迎加入翻译组。2014年7月8日更新：这个系列的文章仍在继续，我正在实现这个键值对存储并将在其差不多完成的时候写一篇文章。这些文章每一篇都花了我很长时间来写。为了在完成的时候获得更新通知，你可以在博客右上角订阅。这篇文章是我今天开始的系列文章“实现一个键值对存储”（IKVS）的主条目。本文旨在以内容列表的形式总结系列中所有文章，可能在晚些时候有一些关于项目的笔记。本文的内容可能随时间变化直到系列完成。特别是在目录里，各个部分的标题还没有写而顺序也有可能改变。随着内容逐渐完成，一些部分也有可能被移除或者有新的部分被添加进来。项目中的更多信息可以在 “第一部分：什么是键值对存储，为什么要实现它”的1.3节中找到。1 – 什么是键值对存储，为什么要实现它？ （已翻成中文）1.1 – 键值对存储综述1.2 –键值对存储 vs 关系型数据库1.3 – 为什么要实现键值对存储1.4 – 计划1.5 – 参考文献2 – 使用已存在的键值对存储作为模型 （已翻成中文）2.1 – 不要重复发明轮子2.2 – 候选模型和选择标准2.3 – 所选的键值对存储的概 ...继续阅读 (26)

Kyoto Cabinet和LevelDB的架构比较分析本文由 伯乐在线 - 熊铎 翻译。未经许可，禁止转载！英文出处：Emmanuel Goossaert (CodeCapsule.com)。欢迎加入翻译组。在本文中，我将会逐组件地把Kyoto Cabinet 和 LevelDB的架构过一遍。目标和本系列第二部分讲的差不多，通过分析现有键值对存储的架构来思考我应该如何建立我自己键值对存储的架构。本文将包括：1. 本架构分析的意图和方法2. 键值对存储组件概览3. Kyoto Cabinet 和LevelDB在结构和概念上的分析3.1 用Doxygen建立代码地图3.2 整体架构3.3 接口3.4 参数化3.5 字符串3.6 错误管理3.7 内存管理3.8 数据存储4. 代码审查4.1 声明和定义的组织4.2 命名4.3 代码重复5. 参考文献1. 本架构分析的意图和方法我曾经想过是应该写两篇独立的文章，一篇写LevelDB另一篇写Kyoto Cabinet，还是应该写一篇综合的文章。我相信软件架构是一门很需要决策的技艺，就如同建筑师需要考虑并选择每个部分的设计一样。方案不能孤立的评估，而应该与其他方案之间进行权衡。软件系统架构的分析只能根据其背景在评价，并与其他架构比较。因此我将把键值对存储中遇到的主要组件过一遍，并比较现有键值对系统的方案 ...继续阅读 (23)