本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122  ...继续阅读 (36)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 ...继续阅读 (11)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 原文公式较多，因此直接贴上图片。 ...继续阅读 (16)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 原文公式较多，因此直接贴上图片。 ...继续阅读 (4)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 原文公式较多，因此直接贴上图片。 ...继续阅读 (26)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 原文公式较多，因此直接贴上图片。 ...继续阅读 (3)

=====================================================最简单的基于FFmpeg的AVfilter例子系列文章：最简单的基于FFmpeg的AVfilter例子（水印叠加）最简单的基于FFmpeg的AVfilter的例子-纯净版=====================================================有关FFmpeg的avfilter已经写过一个水印叠加的例子《最简单的基于FFmpeg的AVfilter例子（水印叠加）》，本文作为补充再记录一个纯净版的avfilter的例子。此前libavfilter一直是结合着libavcodec等类库的接口函数使用的，因此我一直以为libavfilter库与libavcodec等类库是高度耦合的（也就是如果想使用libavfilter的视音频特效功能的话必须使用libavcodec等类库的函数）。这两天空闲的时候研究了一下libavfilter的代码后发现实际情况不是这样的：libavfilter可以独立于libavcodec等类库的接口函数作为一个“纯粹”的视音频特效类库进行使用。本文记录的“纯净版”的avfilter的例子即实现了一个纯粹的视频特效添加的功能。该例子输入为一个YUV文件，输出也是一个YUV文件，通过avfilter的功能可以处理该YUV文件实现去 ...继续阅读 (352)

有关FFmpeg的avfilter已经写过一个水印叠加的例子《最简单的基于FFmpeg的AVfilter例子（水印叠加）》，本文作为补充再记录一个纯净版的avfilter的例子。此前libavfilter一直是结合着libavcodec等类库的接口函数使用的，因此我一直以为libavfilter库与libavcodec等类库是高度耦合的（也就是如果想使用libavfilter的视音频特效功能的话必 ...继续阅读 (31)

本文介绍网络协议数据的处理程序。网络协议数据在视频播放器中的位置如下所示。本文中的程序是一个UDP/RTP协议流媒体数据解析器。该程序可以分析UDP协议中的RTP 包头中的内容，以及RTP负载中MPEG-TS封装格式的信息。通过修改该程序可以实现不同的UDP/RTP协议数据处理功能。原理MPEG-TS封装格式数据打包为RTP/UDP协议然后发送出去的流程如下图所示。图中首先每7个MPEG-TS Packet打包为一个RTP，然后每个RTP再打包为一个UDP。其中打包RTP的方法就是在MPEG-TS数据前面加上RTP Header，而打包RTP的方法就是在RTP数据前面加上UDP Header。有关MPEG-TS、RTP、UDP的知识不再详细介绍，可以参考相关的文档了解其中的细节信息。本文记录的程序是一个收取流媒体的程序，因此本文程序的流程和上述发送MPEG-TS的流程正好是相反的。该程序可以通过Socket编程收取UDP包，解析其中的RTP包的信息，然后再解析RTP包中MPEG-TS Packet的信息。代码整个程序位于simplest_udp_parser()函数中，如下所示。/** * 最简单的视音频数据处理示例 * Simplest MediaData Test * * 雷霄骅 Lei Xiaohua * leixiaohua1020@126.com * 中国传媒 ...继续阅读 (129)

本文介绍网络协议数据的处理程序。网络协议数据在视频播放器中的位置如下所示。本文中的程序是一个UDP/RTP协议流媒体数据解析器。该程序可以分析UDP协议中的RTP 包头中的内容，以及RTP负载中MPEG-TS封装格式的信息。通过修改该程序可以实现不同的UDP/RTP协议数据处理功能。原理MPEG-TS封装格式数据打包为RTP/UDP协议然后发送出去的流程如下图所示。图中首先每7个MPEG-TS P ...继续阅读 (4)

前两篇文章介绍了音频码流处理程序和视频码流处理程序，本文介绍将他们打包到一起后的数据——封装格式数据的处理程序。封装格式数据在视频播放器中的位置如下所示。本文中的程序是一个FLV封装格式解析程序。该程序可以从FLV中分析得到它的基本单元Tag，并且可以简单解析Tag首部的字段。通过修改该程序可以实现不同的FLV格式数据处理功能。原理FLV封装格式是由一个FLV Header文件头和一个一个的Tag组成的。Tag中包含了音频数据以及视频数据。FLV的结构如下图所示。有关FLV的格式本文不再做记录。可以参考文章《视音频编解码学习工程：FLV封装格式分析器》。本文的程序实现了FLV中的FLV Header和Tag的解析，并可以分离出其中的音频流。代码整个程序位于simplest_flv_parser()函数中，如下所示。/** * 最简单的视音频数据处理示例 * Simplest MediaData Test * * 雷霄骅 Lei Xiaohua * leixiaohua1020@126.com * 中国传媒大学/数字电视技术 * Communication University of China / Digital TV Technology * http://blog.csdn.net/leixiaohua1020 * * 本项目包含如下几种视音频测试示例： ...继续阅读 (231)

前两篇文章介绍了音频码流处理程序和视频码流处理程序，本文介绍将他们打包到一起后的数据——封装格式数据的处理程序。封装格式数据在视频播放器中的位置如下所示。本文中的程序是一个FLV封装格式解析程序。该程序可以从FLV中分析得到它的基本单元Tag，并且可以简单解析Tag首部的字段。通过修改该程序可以实现不同的FLV格式数据处理功能。原理FLV封装格式是由一个FLV Header文件头和一个一个的Tag ...继续阅读 (10)

本文继续上一篇文章的内容，介绍一个音频码流处理程序。音频码流在视频播放器中的位置如下所示。本文中的程序是一个AAC码流解析程序。该程序可以从AAC码流中分析得到它的基本单元ADTS frame，并且可以简单解析ADTS frame首部的字段。通过修改该程序可以实现不同的AAC码流处理功能。原理AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。其中每个ADTS frame之间通过syncword（同步字）进行分隔。同步字为0xFFF（二进制“111111111111”）。AAC码流解析的步骤就是首先从码流中搜索0x0FFF，分离出ADTS frame；然后再分析ADTS frame的首部各个字段。本文的程序即实现了上述的两个步骤。代码整个程序位于simplest_aac_parser()函数中，如下所示。/** * 最简单的视音频数据处理示例 * Simplest MediaData Test * * 雷霄骅 Lei Xiaohua * leixiaohua1020@126.com * 中国传媒大学/数字电视技术 * Communication University of China / Digital TV Technology * http://blog.csdn.net/leixiaohua1020 * * 本项 ...继续阅读 (27)

本文继续上一篇文章的内容，介绍一个音频码流处理程序。音频码流在视频播放器中的位置如下所示。本文中的程序是一个AAC码流解析程序。该程序可以从AAC码流中分析得到它的基本单元ADTS frame，并且可以简单解析ADTS frame首部的字段。通过修改该程序可以实现不同的AAC码流处理功能。原理AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。其中每个A ...继续阅读 (13)

前两篇文章介绍的YUV/RGB处理程序以及PCM处理程序都属于视音频原始数据的处理程序。从本文开始介绍视音频码流的处理程序。本文介绍的程序是视频码流处理程序。视频码流在视频播放器中的位置如下所示。本文中的程序是一个H.264码流解析程序。该程序可以从H.264码流中分析得到它的基本单元NALU，并且可以简单解析NALU首部的字段。通过修改该程序可以实现不同的H.264码流处理功能。原理H.264原始码流（又称为“裸流”）是由一个一个的NALU组成的。他们的结构如下图所示。其中每个NALU之间通过startcode（起始码）进行分隔，起始码分成两种：0x000001（3Byte）或者0x00000001（4Byte）。如果NALU对应的Slice为一帧的开始就用0x00000001，否则就用0x000001。H.264码流解析的步骤就是首先从码流中搜索0x000001和0x00000001，分离出NALU；然后再分析NALU的各个字段。本文的程序即实现了上述的两个步骤。代码整个程序位于simplest_h264_parser()函数中，如下所示。/** * 最简单的视音频数据处理示例 * Simplest MediaData Test * * 雷霄骅 Lei Xiaohua * leixiaohua1020@126.com * 中国传媒大学/数字电视技术 * Commu ...继续阅读 (37)

前两篇文章介绍的YUV/RGB处理程序以及PCM处理程序都属于视音频原始数据的处理程序。从本文开始介绍视音频码流的处理程序。本文介绍的程序是视频码流处理程序。视频码流在视频播放器中的位置如下所示。本文中的程序是一个H.264码流解析程序。该程序可以从H.264码流中分析得到它的基本单元NALU，并且可以简单解析NALU首部的字段。通过修改该程序可以实现不同的H.264码流处理功能。原理H.264原 ...继续阅读 (6)

上一篇文章记录了RGB/YUV视频像素数据的处理方法，本文继续上一篇文章的内容，记录PCM音频采样数据的处理方法。音频采样数据在视频播放器的解码流程中的位置如下图所示。本文分别介绍如下几个PCM音频采样数据处理函数： 分离PCM16LE双声道音频采样数据的左声道和右声道 将PCM16LE双声道音频采样数据中左声道的音量降一半 将PCM16LE双声道音频采样数据的声音速度提高一倍 将PCM16LE双声道音频采样数据转换为PCM8音频采样数据 从PCM16LE单声道音频采样数据中截取一部分数据 将PCM16LE双声道音频采样数据转换为WAVE格式音频数据注：PCM音频数据可以使用音频编辑软件导入查看。例如收费的专业音频编辑软件Adobe Audition，或者免费开源的音频编辑软件Audacity。函数列表（1）分离PCM16LE双声道音频采样数据的左声道和右声道本程序中的函数可以将PCM16LE双声道数据中左声道和右声道的数据分离成两个文件。函数的代码如下所示。/** * Split Left and Right channel of 16LE PCM file. * @param url Location of PCM file. * */ int simplest_pcm16le_split(char *url ...继续阅读 (358)

上一篇文章记录了RGB/YUV视频像素数据的处理方法，本文继续上一篇文章的内容，记录PCM音频采样数据的处理方法。音频采样数据在视频播放器的解码流程中的位置如下图所示。本文分别介绍如下几个PCM音频采样数据处理函数：  分离PCM16LE双声道音频采样数据的左声道和右声道  将PCM16LE双声道音频采样数据中左声道的音量降一半  将PCM16LE双声道音频采样数据的声音速度提高一倍  将PCM1 ...继续阅读 (5)

有段时间没有写博客了，这两天写起博客来竟然感觉有些兴奋，仿佛找回了原来的感觉。前一阵子在梳理以前文章的时候，发现自己虽然总结了各种视音频应用程序，却还缺少一个适合无视音频背景人员学习的“最基础”的程序。因此抽时间将以前写过的代码整理成了一个小项目。这个小项目里面包含了一系列简单的函数，可以对RGB/YUV视频像素数据、PCM音频采样数据、H.264视频码流、AAC音频码流、FLV封装格式数据、UDP/RTP协议数据进行简单处理。这个项目的一大特点就是没有使用任何的第三方类库，完全借助于C语言的基本函数实现了功能。通过对这些代码的学习，可以让初学者迅速掌握视音频数据的基本格式。有关上述几种格式的介绍可以参考文章《[总结]视音频编解码技术零基础学习方法》。从这篇文章开始打算写6篇文章分别记录上述6种不同类型的视音频数据的处理方法。本文首先记录第一部分即RGB/YUV视频像素数据的处理方法。视频像素数据在视频播放器的解码流程中的位置如下图所示。本文分别介绍如下几个RGB/YUV视频像素数据处理函数：分离YUV420P像素数据中的Y、U、V分量分离YUV444P像素数据中的Y、U、V分量将YUV420P像素数据去掉颜色（变成灰度图）将YUV420P像素数据的亮度减半将YUV420P像素数据的周围加上边框生成YUV420P格式的灰阶测试图计算两个YUV420P像素数据的PSNR分离RGB24 ...继续阅读 (46)

有段时间没有写博客了，这两天写起博客来竟然感觉有些兴奋，仿佛找回了原来的感觉。前一阵子在梳理以前文章的时候，发现自己虽然总结了各种视音频应用程序，却还缺少一个适合无视音频背景人员学习的“最基础”的程序。因此抽时间将以前写过的代码整理成了一个小项目。 ...继续阅读 (6)

最近在学习过程中查看YUV/RGB像素数据的时候，发现找不到一个合适的播放器。主流的YUV播放器大多只支持YUV格式播放，却不支持RGB格式数据播放。而我正好需要查看RGB像素数据。在Sourceforge上找到了一个比较好用的既支持YUV又支持RGB的播放器，但是发现有一些小毛病，于是把这个播放器源代码下载下来并且做了一些修改，感觉好用了很多。在这里写文章记录一下。该播放器使用比较简单，可以通过菜单栏打开像素数据文件，也可以通过拖拽方式打开文件。如果文件名称中包含了“{w}x{h}”这样的字符串（例如“test_320x420.yuv”），系统会自动解析为该像素数据的宽和高。 软件在原版的基础上做了如下修改：(1) 修正了2处内存泄露。(2) 在“打开文件”对话框中添加“RGB类型”，“所有类型”两种文件类型。(3) 从文件名中自动解析宽高信息。文件名格式应该是“XXX_{width}x{height}.yuv”。(4) 添加中文语言(5) 添加了8:1放大YUV Player原版项目地址：https://sourceforge.net/projects/raw-yuvplayer/修改版源码地址：https://github.com/leixiaohua1020/YUVplayer编译后可以直接运行的程序：http://download.csdn.net/detail ...继续阅读 (29)

最近在学习过程中查看YUV/RGB像素数据的时候，发现找不到一个合适的播放器。主流的YUV播放器大多只支持YUV格式播放，却不支持RGB格式数据播放。而我正好需要查看RGB像素数据。在Sourceforge上找到了一个比较好用的既支持YUV又支持RGB的播放器，但是发现有一些小毛病，于是把这个播放器源代码下载下来并且做了一些修改，感觉好用了很多。在这里写文章记录一下。 该播放器使用比较简单，可以通 ...继续阅读 (5)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 先说明下，这里的代码流程是修改过的Speex流程，但与Speex代码差异不大，应该不影响阅读。 （1）用RemoveDCoffset函数进行去直流 （2）远端信号预加重后放入x[i+frame_size]，近端信号预加重后放入input缓冲区 （3）前M-1帧的远端频域信号移位，为当前帧频域信号腾出空间 （4）用spx_fft函数进行FFT变换，变换后的系数存在X中 （5）计算当前远端信号当前帧的方差Sxx。（去直流操作后，意味着均值可以视为零） （6）当前远端时域信号移位，x[i] = x[i+frame_size]，50%交叠处理 （7）先用前景滤波器进行滤波 （8）将滤器后的输出进行反变换 （9）再用近端信号（麦克风语音）减去滤波输出得到前景滤波器的语差信号 （10）再用mdf_inner_prod计算前景滤后器的时域误差总功率 （11）使用mdf_adjust_prop计算背景滤波器各段（每个）相同频率的系数幅度，存放 ...继续阅读 (199)

本文是音频处理的朋友icoolmedia（QQ：314138065）的投稿。对音频处理有兴趣的朋友可以通过下面的方式与他交流：作者：icoolmedia QQ：314138065 音视频算法讨论QQ群：374737122 先说明下，这里的代码流程是修改过的Speex流程，但与Speex代码差异不大，应该不影响阅读。 （1）用RemoveDCoffset函数进行去直流 （2）远端信号预加重后放入x[ ...继续阅读 (11)

上周参加了CSDN主办的SDCC 2015 (中国软件开发者大会) 中的《老友记》活动。《老友记》中云集了CSDN员工、社区专家、合作伙伴等各种IT行业的朋友。这次活动是我从2013年开始在CSDN写博客之后第一次参加线下活动，认识了很多未曾谋面的网络上的朋友，感觉很有纪念意义。昨天晚上在微信群里收到了大家的合照，打算写篇小短文记录一下。《老友记》是上周四晚上在北京朗丽兹西山花园酒店举办的。这个地点与我们学校距离很远，从学校出发基本上横穿了整个北京城。前后用了将近2个小时到达了酒店。 《老友记》中，CSDN管理团队、合作伙伴、社区专家等悉数登场，给大家分享了他们与CSDN的故事。听着前辈们的故事，作为晚辈的我也不禁感叹：要好好加油，像他们一样成为一个有用的人。晚宴的时候认识两个印象比较深的社区专家：July和Dean。在这里用“志同道合”这个词形容我们感觉十分恰当——大家都是热衷于无偿分享技术帮助他人的人。虽然和我不是一个技术领域的，但是从他们的博客也可以看出他们能力很强：http://blog.csdn.net/v_july_vhttp://blog.csdn.net/csfreebird在会中还认识了CSDN博客运营的管理员们。以前已经和博客管理员交流过好几次了，但是一直没能见过真人。过去一直以为“管理员”这个角色应该是面孔严肃的大叔，没想到是温和的姐姐。此外在会中还 ...继续阅读 (25)

上周参加了CSDN主办的SDCC 2015 (中国软件开发者大会) 中的《老友记》活动。《老友记》中云集了CSDN员工、社区专家、合作伙伴等各种IT行业的朋友。这次活动是我从2013年开始在CSDN写博客之后第一次参加线下活动，认识了很多未曾谋面的网络上的朋友，感觉很有纪念意义。昨天晚上在微信群里收到了大家的合照，写篇小短文记录一下。 《老友记》是上周四晚上在北京朗丽兹西山花园酒店举办的。这个地点 ...继续阅读 (8)

上一篇文章总结了HEVC官方参考软件HM中的视频解码器TAppDecoder的结构，本文继续分析HM中的视频编码器TAppEncoder。函数调用关系图HM中的HEVC视频编码器TAppEncoder的函数调用关系图如下所示。单击查看更清晰的大图下面解释一下图中关键标记的含义。函数背景色函数在图中以方框的形式表现出来。不同的背景色标志了该函数不同的作用：白色背景的函数：不加区分的普通内部函数。黄色背景函数：滤波函数（Filter）。用于环路滤波，半像素插值，SSIM/PSNR的计算。绿色背景的函数：CU编码函数（Encode）。通过对残差的DCT变换、量化等方式对CU进行编码。紫色背景的函数：熵编码函数（Entropy Coding）。对CU编码后的数据进行CABAC熵编码。浅蓝色背景函数：码率控制函数（Rate Control）。对码率进行控制的函数。箭头线箭头线标志了函数的调用关系：黑色箭头线：不加区别的调用关系。黄色箭头线：滤波函数（Filter）之间的调用关系。绿色箭头线：CU编码函数（Encode）之间的调用关系。紫色箭头线：熵编码函数（Entropy Coding）之间的调用关系。 函数所在的文件每个函数标识了它所在的文件路径。下文记录结构图中的几个关键部分。普通内部函数普通内部函数指的是TAppEncoder中还没有进行分类的函数。例如：编码器的main() ...继续阅读 (207)

上一篇文章总结了HEVC官方参考软件HM中的视频解码器TAppDecoder的结构，本文继续分析HM中的视频编码器TAppEncoder。函数调用关系图HM中的HEVC视频编码器TAppEncoder的函数调用关系图如下所示。单击查看更清晰的大图下面解释一下图中关键标记的含义。函数背景色函数在图中以方框的形式表现出来。不同的背景色标志了该函数不同的作用：白色背景的函数：不加区分的普通内部函数。黄色 ...继续阅读 (4)

本文记录HEVC官方参考软件HM的源代码结构。HM相比于JM来说，采用了面向对象的编程方法，因而结构相对更加清晰。HM包含了视频解码器TAppDecoder和视频编码器TAppEncoder。本文记录视频解码器TAppDecoder的结构。函数调用关系图HM中的HEVC视频解码器TAppDecoder的函数调用关系图如下所示。单击查看更清晰的大图下面解释一下图中关键标记的含义。函数背景色函数在图中以方框的形式表现出来。不同的背景色标志了该函数不同的作用：白色背景的函数：普通内部函数。粉红色背景函数：解析函数（Parser）。这些函数用于解析SPS、PPS等信息。紫色背景的函数：熵解码函数（Entropy Decoding）。这些函数读取码流数据并且进行CABAC熵解码。绿色背景的函数：解码函数（Decode）。这些函数通过帧内预测、帧间预测、DCT反变换等方法解码CU压缩数据。黄色背景的函数：环路滤波函数（Loop Filter）。这些函数对解码后的数据进行滤波，去除方块效应和振铃效应。箭头线箭头线标志了函数的调用关系：黑色箭头线：不加区别的调用关系。粉红色箭头线：解析函数（Parser）之间的调用关系。紫色箭头线：熵解码函数（Entropy Decoding）之间的调用关系。绿色箭头线：解码函数（Decode）之间的调用关系。黄色箭头线：环路滤波函数（Loop Filter）之间 ...继续阅读 (13)

本文记录HEVC官方参考软件HM的源代码结构。HM相比于JM来说，采用了面向对象的编程方法，因而结构相对更加清晰。HM包含了视频解码器TAppDecoder和视频编码器TAppEncoder。本文记录视频解码器TAppDecoder的结构。函数调用关系图HM中的HEVC视频解码器TAppDecoder的函数调用关系图如下所示。单击查看更清晰的大图下面解释一下图中关键标记的含义。函数背景色函数在图中 ...继续阅读 (5)