具体描述
编辑推荐
适读人群 ：开发工程师, 你们只需要一点移动开发经验就可以阅读本书了；当然如果你已经是一个Senior的移动开发工程师或者架构师的话，那么你读起来更会是游刃有余；再进一步，如果你已作者团队由来自国内一线移动互联网公司的技术专家组成，不仅能确保内容的专业性，而且能把实际一线丰富的经验带给读者，并在github上开源了书中的所有项目，让读者可以更容易的集成到自己的App中，对于移动端的音视频开发者来讲，这本书可以作为枕边书。
内容简介
书中首先通过介绍音视频的物理现象与基础概念，帮助读者建立模拟信号到数字信号转化的过程，然后重点介绍了如何在移动端开发音视频项目，其中包括开发中所需要了解的各种知识，如音视频的解码与渲染，采集与编码，音视频的处理与性能优化等；在此基础上最后综合当下*流行的直播场景，介绍如何将书中的已有项目改造、适配成为一个直播产品，进一步帮助读者自由、有效的开发出功能丰富、性能一流的音视频App。
作者简介
展晓凯
曾工作于淘宝，参与设计开发淘宝旅行的机票搜索业务，曾就职于115网盘参与核心功能的研发，现就职于北京*淘科技有限公司，任音视频架构师，在公司的唱吧、唱吧直播间、火星三条产品线都负责客户端核心的架构设计与开发工作，其中唱吧目前公布的数据已有几亿用户，月活也在千万量级。作者在工作与生活中非常乐于帮助同事与朋友，痴迷于互联网可以推动整个人类历史的发展，同时作为这个大时代的一个小人物，作者也希望帮助更多的人参与到互联网行业中。
魏晓红
多年以来一直从事Android应用的开发工作，在Android点播、直播相关领域有着丰富的经验，由于开发的产品在印度有非常多的Android用户，所以这让其积累了丰富的Android端适配的经验，作者在平时的工作与生活中乐于探讨技术，希望互利网可以改变人类生活。
精彩书评
4G的普及带来了移动互联网多媒体内容的繁荣，基本每个大的app，没有视频，不做直播都有点不好意思。但是真正要把音视频处理好，让用户仅仅依赖弱小的手机处理器实现完美的音视频录制、特效处理以及高效的直播互动并不是件容易的事情。本书是展晓凯及同事们在唱吧的音视频实践中积累的大量经验教训，是一本从入门到精通教人如何在手机里处理音视频的技术书籍，希望能够对行业的整体技术水平有所帮助。
---- 唱吧CEO 陈华
强烈推荐此书给音视频领域的新人，晓凯结合自身丰富实战经验，深入浅出的将音视频开发的诀窍娓娓道来，让音视频开发无难事。
---- 金山云合伙人，视频生态部总经理 林松
晓凯专注于音视频领域多年，跳过各种坑、踩过各种雷，积累的理论和实际经验都相当丰富，相信他的这本书能传递他在音视频方面的经验并帮助到有需要的移动开发者。
---- iOS逆向专家 吴航
这是一本能把我们引入音视频开发领域，并向更深层次翱翔的指南性书籍。它不仅将长期以来束之高阁的技术拉到我们面前，还全方位，多角度的阐述了这种技术在移动互联网市场中的运用。而*重要的是，这本书的作者是具有多年音视频底层开发经验，并开发了当今*火的手机KTV软件《唱吧》。我相信透过这本书所传递出来的知识和经验，会成为助我们点燃成功的火种。所以，我建议每一位想要从事这方面工作的工程师或者经理来阅读这本书。
---Unity金牌讲师，灿黎网络CEO 吕剑锋
目录
Contents?目 录
推荐序一
推荐序二
前言
第1章 音视频基础概念 1
1.1 声音的物理性质 1
1.1.1 声音是波 1
1.1.2 声波的三要素 2
1.1.3 声音的传播介质 3
1.1.4 回声 3
1.1.5 共鸣 4
1.2 数字音频 4
1.3 音频编码 6
1.4 图像的物理现象 7
1.5 图像的数值表示 8
1.5.1 RGB表示方式 8
1.5.2 YUV表示方式 9
1.5.3 YUV和RGB的转化 10
1.6 视频的编码方式 10
1.6.1 视频编码 10
1.6.2 编码概念 11
1.7 本章小结 13
第2章 移动端环境搭建 14
2.1 在iOS上如何搭建一个基础项目 14
2.2 在Android上如何搭建一个基础项目 21
2.3 交叉编译的原理与实践 26
2.3.1 交叉编译的原理 26
2.3.2 iOS平台交叉编译的实践 27
2.3.3 Android平台交叉编译的实践 33
2.3.4 使用LAME编码MP3文件 38
2.4 本章小结 42
第3章 FFmpeg的介绍与使用 43
3.1 FFmpeg的编译与命令行工具的使用 43
3.1.1 FFmpeg的编译 43
3.1.2 FFmpeg命令行工具的使用 51
3.2 FFmpeg API的介绍与使用 60
3.3 FFmpeg源码结构 68
3.3.1 libavformat与libavcodec介绍 68
3.3.2 FFmpeg通用API分析 69
3.3.3 调用FFmpeg解码时用到的函数分析 70
3.3.4 调用FFmpeg编码时用到的函数分析 71
3.3.5 面向对象的C语言设计 72
3.4 本章小结 74
第4章 移动平台下的音视频渲染 75
4.1 AudioUnit介绍与实践 75
4.2 Android平台的音频渲染 84
4.2.1 AudioTrack的使用 85
4.2.2 OpenSL ES的使用 87
4.3 视频渲染 90
4.3.1 OpenGL ES介绍 90
4.3.2 OpenGL ES的实践 91
4.3.3 上下文环境搭建 98
4.3.4 OpenGL ES中的纹理 104
4.4 本章小结 109
第5章 实现一款视频播放器 110
5.1 架构设计 110
5.2 解码模块的实现 115
5.3 音频播放模块的实现 118
5.3.1 Android平台的音频渲染 118
5.3.2 iOS平台的音频渲染 119
5.4 画面播放模块的实现 121
5.4.1 Android平台的视频渲染 121
5.4.2 iOS平台的视频渲染 122
5.5 AVSync模块的实现 124
5.5.1 维护解码线程 124
5.5.2 音视频同步 125
5.6 中控系统串联起各个模块 127
5.6.1 初始化阶段 127
5.6.2 运行阶段 128
5.6.3 销毁阶段 129
5.7 本章小结 130
第6章 音视频的采集与编码 131
6.1 音频的采集 131
6.1.1 Android平台的音频采集 131
6.1.2 iOS平台的音频采集 134
6.2 视频画面的采集 137
6.2.1 Android平台的视频画面采集 137
6.2.2 iOS平台的视频画面采集 146
6.3 音频的编码 156
6.3.1 libfdk_aac编码AAC 156
6.3.2 Android平台的硬件编码器MediaCodec 158
6.3.3 iOS平台的硬件编码器AudioToolbox 161
6.4 视频画面的编码 166
6.4.1 libx264编码H264 166
6.4.2 Android平台的硬件编码器MediaCodec 172
6.4.3 iOS平台的硬件编码器 175
6.5 本章小结 184
第7章 实现一款视频录制应用 185
7.1 视频录制的架构设计 185
7.2 音频模块的实现 188
7.2.1 音频队列的实现 189
7.2.2 Android平台的实现 191
7.2.3 iOS平台的实现 194
7.3 音频编码模块的实现 198
7.3.1 改造编码器 198
7.3.2 编码器适配器 199
7.4 画面采集与编码模块的实现 202
7.4.1 视频队列的实现 202
7.4.2 Android平台画面编码后入队 203
7.4.3 iOS平台画面编码后入队 204
7.5 Mux模块 205
7.5.1 初始化 206
7.5.2 封装和输出 208
7.5.3 销毁资源 212
7.6 中控系统串联起各个模块 213
7.7 本章小结 214
第8章 音频效果器的介绍与实践 215
8.1 数字音频基础 215
8.1.1 波形图 215
8.1.2 频谱图 217
8.1.3 语谱图 219
8.1.4 深入理解时域与频域 219
8.2 数字音频处理：快速傅里叶变换 222
8.3 基本乐理知识 229
8.3.1 乐谱 229
8.3.2 音符的音高与十二平均律 231
8.3.3 音符的时值 233
8.3.4 节拍 233
8.3.5 MIDI格式 234
8.4 混音效果器 235
8.4.1 均衡效果器 236
8.4.2 压缩效果器 239
8.4.3 混响效果器 240
8.5 效果器实现 243
8.5.1 Android平台实现效果器 243
8.5.2 iOS平台实现效果器 252
8.6 本章小结 255
第9章 视频效果器的介绍与实践 256
9.1 图像处理的基本原理 256
9.1.1 亮度调节 257
9.1.2 对比度调节 258
9.1.3 饱和度调节 259
9.2 图像处理进阶 259
9.2.1 图像的卷积过程 260
9.2.2 锐化效果器 260
9.2.3 高斯模糊算法 262
9.2.4 双边滤波算法 263
9.2.5 图层混合介绍 264
9.3 使用FFmpeg内部的视频滤镜 266
9.3.1 FFmpeg视频滤镜介绍 266
9.3.2 滤镜图的构建 267
9.3.3 使用与销毁滤镜图 269
9.3.4 常用滤镜介绍 270
9.4 使用OpenGL ES实现视频滤镜 272
9.4.1 加水印 273
9.4.2 添
前言/序言
Preface?前 言为什么要写这本书整个音视频领域的架构以及开发已经演进了很长时间，从最开始的广电领域，到PC端的音视频领域，再到本书所介绍的移动端的音视频领域。尤其在这几年中，移动端音视频领域架构的变化是巨大的。在移动互联网的发展热潮中，我有幸从事了音视频领域的设计与开发，并且就职于最时尚的手机KTV——唱吧，这使得我开发出来的东西能够服务于几亿用户。对于音视频的移动端的应用，不论是开发还是使用，在近两年都达到了一个高峰，而作为一名工程师，如何高效地开发出一个音视频App，是一件非常困难的事情，特别是对于不太了解音视频概念的工程师。我从事软件开发已有7年多的时间，接触音视频领域也已经有5年多，在整个开发过程中，不同的时间段会遇到不同的挑战，尤其是在最开始涉足音视频领域的时候，真可谓举步维艰。首先，对于音视频的基础概念不是特别清楚，再者在工作中边学边做，很难对整个音视频领域有一个全面的了解，并且市面上没有相关成熟的资料从更高的层次来介绍音视频领域在移动端的演进与发展。这几年的设计实战与开发经验，以及带新人入门的众多感触，让我有了写这本书的动力，同时也形成了这本书的核心内容，我希望通过本书可以帮助更多想要在移动端音视频领域实现自己想法的工程师，让大家可以顺利地建立起自己的音视频App。我非常希望能为刚入门的读者或者遇到困难的读者提供帮助，希望大家可以享受整个开发的过程，享受自己开发的产品为人们的生活带来便利的成就感。另外，从整个音视频开发领域来讲，我也十分希望能够通过本书贡献出自己的绵薄之力。读者对象产品经理，这部分读者可以从中了解在移动端进行音视频开发会遇到的很多问题以及对应的优化策略，例如：如何通过音视频的统计数据为产品提供更加流畅的策略（视频观看的秒开、直播推流的流畅度、视频上传的成功率等）。
项目经理，这部分读者可以了解很多时下流行的名词与概念，不再会因为几个专业名词就让自己不知所措，并且有助于更好地评估音视频项目开发中的风险与进度。
测试人员，这部分读者可以学习在音视频App中由于处理过程不同而导致的瓶颈问题，书中也提到了一些自动化测试相关的命令以及工具，可以对CPU的负载情况、内存的占用情况、内存泄漏问题等进行分析。
架构师与工程师，这部分读者只需要一点移动开发经验就可以阅读本书了。当然如果你已经是一个高级移动开发工程师或者架构师，那么读起本书来将更加游刃有余。再进一步，如果你已经是移动领域的音视频开发工程师了，那么恭喜你，我们之间将会有一场关于技术领域内部的对话。
开设相关课程的高等院校。
如何阅读本书为了避免说教式的讲解带来枯燥乏味的阅读体验，本书给出了大量的实例及生产环境下的案例。本书可分为四个部分：第一部分是入门，从理论基础开始讲解，最终会产生两个实践项目；第二部分是提高，基于第一部分的项目添加特效，形成一个完整的多媒体项目；第三部分是扩展，结合当下比较流行的直播场景进行实际案例分析；第四部分是工具，介绍当下大部分可以提高开发以及测试效率的工具。下面是各个章节的基本介绍。
第1章，介绍音视频的基础概念，其中包括音视频的基础数据格式、编码后的数据格式以及不同格式之间的相互转换等。
第2章，从零开始讲解如何搭建一个iOS项目和一个Android项目，并且添加C++支持，因为在音视频领域的开发中，有相当一部分的代码需要用C++来编写，这样就可以做到两个平台（Android和iOS平台）共用一套代码仓库，以提升开发效率。然后讲解交叉编译，因为在音视频开发过程中会用到很多第三方开源库，如果将这些库编译到我们的项目中，势必要进行交叉编译，因此本章会重点讲解这些内容。
第3章，探讨FFmpeg开源库。对于音视频开发来讲，FFmpeg开源库是众所周知也是普遍使用的。本章首先从编译开始，接着是命令行使用，再到源码结构，最后是API调用，以层层递进的方式对FFmpeg开源库展开介绍。
第4章，讲解如何利用各自平台的API进行声音与画面的渲染以及解码，对于画面的渲染，推荐使用OpenGL ES，两个平台可以使用同一个代码仓库。
第5章，实现一款视频播放器。有了前四章的基础，我们已经完全可以构建起一个视频播放器了。本书最大的特点就是经过几章基础知识的学习立即开始一个项目的实践，通过本章的视频播放器项目，我们将会熟悉播放器是如何工作的。
第6章，重点介绍音视频的采集与编码器。特别是硬件编解码器在各个平台上的使用，使得应用能够更高效（耗电更少、发热更少、界面更流畅）地运行在用户的手机上。
第7章，继续开发一个视频录制的新项目，该项目可以使我们更加熟悉音视频应用在各个平台下的实现。
第8章，讲解如何处理音频流。毕竟让别人听采集出来的干声是很不礼貌的，本章将利用各种特效来美化采集的声音。
第9章，讲解如何处理视频流，使视频中的颜值变得更高，毕竟爱美之心人皆有之。
用户评价
我必须指出这本书在“前瞻性”方面做到了极高的水准。在很多关于音视频开发的资料中，往往是追赶最新的技术，而这本书似乎能略微领先一步。它不仅涵盖了当前稳定成熟的API，还对一些新兴的、正在快速被采纳的特性进行了深入分析和可行性探讨。比如，它对某些基于硬件加速的最新编解码器接口的介绍和性能预估，就比我过去几个月在各大技术社区看到的信息要全面和深入。这说明作者不仅仅是记录现有的技术栈，更是在积极参与和观察行业趋势。阅读它，让我感觉自己站在了行业前沿，而不是在学习已经被淘汰的知识。对于追求技术深度和未来竞争力的开发者来说，这种前瞻性的洞察力，才是区分一本优秀指南和普通参考手册的关键所在。
评分这本书的实战性是我最看重的一点，它不是停留在理论的空中楼阁上，而是紧密结合了当前Android和iOS平台的主流开发框架和API。我特别欣赏作者在每一个章节后面都会附带的“实践小贴士”或者“常见陷阱警示”，这些内容非常接地气，完全是过来人血泪的总结。我之前在处理跨平台媒体同步时遇到过很多兼容性问题，查阅了大量的官方文档和论坛帖子都没能找到满意的答案，而这本书里针对某个特定版本系统下的细微差异和优化技巧，简直是“救命稻草”。它没有把精力分散到过时的技术栈上，而是聚焦于当前业界最活跃的技术栈，确保了读者学到的知识能立刻应用到实际项目中，这极大地提高了学习的投资回报率。那种从理论到代码的无缝衔接，体现了作者深厚的工程实践积累。
评分这本书的结构安排简直是教科书级别的典范，尤其是它对于“平台差异化处理”这一块的论述，非常独到且深入。它没有采取简单地把Android和iOS章节并列的方式，而是巧妙地在共性原理讲解后，针对性地开辟了特定平台的优化路径。例如，在讲解视频渲染管线时，Android部分着重于SurfaceView/TextureView的生命周期管理和与OpenGL ES/Vulkan的结合，而iOS部分则侧重于AVPlayerItem的缓冲策略和Metal的集成优化。这种对比和并进的结构，让读者能够清晰地看到不同生态系统下的设计哲学差异，避免了在单一平台陷阱中打转。对我这种需要维护多平台产品的开发者来说，这种全局视野的构建，价值无可估量。
评分这本书的排版和设计真是让我眼前一亮，不像市面上那些技术书籍，拿到手里就感觉像是在啃一本枯燥的说明书。封面设计既有科技感又不失亲和力，打开内页后，那种清晰的字体和合理的章节布局，让我阅读体验瞬间提升。尤其是一些关键概念的解释，作者似乎很懂得读者的痛点，总是能用非常直观的方式去阐述复杂的原理。比如在讲解音频采样和编码压缩时，不仅仅是堆砌公式，而是通过配图和生活化的比喻，让一个原本晦涩的技术点变得易于理解和记忆。这绝对不是那种粗制滥造、赶工出来的作品，看得出作者在细节打磨上下了很大功夫。每次翻阅，都能感觉到作者的用心，这种对阅读体验的重视，对于一本技术深入的指南来说，至关重要。对于初学者来说，这样的书籍是最好的敲门砖，而对于有经验的开发者，也能从中找到新的启发和更优雅的实现思路。
评分我一直认为，优秀的技术书籍应该像一位耐心的导师，而不是一个傲慢的教授。这本书恰恰做到了这一点。它的叙述口吻非常谦逊和引导性，不是那种“你必须这样做”的命令式语气，而是“我们可以探索以下几种方法，并分析它们的优劣”的启发式教学。在涉及到底层数据流处理时，作者并没有直接给出“黑盒”解决方案，而是层层剥开，从数据包的封装到解码器的调用，每一个步骤都解释得清清楚楚，并且会提前告知读者可能遇到的性能瓶颈在哪里。这种由浅入深、步步为营的讲解方式，极大地增强了读者的自信心，让我感觉自己不是在被动接受知识，而是在主动构建一个完整的技术认知体系。这种教学设计对于培养独立解决问题的能力至关重要。
评分好评~这书要稍微有点功底才能看懂！希望能看完！
评分书的质量很好内容全面，就是封面有一股新书的味道
评分先买了，慢慢学习，应该会有帮助的
评分可以的可以的可以的可以的
评分书包装有点简陋，书角都裂开了，书有股味道
评分红红火火恍恍惚惚的会哈更会哈更会哈更会哈更会哈更会哈更会哈更会哈更
评分很好很不错很好很不错很好很不错
评分还没看呢，感觉上应该还可以吧
评分不错，看看这方面的书，来来来，给我京豆
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等
© 2025 book.idnshop.cc All Rights Reserved. 静思书屋 版权所有