我不知道你是否发现了。我们的生活正在慢慢向“实时”转变。我们获取和分享信息，以及我们的日常必需品、食物、住房和交通，正在成为一种像“自来水”一样持续的“流动”服务。我们不需要提前预订，只需按需实时访问即可。这种转变取决于科学技术的进步。在文件和网络时代之后，计算机技术已经进入了“流/流”时代。我们的生活在各种信息流、数据流和媒体流中。节奏越来越快。速度是王者，质量是次要因素。
向“流”过渡的最典型应用是流媒体技术，它指的是使用流传输技术在网络上发布音频、视频和其他多媒体文件。所谓流式传输是通过某种算法将音频和视频多媒体文件编码和压缩成小的压缩包的过程。流媒体服务器通过特定的网络协议连续实时地传输它们。客户端收到压缩包后，通过回放软件实时解压，实现回放。所谓流媒体是指所有通过这种方式传输的媒体文件。
流媒体技术的出现改变了传统的媒体播放模式，我们没有忘记需要将整个音频和视频文件下载到本地计算机上观看。因此，我们必须等待很长时间。今天，我们通过互联网观看视频、直播和听音乐。通过各种盒子（IPTV/OTT）观看电视和收听广播非常方便。点击查看就是点击使用。其背后是对流媒体系统的支持。
2.流媒体传输特性过去，观看视频的传统方式是将整个视频文件下载到本地计算机硬盘上，然后通过本地播放器程序观看。流式传输是在压缩编码和数据打包后，将连续的视频和音频连续、实时地传输到接收设备。当随后的连续数据包到达时，用户同时解压并播放接收到的数据。在这个过程中，你只需要等待几秒或几十秒就可以正常观看视频，剩下的就像“水流”，同时观看和下载。下图描述了流式处理的过程。
在音频和视频的传输和分发中，我们经常听到专业术语，如HTTPprogressive、HTTPstreaming、RTMP、RTSP、HLS、HDS、dash、websocket等。事实上，对于以下四种类型的流媒体，即HTTP流媒体和渐进式文件传输，即HTTP流媒体和渐进式文件传输。
HTTPprogressive意味着通过支持NicholasTse，终端播放器可以在从未下载的部分的任何时间点开始播放，以满足快速播放的需求，而无需等待整个文件被下载。一般来说，MP4和FLV格式的文件支持更好。打开一个视频，并将其拖动到中间进行短暂缓冲，单击暂停后，文件仍将持续下载，这是典型的渐进式下载。目前，youtube和优酷等大型点播网站都采用这种方式。
不同的制造商对HTTP流或HTTP流技术有不同的方法，但其主要思想是在服务器上将媒体文件划分为独立的小片段文件。分割文件时，需要同时生成跟踪片段的索引文件（描述文件），播放器通过HTTP协议向服务器请求小媒体片段，实现点播或直播播放。我们通常听到的HLS（苹果）、HDS（Adobe）、MSS（微软）和dash（MPEG通用标准）都属于HTTP流媒体。下表总结了同声传译的特点：
3.流媒体系统的组成从流媒体文件的收集到最终播放的路径是完整流媒体系统的必要组成部分。
从系统层面来看，编码层负责对音频和视频文件（h.264/h.265/vp9/aac等）进行编码和压缩；封装层负责数据包（flv/TS等）的容器封装；协议层负责网络打包（RTMP/HTTP等）；传输层负责网络传输（socket/St等）；回放层负责解码和显示图像（flash/VLS/videoJS等）。
从众所周知的产品服务水平来看，一个完整的流媒体系统所需的组件通常包括：
（1）编码器：流媒体文件生成的编码工具；
（2）流媒体数据；现场信号和点播文件；
（3）流媒体服务器：用于控制和传输流媒体数据的流媒体服务器；
（4）传输网络：支持特定流数据传输协议的传输网络；
（5）多终端播放器：每个操作平台用来显示流媒体数据的播放器。
以上五个组件是流媒体系统所必需的基本组件。随着近年来的快速发展，有必要将能够承载大规模流媒体应用的内容分发网络（CDN）纳入流媒体系统的范畴。除了这些基本系统外，大型运营和流媒体系统还将有外围系统和中间件，如流媒体内容制作、内容管理和控制、数据监控等。
4.流媒体涉及的技术流媒体技术的主要目的是在当前“尽力而为”的互联网上传输大量音频和视频文件。因此，流媒体技术的核心是音视频编解码技术和流媒体传输技术。
然而，在当今“体验为王”的时代，我们需要面对的流媒体无论在用户层面还是应用场景上都极其复杂。简单地通过堆叠多个流媒体服务器和构建开源OBS和播放器来实现功能的时代早已过去。从目前成熟的大规模流媒体系统的角度来看，为了完成大规模的流媒体系统支持高经验，有必要考虑以下技术方面：
（1）云计算基础服务相关技术
近年来，随着视音频技术、终端硬件平台和用户需求的快速增长，骨干网、跨运营商等基础设施建设明显跟不上。在这种情况下，为了实现高稳定性、高并发性和低延迟的流媒体应用，需要基于云架构的计算、网络、存储和CDN等底层基础服务。硬件虚拟化和网络虚拟化可以最大限度地保证音视频播放的稳定性；CDN内容分发网络能够有效地满足高并发性和流量突然增加的需求。有针对性地优化流媒体传输的各个环节，可以大大减少延迟；对象存储满足流媒体数据的大规模存储需求。
（2）视频和音频相关技术
这一层次包括视音频编解码、4K、VR等视音频核心技术能力，尤其是新形势下移动终端编码和播放的优化。这包括不同硬件平台和操作系统的实践，对固定网络、移动网络和其他不同网络环境的理解，以及弱网络情况下的解决方案。此外，4K、VR、AR等新技术的开发可以改善用户的观看体验，甚至触发新的应用场景；h.265等新的编码标准可以进一步提高视频和音频编码的效率，减少网络带宽和CDN的消耗。
（3）场景应用相关技术
虽然流媒体的核心是音视频编解码和流媒体传输，但流媒体系统在不同的垂直域中必须考虑流媒体应用的一些场景功能要求。例如，节目现场娱乐的实时录制、实时水印和实时色情识别；社交直播联播；IPTV/Ott的时间倒转；实时云指南；视频网站的版权保护等等。
相关视频建议：
在90分钟内完成直播逻辑-推送流媒体-流媒体服务器-拉式流媒体|ffmpeg|webrttc|RTMP|RTSP|哔哔哔哔哔|bilibili
谈论RTSP/RTMP流媒体、流媒体、C/C++、ffmpeg和零声音大学
[免费]ffmpeg/webrtc/RTMP/NDK/Android音视频流媒体高级开发-学习视频教程-腾讯教室
需要更多ffmpeg/webrtc音频和视频流媒体开发学习材料加组812855908接收
5.流媒体的应用（1）功能方面
流媒体技术本质上使用流传输来划分语音和视频。因此，从功能上看，流媒体的主要应用是点播和直播。
■点播：
音视频点播已经非常成熟，其业务流程一般是上传-转码-编辑制作-仓储-用户请求-网络分发-播放。这些类型可以简单地分为以下几类：第一类是以优酷和爱奇艺为代表的音频和视频点播网站，其特点是上传量小，点播量大；少量现场视频按需录制，以大量现场视频为代表；第三是短视频该网站的特点是大量上传和大量点播。对于不同类型的点播应用，需要构建不同的流媒体系统。
需要注意的是，如上所述，目前点播主要以HTTP渐进模式或HLS切片模式分发（点播HLS只下载一次m3u8索引，然后下载.TS文件），更接近文件分发。
我们将在后续文章中重点介绍的流媒体主要是实时流媒体，因此后续内容主要讨论流媒体在音频和视频直播中的应用，这也是观止云团队的优势。
■现场直播：
流媒体技术在音视频直播中的应用可分为以下几类：一是以广电新媒体网/IPTV直播/Ott直播为代表的电视直播业务，主要特点是高延迟容忍度，但对稳定性和清晰度的要求很高；二是以节目/游戏直播/体育直播/移动直播/教育直播为代表的互动直播，延时要求高；第三，以视频会议为代表的音视频通信业务具有高延迟要求和高音频质量要求的特点。
随着互动直播的兴起和相关技术服务市场竞争的加剧，流媒体直播系统对底层基础资源服务、CDN分发网络、视音频技术等提出了新的挑战。
（2）应用场景
当我们研究流媒体时，许多人可能会担心直播市场发展得越快，它的下滑就越严重。事实上，没有必要这么想。至少有三个明显的趋势。首先，不管市场如何变幻莫测，观看直播的总需求仍处于低点，在未来很长一段时间内仍将保持上升趋势；第二，目前的直播主要集中在娱乐领域。未来将有更多垂直领域，如在线教育、电商直播等，将以直播为工作工具，并有明确的商业模式；第三，随着虚拟现实等新技术的不断涌现，视频将永远是信息传输的最佳载体。因此，学习一些技术不会遭受太多损失。至少，他们对直播的需求可以从以下几个方面看到：
■网络教育
在网络教育场景中，学生主要通过观看点播和直播课程来获取课程内容。流媒体除了具备直播信号采集、点播文件上传、转码、存储、全网分发和多终端广播等六大功能外，对版权保护的要求一般都很高。此外，在网络教育场景中，场景功能需要更加集中，如多屏、课件制作、白板等。
目前，在线教育直播主要由新东方等综合培训机构主导。未来将有更多的垂直培训机构，如艺术培训和专业技能培训。此外，跨国远程学习，如出国留学和语言学习，也将是未来的趋势。
■电子商务
目前，电子商务的商品展示仍以图片为主。随着天猫和聚美的直播，不难想象未来电子商务产品的展示会引入更多视频，尤其是互动直播的方式。这不是噱头。随着电子商务的发展，在克服了诸如消息对称、信任、支付和物流等几个主要问题之后，唯一未解决的问题是远程体验。互动直播无疑为远程体验带来了新的曙光。
在未来的发展趋势中，电子商务应该特别关注流媒体技术在虚拟现实、增强现实和全过程跟踪中的应用。
■泛娱乐
娱乐不仅是点播和直播应用的红海区域，也是流媒体技术应用的前沿。不同特定场景的功能和技术要求也存在差异，如现场表演、现场游戏、选美秀、移动社交广播、体育直播等。大规模直播需要专业编码器等硬件设备的支持。特别是，移动终端需要根据不同的模式和平台调整流媒体和广播。体育直播和比赛直播也将涉及跨国传播。
未来，泛娱乐仍将是直播增量最重要的方面。毕竟，太多的线下娱乐还没有转移到网络上。
■广播电视
电视正在慢慢转变为IPTV/Ott/智能电视。图像是与操作系统相连的显示器。它本身就是流媒体的应用。
在随后的发展中，广播电视部拥有资源和政策红利，不会简单地受到互联网点播直播的影响。在争夺“客厅娱乐”方面，广播电视仍有望获得主动权。因此，未来广播电视系统对流媒体技术的需求将大量增加。
■媒体/营销
随着纸质媒体的衰落，媒体集团开始向网络迁移，视频占据了很大一部分。因此，未来所有新闻机构和营销机构都将关注视频的建设。由于新闻营销的时效性强，直播的应用值得关注。
■视频会议
即使在今天，许多企业和许多人仍然不使用视频会议系统。原因在于传统的办公视频会议系统安装复杂，价格昂贵，缺乏对移动办公的支持。因此，未来对基于互联网、更轻、更便宜的视频办公室的需求将会很大。在流媒体技术方面，我们需要关注更高效的编码和解码方法、更低的延迟、更好的音频质量、更安全的数据以及与移动办公的兼容性。此外，还需要考虑大量场景需求，如在线教育。
■视频监控
除了我们过去熟悉的安防、交通、建筑等常规监控外，智能医疗、智能家庭、智能农业、景区监控也为视频监控带来了更大的空间。在未来的发展中，我们不仅要让监控成为物联网的图像传感器，还要将其连接到互联网，甚至尽可能多地进行交互。需要流媒体技术来克服这些问题。
6.国内外大型流媒体系统大规模流媒体系统是指包含完整流媒体组件、支持直播和点播应用、提供完美开发者组件的流媒体平台。这包括大型商业系统和优秀的开源系统。
MicrosoftMediaStreamingSystem和adobeMediaStreamingSystem由商业媒体公司家族提供，包括MicrosoftMedia和QuickTimeMedia的流媒体系统，以及包括数字版权保护在内的一系列企业和个人产品。除了it巨头，美国wowzamedia和其他专注于流媒体的公司也提供完整的产品。作为一家专注于流媒体技术的国内研发公司，观止云团队还提供广播电视编码器、BMS流媒体服务器、多终端播放器和流媒体外围系统。
在开源方面，服务器上的早期优秀项目包括前暴雪核心员工领导推出的红色5媒体服务器live555；目前，使用最广泛的nginx流媒体模块nginxRTMP是观止云团队推出的专注于互联网视频的优秀SRS。还有许多其他开源项目，包括开源编码工具、播放器和媒体制作工具，如著名的开源编码工具ffmpeg、OBS、播放器VLC、音频领域的Speex等。
7.总结流媒体技术的目标是在“尽力而为”的互联网上更好地传输视频和音频媒体。其最明显的技术进步是通过流传输协议实现实时直播信号，无需等待点播文件。我们今天面临的流媒体技术的应用环境更加困难，因此我们需要在新的挑战下优化和构建新一代的流媒体系统。在市场需求不断上升的同时，由于流媒体实施环节多、技术门槛高、技术人才匮乏，一般垂直领域不具备独立构建大规模流媒体系统的能力。因此，流媒体技术正在以基于云架构的云服务的形式成为第三方服务。
在新的环境中，我们应该更多地考虑能够提高效率和带来新的应用场景的新技术。此外，技术只是一种工具。面对竞争，我们应该更多地思考新的理念和内容，以及新的商业模式。
最新评论