WebRTC实现浏览器上的音视频通信
发布网友
发布时间：2024-10-02 05:16
共1个回答
热心网友
时间：2024-11-13 00:33
WebRTC技术包含一系列标准，使得在浏览器之间实现实时通信成为可能。其中，ICE（交互式连接机构）是一个关键框架，它允许浏览器在面对防火墙、NAT*或路由器配置问题时，与同级浏览器建立连接。STUN（NAT的会话横向公用设施）和TURN（中继服务器）是实现ICE功能的两种服务器。
STUN协议用于发现客户端的公共IP地址，以及判断路由器是否*了客户端与同级浏览器之间的直接连接。当客户端向互联网上的STUN服务器发送请求时，服务器会返回客户端的公共地址以及NAT后面是否访问客户端的信息。
NAT（网络地址翻译）用于为设备提供公共IP地址。每个连接到路由器的设备拥有一个私有IP地址，请求将从设备的私有IP地址转换为路由器的公共IP地址，并附加一个独特的端口。这样，即使设备没有独立的公共IP地址，也能在互联网上被发现。
在一些情况下，某些路由器采用称为“对称NAT”的*，只允许从先前连接的对等方接收连接。这时，使用中继（TURN服务器）进行横向通信旨在绕过对称NAT*，通过服务器中继所有信息。这虽然增加了开销，但确保了即使在*性更强的网络环境下也能实现连接。
会话描述协议（SDP）用于描述连接的多媒体内容，包括分辨率、格式、编解码器、加密等元数据，以便在数据传输时，两个浏览器能够相互理解。
WebRTC API包含三个主要功能：获取音频、视频以及任意数据流。getUserMedia方法用于获取音频和视频，即将麦克风和摄像头的输入流传输至浏览器。Chrome、Opera和Firefox支持该方法，而IE暂不支持，但msGetUserMedia作为备选以确保未来兼容性。
getUserMedia方法接受三个参数：要获取的多媒体设备对象、获取成功时调用的回调函数（onSuccess）和获取失败时调用的回调函数（onError）。成功时返回的stream对象包含audioTracks和videoTracks数组，分别表示音轨和视轨的数量，以及它们的属性。
当网页使用getUserMedia方法时，浏览器会询问用户是否允许访问麦克风或摄像头。如果用户同意，回调函数onSuccess会被调用，返回的数据流对象stream可以被用于显示视频或音频。获取摄像头后，可以使用Canvas API的ctx.drawImage(video, 0, 0)方法将视频帧转为canvas元素，实现截屏功能。
获取麦克风声音需要借助Web Audio API。getUserMedia方法的*条件可以指定录制高清或VGA标准视频，同时，通过MediaStreamTrack.getSources方法可以指定使用本机的某个摄像头或麦克风。
RTCPeerConnection用于在浏览器之间建立点对点通信，实现音频、视频数据的传播。该API包含复杂的工作，如信号处理、多媒体编码/解码、数据安全、带宽管理等。
通过服务器，两个客户端可以使用Session Description Protocol（SDP协议）交换元数据。WebRTC协议未规定与服务器的通信方式，因此可以使用WebSocket等技术实现。
RTCPeerConnection在Chrome浏览器中名为webkitRTCPeerConnection，在Firefox中为mozRTCPeerConnection，Google维护的adapter.js库抽象了浏览器之间的差异。
RTCDataChannel用于在点对点之间传输任意数据，其API与WebSockets类似。
外部函数库如SimpleWebRTC、easyRTC、webRTC.io用于视频聊天，PeerJS、Sharefest等用于点对点通信。这些库简化了WebRTC技术的使用。
