音视频技术开发周刊 93期

 

音视频技术开发周刊 93期

 

音视频技术开发周刊』由LiveVideoStack团队出品,专注在音视频技术领域,纵览相关技术领域的干货和新闻投稿,每周一期。点击『阅读原文』,浏览第93期内容,祝您阅读愉快。

 

 

 

 

架构

 

  • Nodejs+socket.io搭建WebRTC信令服务器

    本文介绍了 Nodejs 的工作原理、Nodejs的安装与布署,以及如何使用 要sokcet.io 构建 WebRTC 信令消息服务器。socket.io 由于有房间的概念所以与WebRTC非常匹配,用它开发WebRTC信令服务器非常方便。

     

  • 蔡锐涛:CG内容互动与5G的碰撞

    在LiveVideoStackCon2019上海音视频技术大会前夕,LiveVideoStack采访了相芯科技资深图形引擎开发经理蔡锐涛,他从个人成长聊到CG(Computer Graphics),再到电影《阿丽塔:战斗天使》展现的空前的CG水平,并展望了5G带来的人机交互的新方式。

     

  • Sisvel的VP9/AV1专利池将对视频行业带来哪些影响?

    近期,Sisvel International S.A.公布了两个新的专利池,提供VP9以及AV1相关技术的专利许可,并声称AV1和VP9中包含部分受到专利保护的技术。Sisvel会对AOM主推的AV1普及带来何种影响,AOM对Sisvel是怎样的态度将备受关注。

     

  • ZLMediaKit高并发实现原理

    ZLMediaKit是一套高性能的流媒体服务框架,目前ZLMediaKit经过多次版本迭代,编程模型多次升级优化;已经趋于成熟稳定,也在各种生产环境得到了验证,本文主要讨论ZLMediaKit高性能实现原理以及项目特点。

 

传输网络

 

  • Netty解决粘包和拆包问题的四种方案

    本文首先会对粘包和拆包问题进行描述,然后介绍其常用的解决方案,最后会对Netty提供的几种解决方案进行讲解。

     

  • Google BBR拥塞控制算法背后的数学解释

 

音频/视频技术

 

  • 音视频分析工具StreamEye介绍

    Elecard StreamEye是一款视频分析工具:可以从不同的角度分析视频:TS级,ES级和实际的视频级;方便分析视频源,查找视频源相关问题;通过检查和分析视频流,以调整编码器,比较不同厂商的编码器。

     

  • Chromium 视频流请求与传递过程分析

    Chromium 浏览器在处理类似 chrome.desktopCapture 这样的视频流请求的时候,大致流程是什么样的呢?初步梳理了一下整个流程,流程还是比较长的,这里给出大概的类图,但只说明其中部分的关键点。

     

  • 语音识别传统方法(GMM+HMM+NGRAM)概述

    语音识别传统方法主要分两个阶段:训练和识别,训练阶段主要是生成声学模型和语言模型给识别阶段用。传统方法主要有五大模块组成,分别是特征提取,声学模型、发音字典、语言模型、搜索解码。

     

  • 通过端到端的数据侦测提升QoS

    通过收集网络传输的数据,并采用更接近主观主观评价的客观评价方式,可以有效反映QoS的水平,从而帮助运营方改进服务。

 

编解码

 

  • CAE+VBR如何提升用户体验?

    内容自适应编码(CAE)产生的是动态码率(VBR)视频流,根据内容复杂性为视频分配所需的码率从而让“编码质量”与“码率/带宽/存储空间”达到最佳平衡,为用户提供最佳的体验质量。

     

  • Versatile Video Coding(VVC)总结

    JVET于2018年4月10日美国圣地亚哥会议上,为新一代视频编码标准定名为Versatile Video Coding,主要目标是改进现有HEVC,提供更高的压缩性能,同时会针对新兴应用(360°全景视频和HDR)进行优化。

     

  • WebRTC的视频解码原理简析

    WebRTC的视频部分,包含采集、编解码(I420/VP8)、加密、媒体文件、图像处理、显示、网络传输与流控(RTP/RTCP)等功能。

     

  • H.265与H.264的差异详解

    H.265仍然采用混合编解码,编解码结构域H.264基本一致,主要的不同在于:编码块划分结构:采用CU (CodingUnit)、PU(PredictionUnit)和TU(TransformUnit)的递归结构;基本细节:各功能块的内部细节有很多差异;并行工具:增加了Tile以及WPP等并行工具集以提高编码速度;滤波器:在去块滤波之后增加了SAO(sample adaptive offset)滤波模块。

 

AI智能

 

  • 移动端70+fps!谷歌新出高效实时视频目标检测

    图像目标检测是图像处理领域的基矗自从2012年CNN的崛起,深度学习在Detection的持续发力,为这个领域带来了变革式的发展:一个是基于RPN的two-stage,RCNN/Fast RCNN/Faster RCNN、RetinaNet、Mask RCNN等,致力于检测精度的提高。一类是基于SSD和YOLOv1/v2/3的one-stage,致力于提高检测速度。

     

  • 视频检测(Video Detection)资源列表

    近日,视频检测(Video Detection)受到广泛的关注,小编为大家带来了GitHub上视频检测合集列表。

     

  • 滑动窗口也能用于实例分割,陈鑫磊、何恺明等人提出图像分割新范式

    滑动窗口在目标检测中非常重要,然而最近何恺明等研究者表明,这个范式同样可以用于实例分割。他们提出一条新的道路,即将密集实例分割看成一个在 4D 张量上进行的预测任务,这也就是 TensorMask 通用框架。

 

图像

 

  • 运动模糊滤镜

    运动模糊是指快速运动的物体造成明显的模糊拖动痕迹;以简单的直线运动为例,运动模糊应该具有两个参数,分别是半径长度和角度;