音视频技术开发周刊 89期

 

音视频技术开发周刊 89期

 

音视频技术开发周刊』由LiveVideoStack团队出品,专注在音视频技术领域,纵览相关技术领域的干货和新闻投稿,每周一期。点击『阅读原文』,浏览第89期内容,祝您阅读愉快。

 

 

 

 

架构

 

于冰:用户导向的音视频体验优化

在LiveVideoStackCon2018音视频技术大会上,快手音视频技术负责人于冰分享了题为《用户导向的音视频体验优化》的主题演讲,从用户的角度来去谈音视频的体验优化。

 

TutorABC打造覆盖全球的WebRTC实时课堂之路

近年来,在线教育行业发展如火如荼,iTutorGroup 研发总监 董海冰总结了团队在实时互动云课堂TutorMeet+开发过程中的经验教训及技术难点。本文来自其在LiveVideoStackCon 2018音视频技术大会的演讲,并由LiveVideoStack整理而成。

 

《WebRTC1.0: 浏览器间实时通讯》中文版免费下载

本文是WebRTC工作组最新一次会议后的候选推荐标准,基于WebIDL定义了一组ECMAScript API,允许在实现了相关实时协议的浏览器或设备之间发送和接收媒体内容。同时也是对WebRTC的一个全面介绍,包括WebRTC中的各个术语,独有的概念,API的使用规范,详细的算法流程和一些注意点,并且对涉及的数据结构及其属性进行了剖析。

 

WebRTC知识点概览

WebRTC 即 WebReal-TimeCommunication(网页实时通信)的缩写,是一个支持网页浏览器之间进行实时数据传输(包括音频、视频、数据流)的技术。经过多年的发展与改进,日臻成熟,作为浏览器网页端的通信技术,WebRTC与H5巧妙结合,使得网页端的音视频通信变的简单易行。

 

传输网络

 

我的HTTP/3学习笔记

本文记录了作者在HTTP/3 学习,了解过程中的相关问题思考与总结。

 

熊猫直播P2P分享率优化(上):IP组网

本文来自熊猫直播基础研发部的投稿,是熊猫直播P2P分享率优化系列文章的第一篇。本文已授权LiveVideoStack发布,重点展示了熊猫直播通过IP组网提升P2P分享率的探索。

 

音频/视频技术

 

MPEG沉浸式视觉体验技术发展

早在MPEG-2视频中,大多数MPEG视频编码标准中就有多视图或3D配置文件。因此,本文将回顾MPEG在开发新的技术以支持沉浸式体验方面所做的尝试。

 

视频内容安全保护技术分析与实现

近年来,视频已逐渐成为互联网内容的主流,如何保障视频内容的安全,防止非法盗版,传播成为众多企业关注的重点。在LiveVideoStackCon 2018 大会中,OnVideo视频云创作平台联合创始人刘歧详细介绍了防盗链的基本策略以及HLS/DASH加密等视频媒资保护技术手段的原理与实现。

 

Mozilla发布最大公共语音数据集Common Voice

常用的开源变声算法有SoundTouch 和Rubber Band Library。其中 SoundTouch是一款用C++编写的开源的音频处理库,可以改变音频文件或实时音频流的节拍(Tempo)、音调(Pitch)、回放率(Playback Rates)......

 

图像超分辨率重建--基础原理(1)

图像超分辨率重建 (SRR) 技术可以利用多帧低分辨率图像 (LRIs) 重建出一帧高分辨率图像 (HRI) ,还原出低分辨率采样图像中丢失的细节。

 

编解码

 

机器学习中的编码器-解码器结构哲学

机器学习中体现着各种工程和科学上的哲学思想,大的有集成学习,没有免费午餐,奥卡姆剃刀;小的有最大化类间差异、最小化类内差异。对于很多问题,存在着一类通行的解决思路,其中的一个典型代表就是“编码器-解码器”结构。这一看似简单的结构,背后蕴含的工程思想却非常值得我们学习和品味。

 

RtmpPusher之深度学习编码协议H264

x264是根据H264编译协议写出来的一个编码库,两者就是这样关系。在H264协议里定义了三种帧,完整编码的帧叫I帧,参考之前的I帧生成的只包含差异部分编码的帧叫P帧,还有一种参考前后的帧编码的帧叫B帧...

 

视频图像编解码相关评价指标

图像算法、视频编解码领域对于图像质量、编码效率有各种不同的评价指标,本文重在总结讲述不同类型的评价指标。

 

了解视频编码与VideoToolBox框架

在iOS4.0,苹果就已经支持硬编码.但是硬编码在当时属于私有API. 不提供给开发者使用。在2014年的WWDC大会上,iOS 8.0 之后,苹果开放了硬解码和硬解码的API。就是VideoToolbox.framework的API。

 

MediaCodeC解码视频指定帧,迅捷、精确

此篇文章,主要是分享如何用MediaCodeC解码视频指定时间的一帧,回调Bitmap对象。之前还有一篇MediaCodeC硬解码视频,并将视频帧存储为图片文件,主要内容是将视频完整解码,并存储为JPEG文件。

 

AI智能

 

万字长文详解腾讯优图 CVPR 2019 入选论文

CVPR 2019 即将于 6 月在美国长滩召开。今年有超过 5165 篇的大会论文投稿,最终录取 1299 篇。此次,腾讯公司有超过 58 篇论文被本届 CVPR 接收,其中腾讯优图实验室 25 篇、腾讯 AI Lab 33 篇,以下便是对腾讯优图实验室 25 篇被录用论文的详细介绍。

Stereo 3D Object Detection

CVPR年的文章也出来了,今天聊聊双目的3d object detection。这是一篇来自DJI与港科大合作的文章,作者分别是li peiliang,陈晓智 @陈晓智 (DJI,MV3D的作者)和港科大的shenshaojie老师。

大规模机器学习在爱奇艺视频分析理解中的实践

随着 AI 时代的带来,互联网视频应用高速发展,视频更成为一种人人可生成的内容,数据量暴涨。如何利用机器学习将海量的视频内容充分利用起来,成为 AI 领域研究人员和企业开发应用的重要课题。本文,我们将分享爱奇艺资深科学家王涛在 AICon 上的精彩演讲,介绍爱奇艺在大规模视频分析理解方面的实践探索。

 

CVPR 2019 | 惊艳的SiamMask:开源快速同时进行目标跟踪与分割算法

近日,CVPR 2019接收的论文《Fast Online Object Tracking and Segmentation: A Unifying Approach》作者Qiang Wang开源了这套SiamMask代码,引起了极大关注。

 

图像

 

基于无抽样方向滤波器组的指纹图像预处理

研究了M.N.Do设计DFB的无抽样形式,提出一种变换域指纹图像预处理增强方法。应用无抽样DFB对输入图像进行方向性子带分解,对各方向子带分块,根据块能量分布情况对子带图像重新加权处理。对处理后的子带图像重建得到增强图像,达到抑制噪声,增强特征之目的。实验表明算法对指纹图像处理效果良好。

 

从宝丽来到数字电影——图像与视频色彩的科学

本文来自Netflix技术博客,讲述了相机和电影行业如何通过技术手段还原图像与视频的原始色彩的。在现代电影制作过程中,这些技术被数字化了。感谢快手视频和图像算法团队的翻译与技术审校。

 

Matlab 图像处理相关函数命令