SDK支持在推流端进行视频自采集,开发了深度学习框架Caffe

摘要原Facebook华人科学家贾扬清已正式加入阿里巴巴,担任技术副总裁岗位,领导大数据计算平台的研发工作。加盟阿里前,贾扬清在Facebook担任工程总监,负责大规模人工智能平台的架构。贾扬清攻读博士期间,创立并开源了深度学习框架Caffe,这一框架被微软、雅虎、英伟达、Adobe
等公司采用。贾扬清拥有加州大学伯克利分校计算机科学博士学位、清华大学硕士学位和学士学位,曾于新加坡国立大学、微软亚洲研究院、NEC美国实验室、Google
Brain工作,在Facebook工作期间,负责前沿AI平台的开发以及前沿的深度学习研究。他在伯克利的研究时间,开发了深度学习框架Caffe,在Google期间参与了ImgeNet2014比赛、TensorFlow平台的开发、基于深度学习的产品开发和产品咨询等。在AI领域有数年的研究经历。caffe是一个清晰,可读性高,快速的深度学习框架。目前,caffe是使用最多的深度学习框架之一。其作者就是贾扬清。caffe对整个deep
learning领域起到了极大的推动和影响。在深度学习里有举足轻重的地位。在深度学习领域,Caffe框架是人们无法绕过的一座山。这不仅是因为它无论在结构、性能上,还是在代码质量上,都称得上一款十分出色的开源框架。更重要的是,它将深度学习的每一个细节都原原本本地展现出来,大大降低了人们学习研究和开发的难度。这里是他的个人主页:

摘要声网SDK 2.3.2版于2019年01月17日发布。声网 Agora.io 是为 App
开发者提供全球范围实时音视频通信服务的云服务商.1、简介以下是来自声网官方网站的介绍:声网
Agora.io 是首家为 App
开发者提供全球范围实时音视频通信服务的服务商,在全球部署了近 100
个数据中心,搭建 SD-RTN™(Software Defined Real Time
Network)这个专为「实时」所设计的虚拟通信网,来极大优化全球范围内的实时传输。声网Agora.io
为开发者提供有质量保证 QoE 的实时云服务。声网 Agora.io 于 2014
年成立,隶属于上海兆言网络科技有限公司,总部位于硅谷,研发中心位于上海。团队
90% 均为全球技术工程师,包括苹果Apple 视频算法架构师、Vidyo
产品负责人、Polycom 工程总监等,平均行业经验 10
年以上,团队有年服务数千亿分钟音视频通话经验和千万级并发的互联网直播经验。2、更新内容声网
Agora SDK 2.3.2
已经正式上线,开发者们可以在官网「下载」中找到各系统、平台对应的版本。我们在这次版本中有多项新增功能及优化,可全行业场景的实时互动体验带来提升,尤其针对在线教育的多个场景进行了优化。本次升级针对音视频处理增加了多个新接口。随着新版本的上线,我们也在网络抗丢包、动态自适应、抗抖动策略等网络层方面进行了优化,针对全行业场景的网络传输质量均得到了提升。在抗丢包方面,优化的前向纠错,丢包边界提升了约10%。我们还提升
iOS 低端设备和Windows设备上的 SDK 性能,优化比率约20% –
30%。接下来,我们详细看一下本次的新增接口、功能改进。新增功能1.Windows
新增视频自采集为方便开发者在通话或直播中使用外部视频数据,此次新增两个接口:setExternalVideoSource:配置外部视频源pushVideoFrame:
它会通过ExternalVideoFrame推送外部视频帧给 Agora
SDK支持在推流端进行视频自采集。启用后,应用程序将外部的视频帧数据推送给
Agora SDK
进行编码和传输。该方法适用于用户在发送端自己做采集、渲染,然后把视频帧发送给
Agora SDK
进行编码和传输的场景。开发者可以拿到裸数据后做前处理。2.移动端前置摄像头曝光与对焦当用户在视频通话或直播连麦时,可以通过点击屏幕来调整对焦、曝光,可以带来更好的体验。2.3.2版本新增如下接口,支持对兴趣点自动曝光功能。开发者可以将需要自动曝光的区域位置发送给
Agora
SDK,摄像头会基于该区域自动曝光。isCameraExposurePositionSupported:检查设备前置摄像头是否支持手动调整曝光位置setCameraExposurePosition:设置手动曝光的位置,会通过positionXinView和positionYinView两个参数分别表示触摸点相对于视图的横、纵坐标onCameraExposureAreaChanged:摄像头曝光区域已更改时会有回调3.Windows
与 Mac
端新增自定义视频源画质为了提升自定义视频源的画质,并可以更好地满足多种需要调整画面大小的场景,新版本引入了setVideoEncoderConfiguration可用来替换原setVideoProfile接口,设置视频编码属性。该新接口中的VideoEncoderConfiguration类对应一套视频参数,包含视频的分辨率、帧率、码率、最低编码码率
以及视频方向。原接口 setVideoProfile 仍可使用。4. Windows
端支持音频自渲染为了给开发者灵活的开发体验,Windows SDK
新版本开始支持音频自渲染。启用后,应用程序会采用主动拉取的方式从音频引擎拉取远端已解码混音后的音频帧,用于外部音频播放。setExternalAudioSink:
设置外部音频自渲染,可以将采样率设置为 8KHz、16KHz、32KHz、44.1KHz 或
48KHz。pullAudioFrame:拉取音频帧用于外部播放5.新增虚拟声卡采集新版本在enableLoopbackRecording接口中新增参数
deviceName,支持用户使用虚拟声卡进行采集,相对之前版本,能让人声与背景音乐合成后的音质效果更好。请注意,当该参数
NULL
时默认使用当前声卡采集。如需使用虚拟声卡,直接使用虚拟声卡的产品名传参即可。6.控制音乐文件的播放音量为方便用户控制混音音乐文件的播放音量,新版本在已有adjustAudioMixingVolume的基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。该版本梳理了用户在音频采集到播放过程中可能会需要调整音量的场景,及各场景对应的
API,供用户参考使用。详见官网文档「调整通话音量」部分。网络传输质量优化与此同时,我们在这段时间,还进一步优化了网络传输质量,例如在抗丢包方面,优化的前向纠错与自动重传特性,丢包边界提升了约10%。我们还在原基础上优化了动态自适应算法,进一步降低视频卡顿的发生几率。针对音频传输,本阶段还优化了抗抖动策略,改进音频的延迟与质量。更多改进与优化音乐文件音量控制:在adjustAudioMixingVolume接口基础上新增adjustAudioMixingPlayoutVolume和adjustAudioMixingPublishVolume接口,用于分别控制混音音乐文件在本地和远端的播放音量。改进网络连接状态生成策略:新增getConnectionState和onConnectionStateChanged接口,用以获取
SDK
的网络连接状态,以及连接状态发生改变的原因。废弃了原有的onConnectionInterrupted和onConnectionBanned回调。改进音频质量数据统计:增加onRemoteAudioStats,替换onAudioQuality接口,可提供分段统计音频
E2E

摘要2019年1月15日,快播王欣召开内部产品交流会,回应微信的封禁,并解释为何将新IM社交产品取名“马桶MT”。1、引言2019年1月15日,真是个“黄道吉日”:快播创始人王欣宣布上线马桶MT、罗永浩站台快如科技、字节跳动张一鸣发布社交新品。3款APP宣战微信,成为今天互联网上最热的话题。要知道,距离张小龙4小时的微信公开课逆天演讲才仅仅过去整整一周时间。对于出狱不久的王欣来说,挺进社交是一个大胆的尝试,甚至有些冒险。在社交领域,微信坐拥10亿用户,牢牢占住第一把交椅,而无秘不见了,来往死了,子弹短信也凉了,各种匿名社交软件也大多掀不起风浪,即便更多创意正破土而出,王欣依然觉得有点在“接缝中求生存”。▲王欣在马桶MT内部产品交流会现场但他直言自己热爱这种持续创业的感觉。快播时代已经过去了,现在,他的核心是云歌,是马桶MT。2、“马桶MT”来源于刘德华的一首歌在现场,王欣解释了新品的名称由来。12号决定发布产品,15号召开内部产品交流会,时间上衔接的非常紧凑,而这种快速变化的节奏一直新团队中存在。王欣终于说出了取名“马桶MT”的原因——他个人是刘德华的粉丝,《马桶》是歌手刘德华的一首歌曲,仅此而已。截止发稿,雷锋网注意到王欣在个人微博上同步了这一信息。值得一提的是,王欣的新公司取名“云歌”其实来源于他在狱中的一个梦,梦到了“Ringle”这个单词(字典里不存在),结合了“Ring”和谷歌的“gle”,既是兴趣,也是天意。他表示,自己出狱后十几二十天就开始筹划社交产品,2018年6月正式启动了这个项目,在大型定位不变化的前提下,马桶MT已经被推翻重建3次以上。现在,马桶MT绝不对标任何一款产品,换句话说,马桶MT绝对不做抄袭。做一款产品的时候,王欣觉得自己更关注能不能解决用户的痛点:“小众的东西要切对市场”。“同行产品都是在做长连接(微创新,延续的)创新,我们做的是短连接,不一样的创新。”言下之意就是做细分的市场,做微信没有的市场,做别的匿名软件做失败了的市场。当被问到1月14日微信禁止了马桶MT的分享链接这件事,王欣表示,马桶MT的红包激励机制可能违反了一些腾讯的玩法,但与微信的定位是完全不一样:马桶MT红包激励其实就是知识付费,目前在和微信沟通,今后团队也会寻求解决办法。卧榻之侧岂容他人酣睡,对于微信的第一次反击,王欣显然没有预料到。横向对比国内目前的匿名社交APP,实际上都没有做得很出色。王欣表示,马桶MT也考虑到了敏感政治/色情的风险隐患,但是会进行人工智能的过滤和人工干预,但更多的是引导用户正确地使用这款产品。3、马桶MT上线用户数破40万截至目前,马桶MT上线用户数已经突破40万。关于马桶MT的社交属性,其实网络上已经流传开:主打匿名社交(这一点是微信所不具备的)。▲马桶MT的应用介绍和功能特色马桶MT产品负责人表示,马桶MT这款产品实际上只是在做一件事:匹配人、匹配内容、匹配圈子。他表示,2018年,社交领域的投资非常火热。社交成为资本新宠,这源于快速的发展节奏,让每个人内心产生焦虑和孤独感。而马桶MT正是对准了这个方向,希望能够去解决这些问题。如何实现?在马桶MT的逻辑里面,通过社交网络(聊天对话)和内容网络(音乐视频游戏)双管齐下。负责人指出,在目前的社交APP中,存在4个普遍的问题:自我身份矛盾化:多个APP需要做人格的切换,人会产生远离网络的情绪;社交压力:朋友圈有各种社交关系,当想发出某种声音,会有社交与道德压力;关系冗余:大多APP中存在无谓的关系,即彼此不联系,多为僵尸朋友;信息冗余:越多的冗余关系会造成信息冗余,朋友圈的信息占用太多时间。▲马桶MT
APP下载界面宣传标语而马桶MT就是为实现“社交目的”而构建,存在以下3个特点:马桶MT的开放与封闭、公开与私密(外界标签):话题其实是开放的,用户内容也会与其它某些社交平台有一定打通,因此并非是一个封闭的软件;降低社交压力:基于认同感,去掉人的多重身份,有专属ID;提高信息的“价值效果”:有抢红包功能,根据信息水平提供红包奖励。此外,红包能加速传播性,匹配价值效果。4、马桶MT将成王欣新的征途吗?王欣出生在1980年,即将步入不惑之年。在他入狱的那段时间,短视频掀起流量红利,头腾大战300回合,网约车成为新宠,共享单车大起大落,AI技术赋能一切……可以说,这3年6个月是中国互联网变化极为迅速的年份。回顾王欣此前的经历,大起大落,而马桶MT会成为他的下一段征途的起点吗?创立快播:不喜欢国企氛围,辞职创业;结识陈天桥,进入盛大工作。2007年,王欣正式成立了快播——尽管当时团队只有5个人。快播用户达到3亿:经过几年飞速发展,快播在2011年成为了全中国市场上占有率第一的播放器。违法事件:2014年,快播因涉嫌传播淫秽物品牟利被起诉,该案于2016年在北京市海淀区人民法院一审开庭审理。提出“技术无罪”:2016年9月9日,王欣认罪。他也提出了当时轰动一时的“技术无罪”的观点。出狱创立云歌:2018年2月7日,王欣出狱,距离他入狱已过去3年6个月。上线马桶MT:2019年1月15日,王欣亮相,介绍社交新品马桶MT。在现场,王欣推荐与会人员一本书:《延展》(美国莱斯大学管理学教授斯科特·索南沙著)。这本书讲的是最少资源做事越容易成功,资源越多越容易失败,有时候办法就藏在我们已有的资源里面,关键是看你能不能创造性的使用它们。“用小资源撬动大市场——也是自己和团队接下来坚持的方向。”此前2018年12月24日平安夜,王欣就发微博称:“团队不断在壮大,大家的配合效率和氛围也越来越好,时不我待,蛰伏修炼,在即将到来的新的一年,我们将陆续呈现新产品,敬请期待。
”网友表示已经准备好充钱,还王欣一个会员,补偿他和他的优秀作品。现在,马桶MT来了,你们下载了吗?5、“马桶MT”相关链接官方网站:]
新的时代:今日三款新IM正式宣战微信!》《[资讯]
快播王欣发布匿名IM社交软件“马桶MT”》

时延,便于开发者查询。提供更精准的质量报告:优化了onNetworkQuality接口的算法。优化打分反馈机制:rate接口的打分范围缩小到了1

5,方便终端用户为本次通话、直播连麦打分和反馈。音乐教学场景的音质优化:针对音乐教学等高音质需求场景,进行了音质改进。通过调用setAudioProfile,将
Profile 设置为 MUSIC_HIGH_QUALITY(4),Scenario设置为
GAME_STREAMING(3)
实现。3、声网链接下载地址:

相关文章