2021年5月15日,融云X-Meetup技术沙龙 三站续航上海。本场沙龙聚焦“音视频技术新方向”,由融云音视频研发高级工程师姜春雨、时光机器人创始人兼CEO徐晶、融云IM研发中心高级工程师刘佳、学而思网校架构师李亚龙,和资深音视频技术专家栗伟,五位技术大咖出任演讲嘉宾,他们以时下热门应用场景为视角,从技术实践出发,与开发者们交流 了关于音视频技术的新观察。

iOS 上的音频开发
今年,由于Clubhouse和Tiya的示范效应,语聊房产品大火,音频的开发技术备受开发者的关注。来自融云的音视频研发高级工程师姜春雨,多年专注于移动端和音视频领域的技术研发,他 了《iOS 音频设备开发 - Core Audio》的主题内容。

融云音视频研发高级工程师姜春雨发表演讲
姜春雨认为:移动端音频处理的难点在于声音美化、变声、实时高音质和场景玩法多样化。单从iOS设备来说,要突破这些难点,离不开iOS所提供的Audio Unit,它是一项强大灵活的音频处理技术,支持混合、均衡、格式转换和实时输入/输出,用于录制、播放、离线渲染和实时对话。
融云SDK以Audio Unit为基础,构建了长音效、短音效等多个功能模块, 终在音频设备上完成混音输出。在场景化实践中,姜春雨以音乐语聊房和百人超大会议室两个典型场景为例, 了融云SDK的技术开发优化方案。比如,音乐语聊房注重高音质、美声变声,以舒适噪音为好,开发者要根据这些需求进行算法调优;而超大会议室的优化则要求做到服务端智能发流、多人声音同时出现可以智能选择会议发言人的声音。
姜春雨总结道:Audio Unit是一个强大的音频处理框架,音频处理要基于Audio Unit框架构建内容,并且要在音频处理内容上不断打磨优化。未来,融云音视频SDK还将不断基于不同场景需要开发新的功能,持续优化音频产品,为开发者提供更好的解决方案。
构建低延迟高可靠的信令系统
融云作为互联网通信云赛道的领先厂商,2020年在业界率先提出“IM+RTC+PUSH”的整体通信解决方案。融云RTC唤起用户的通道就是依赖于IM的SDK信令,因此,本次融云的IM研发中心高级工程师刘佳, 了《构建低延迟高可靠信令系统的探索与实践》,帮助开发者更好地了解融云IM如何协同RTC,提供高可靠的通信能力。

融云IM研发中心高级工程师刘佳
刘佳介绍,高可靠音视频信令系统的构建在IM信令系统设计时,首先要进行服务分层,包括接入层、内部服务和数据存储的分层。而拆分原则要根据业务差异和服务对象的不同,拆分为API和 CMP,整体做到可监控、可维护。其次,是要搭建完整的监控体系,通过可视化的图表,监看网络的性能情况,及时处理系统瓶颈。
对于低延迟信令系统的实现,刘佳 道,融云不仅利用全球加速网络,降低网络延迟,还基于融云自有通讯协议降低数据传输量,利用缓存机制,提高了服务的业务处理速度。并且,刘佳以缓存设计为例,说明通过一致性hash提高缓存命中率、高效利用CPU的处理能力、实施异步存储等,也都是实现低延迟系统设计的要旨。
基于这些设计要点,刘佳展示了海量并发用户场景下的语聊房系统架构,为开发者提供了干货解决方案。同时,他还总结出融云现有的音视频整体服务架构的三大优势: 一,信令服务与媒体服务解藕,两个服务之间也不需要状态同步; 二,媒体服务专注通信,信令服务专注能力; 三,部署简单,方便进行全球部署媒体服务。
直播系统架构设计 满足用户对实时性的需求
本场沙龙中,音视频直播场景也是一个重点话题。深耕互联网音视频12年,在直播领域积累了丰富实战经验的拾光机器人公司创始人兼 CEO徐晶,通过他的《互联网直播快速实战》, 了基于直播答题场景的架构设计,尤其是几个关键技术点和应对策略,以及如何保证直播中的视频和音频质量,都做出了详细的讲解。
沙龙中,专注于在线教育的学而思网校架构师李亚龙,还针对教育低延时大班的直播场景,为开发者带来了关于《在线教育直播系统架构升级》的 。他着重从网校视频技术的发展、网校大班直播系统、网校公益直播课、低延迟直播探索这四个方面的设计要点,进行了分析讲解。对于专注在线教育的开发者而言,具有普遍的示范意义。
版权声明:本文为原创文章,版权归 头条123 所有,欢迎 本文,转载请保留出处!
工信部:2021年国内集成电路全行业销售额首次突破万亿元
爱回收科技资讯:英特尔2021 COMPUTEX开幕
赋能开发者, 2021快应用风锐奖获奖名单揭晓
电视盒子处理器天梯图,2021机顶盒CPU天梯图
梦洁2021高端战略焕新起航,连续12年高端床上用品全国销量领先
科大讯飞:2021 年公司前装 700 万辆车,储备了
2021世界人工智能大会来了!智能小巴、“AI货郎担”等众多智能新品等你来体验
乘联会秘书长崔东树:2021 年 10 月中国占世界新
2021年 值得入手的投影仪是哪款?这10款随便选不会错
文都教育力推产品和服务标准化 2021 年将加速直营布局
2021—2025年 一批全国科普教育基地名单公布 仙湖植物园榜上有名
不容错过!中国2021年度 燃的营销数字化峰会来了
“2021年度江苏省数字化转型示范应用企业”颁布 龙蟠科技喜登荣誉榜
WICC2021 召开临近 荔枝 佳实践为开发者所期待
光通信器件厂商鑫宇科技拟二度挂牌新三板 2021年净利润不及股东对赌业绩的1/10
亿航空中新媒体1300架无人机点亮2021 争做国家安全守护者
707场学术会议入选 中国科协《重要学术会议指南(2021)》正式发布
Canalys:2021 年中国智能手机增长乏力仅增 1%,v
国家中医药管理局:2021年我国中药工业主营收入近7000亿元
用前沿技术为生活添彩 腾讯优图 “AI画廊”于2021重庆智博会初次登场