你的位置:SOPH中文网 > IDIA中文网 >

深度对话Kane老师:智能导播系统的创新应用与前瞻展望|易科|麦克风|摄像机|dsp

发布日期:2024-10-22 17:17    点击次数:131

易科体验中心突出展示了易科的集成服务如何实现了沟通和协作空间内的软硬件结合,从而满足现代应用的使用需求。

易科体验中心主要由一间培训室及与之相连的会议空间和会议室组成。该体验中心旨在向用户展示不断发展的前沿技术为沟通和协作应用带来的独特功能。

本文系国际媒体《Inavate》杂志对Kane老师的专访译文。

Kane Zhang

易科国际高级副总裁&网络音视频CTO

InfoComm 品牌大使

AVIXA CTS-D 认证工程师

CCNA, ENS认证工程师

Dante培训师

Kane Zhang在音视频领域拥有超过35年的丰富经验,擅长包括会议系统、背景音乐系统、多功能礼堂、报告厅,展览展示系统以及公共广播系统在内的不同类型音视频系统的设计和集成。Kane拥有思科的CCNA网络工程师认证,Extreme 的ENA、ENS网络专家工程师认证以及InfoComm CTS-D 音视频工程设计师认证。近10年来,一直致力于推广会议室及培训室的标准化建设。为行业打造了具有“独立”精神的集群会议整体解决方案-“铁思”方案,即以用户体验为导向推动底层技术研发和创新,从端到端解决会议场景中常见的各种使用痛点。贡献并推动了现代会议室音视频集成体验的全新变革。Kane曾经在亚太区参与设计和调试的了众多大型项目,包括:2018年的青岛上合峰会、2017厦门金砖五国峰会、香港理工大学校董会、香港终审法院。

▻▻▻

易科高级副总裁&网络音视频CTO Kane Zhang首先谈到了集成商们希望实现的效果:“在培训室或者会议室环境中,无法保证人们会坐在哪里或站在哪里。他们可能挤在一起,也可能相隔很远。但技术的核心目标始终不变,那就是人们希望自己能被清楚地听到和看到。在音频方面,麦克风技术已经发展到可以覆盖到所有空间。而在视频方面,主要采用的是摄像机追踪技术,即摄像机指向不同的方向并根据需要进行切换。现在易科已经开始采用另一项技术——“智能导播”。因为仅仅从一个视角切换到另一个视角是不够的,你必须将发言者和演示的内容框起来,才能准确传达信息和场景,就像导演对电影镜头进行取景一样,不仅要把人物拍进镜头里,如果他们移动,摄像机还需要追踪他们;如果他们在白板上写字,那么白板上的内容也要拍进镜头里。这一切需要智能技术才能做到。我们想在培训室展示的,正是这种智能技术的可行性。“

易科培训室的音频链路由Audix会议话筒、思美DSP、Powersoft功放以及IPS扬声器组成。DSP的选择对于现代会议空间的构建至关重要。Kane老师谈到了思美处理器的优势:“现代DSP对生态系统来说至关重要,特别是在经过软件编程后,我们可以使用DSP来构建终端用户所需的技术系统。同时,DSP的可扩展性也很重要,因为我们需要根据客户需求的变化扩展系统规模。在我看来,思美DSP的优势在于其非凡的音质和动态范围。它具有目前市面上最出色的模数/数模转换器,且基于硬件并采用FPGA,因此功能非常强大且稳定。”

DSP产品也是构建易科体验中心的关键。作为易科内部开发的智能摄像机和发言人追踪模块,智能导播系统旨在为用户提供更方便、功能更强大的沟通和协作空间。

Kane老师说:“我们所有的智能化工作都基于DSP 。对我们来说,重要的是能够使用Lua编程。Lua是一种简单的编码语言,让我们可以直接与机器对话。它让我们能够在硬件和软件之间建立直接对话。我们使用了Lua来构建智能导播系统引擎。”

Kane老师向我们详细介绍了智能导播系统如何推动了音视频技术的发展:“目前,我们主要通过三种方式实现摄像机追踪和发言人追踪。第一种是通道识别,即我们可以准确识别正在使用的麦克风,并以此向摄像机发送指令,使其指向正在使用的麦克风。第二种是空间识别,即尝试确定人物的实际位置,并以此进行摄像机追踪。最后一种是使用图像分析和AI,即利用肢体语言识别人物并将摄像机对准取景。在我看来,要想获得完美的效果,需要将这三种方法结合在一起,形成一个一体化解决方案。”

Kane老师还详细解释了为什么作为解决方案供应商的易科是提升摄像机追踪和发言人取景效果的最佳之选:“制造商无法做到这一点,因为他们有自己的专长和擅长的领域。但我们是解决方案供应商。我们的工作是将不同制造商的产品集成在一起。这就是我们创建智能导播系统的原因。我们的技术核心是思美DSP,我们非常擅长发挥DSP的功能。我们选择思美DSP作为我们智能导播系统的平台,并可以将各种终端与其集成。”

Kane老师接下来谈到了开发智能导播系统所付出的努力:"多年来我一直在研究摄像机追踪技术。智能导播系统目前是3.0版本。我们花了大约一个月的编程时间开发出1.0版本。然后花了三年时间才开发出2.0版本,因为我们必须确保系统的稳定性。现在我们的版本是3.0,我们相信它已经非常稳定,可以随时配置给用户使用。“

在谈到面临的挑战时,Kane老师说道:“我们目前面临的最大挑战是如何将系统投入到实际项目中进行测试。我们一直在向客户提供智能导播系统,并且已经进行了系统安装。但毕竟需要AI摄像机的房间数量只占会议空间总数的一小部分,通常PTZ摄像机就足够了。我们还需要不断地从实际应用中获得反馈,从而进一步提高系统的功能。”

Kane老师继续说道:"第二个挑战在于摄像机。目前的智能导播系统需要与Aver摄像机配合使用。而我们面临的问题是,市场上的大多数摄像机没有向我们开放足够的API,因此我们无法实现智能导播系统所需的深度控制。我们需要根据具体情况与制造商进行沟通,请他们释放控制权,这样才能执行下一步操作。”

Kane老师总结表示:“总体而言,智能导播系统需要DSP、麦克风和摄像机的协同工作。我们可以做到这一点,但我们还需要整个行业团结起来,认识到产品协同工作的重要性。终端用户需要的是单击一下按钮即可运行的系统。作为解决方案供应商,易科的工作就是实现这一目标。我们也需要制造商、供应商和解决方案提供商的共同支持。”





  • 上一篇:没有了
  • 下一篇:没有了


Powered by SOPH中文网 @2013-2022 RSS地图 HTML地图

Copyright Powered by站群系统 © MOLI 2013-2024