高品质影像依旧是核心长板。

索尼将智能化拍摄带入高校课堂,录课不用摄影师也能搞定?

2023-07-17 10:27:17发布     来源:多知网    作者:贾导  

  来源|多知网

  演讲嘉宾|贾导

  整理|张蔚斐

  摄|冯玮

  今年初,索尼发布了一款可以解放教师双手、自动化拍摄、构图专业的4K PTZ智能中心构图摄像机新品。

  在我们还在寻找ChatGPT与人工智能在教育行业的应用与变革时,索尼已经交出了一份答卷。

  索尼的新品可以通过AI算法实现教育场景中智能化视频拍摄,几乎能替代摄影工作者,解决教育行业有录课需求,但缺少专业摄影师的痛点,是人工智能在教育应用领域中的一次突破。

  7月11日,索尼消费电子与专业系统本部市场总部,影像方案及移动通信市场部高级经理,影像与分析产品负责人贾导以“人工智能让拍摄更智慧”为题,在第41期多知OpenTalk的现场分享了这款PTZ智能中心构图摄像机。

  (以下为演讲全文,经多知网编辑整理)

  

  索尼影像方案及移动通信市场部高级经理贾导

  索尼的产品在很多高校都有广泛应用,例如清华大学混合课堂用的摄像机、上海交大用的云台摄像机等等。回到今天的主题“探索教育智能硬件的未来”,那么,索尼在教育场景里的影像产品长什么样?智能硬件到底帮助大家做什么?

  01

  自动化的教育场景视频拍摄,解决行业痛点

  当今不仅很多学校、教育机构都有录课的需求,在实际的教学场景中,还出现了更加复杂的教学场景—混合课堂,即一部分学生在现场、一部分学生在线上。复杂的应用场景对于影像拍摄的质量、操作智能化程度,都提出了更高的要求。

  在实时录课、在线传播过程中,大家发现这并不是一件轻松的事情。课堂中,老师不断走动,很容易就走出画面,网络稍有延迟就导致传播中断,画质不清、焦点模糊、光线昏暗、现场操作人员不足等种种问题存在于实际教育场景应用中。

  基于教育行业的需求和索尼的AI技术沉淀,索尼推出了具有人工智能分析的PTZ智能中心构图摄像机SRG-A40与SRG-A12两个型号的新产品,它们的亮点在于能很好的解决智能化、自动化视频拍摄的痛点。

  例如,老师在讲课走动时,过去的操作是由其他摄像师转动机器,寻找老师的画面,将人物置于C位。现在,索尼的设备会自动捕捉选定人物、追踪人物轨迹,即使画面中出现其他人,也不会丢失追踪对象。省去了以往摄像老师盯着设备手动调整画面的操作,使拍摄更自动化,节省人力。

  这款产品重点关注的行业包括教育、体育、医疗、政府、媒体等,这些行业的共同特点就是没有太多专业的摄像机操作人员,特别是教育行业,对操作简单、自动化程度高的教学设备需求很大。

  

  索尼SRG-A40/A12 PTZ智能中心构图摄像机

  强大的画面捕捉算法和高清成像质量,即使没有专业的摄影师,也能拍出高质量的课堂。除此之外,它还能解决摄像人手不足的问题。以往,一台摄像机旁往往还需要配一个摄像师管理设备,如果遇到多位教师录制,就面临人手不足的情况。PTZ智能中心构图摄像机可以自动在台后端进行操作。只需要一位老师就可以用该摄像机负责多间课堂的图像采集工作。

  对于有录课需求、课堂转播需求的学校和机构来说,自动化、智能化程度高的摄像机让教育行业智能化加快了脚步

  02

  AI构图,通过算法实现专业拍摄

  索尼的PTZ智能中心构图的核心优势有三点:

  其一,全自动操作,通过我们平台实现全自动地搜寻拍摄目标,并且开始跟踪;

  其二,构图模式与细节调整,满足教育智能化里面不同的场景的构图;

  其三,内置人工智能分析能力,对于供应商或集成商来说,可以节省成本,减少系统的节点;

  PTZ智能中心构图功能的关键是得到原生画质。对比普通的摄像机来说,照相机要实现中间有人的构图裁切,是通过裁切固定的4K画面中的一部分得到的,这种方式是低质量的,我们的摄像机通过Pan/Tilt/Zoom(平移/俯仰/变焦)三大操作,大家得到的是高品质原生画面。

  

  在跟踪拍摄方面,PTZ智能中心构图摄像机会进行面部识别,骨骼框架识别,对于检测到的拍摄者的骨骼框架进行多位置打点,分析计算每一个微小动作,并给出行为指令到云台。

  通过SRG-A40/A12智能中心构图功能,包括内置的核心处理芯片,索尼摄像机可以实现全身、半身、特写等多种构图切换。

  演讲者被识别之后,能够始终处在画面的中心位置,不会丢失拍摄目标。在构图方面,拍摄目标始终处于C位,即使演讲者有些轻微的动作,或者有干扰性路人穿插的时候,算法也能给出合理的构图,摄像机始终追着演讲者。

  

  03

  高品质影像依旧是核心长板

  索尼除了在AI方向的探索外,核心优势仍然在于高品质影像。

  索尼的成像器技术采用Exmor R背照式成像器,通光量提高,在暗环境也可以拍出好的画面。用Exmor R的成像器能够采集低噪点、高质量的图像,华为手机、苹果手机里面的成像器大部分应用到了索尼这一项核心器件。

 

  超分辨率技术使光学变焦倍增,加上清晰影像变焦功能和长焦转换模式,通过裁剪图像传感器的中心部分,A40在高清模式下摄像机可以扩展到80倍变焦,即使在阶梯教室也能拍出高质影像。A12可达24倍变焦。

  

  在宽视角方面,索尼以往的PTZ摄像机摄像机视角大约为65°,索尼新品则达到约70°,宽视角使捕捉到的画面更加宽广。

  

  索尼始终将用户的体验摆在第一位。以校园为例,老师在上课的过程中,可能会用到很多工具,电脑、翻页笔、话筒等,如果想转播课程,可能还需要在现场配备多名操作人员,对课堂环境有很大的影响。在使用场景中,老师肯定是希望场景中的设备越少越好,最好达到无感的操作环境,不影响上课。PTZ智能中心构图摄像机SRG-A40/A12 能做到的就是自动化操作,不需要过多的人员在现场,干扰课堂。

  我们不想让硬件加重老师的负担、剥夺了教师本该履行的职责,更不能让他分心。我们做产品一定不能脱离教育本身的逻辑。

  在教育智能化的探索过程中,索尼一直希望可以提高技术支持。从摄像机实现图像的采集、吸顶麦克风实现声音采集、再到商用显示器实现图像显示等,索尼专业产品都可以在教育环境中呈现。

  具有人工智能分析功能的PTZ智能中心构图摄像机正在逐步改变教育场景化的未来,基于人工智能技术呈现出的高清影像画质,为还原一堂精彩纷呈的沉浸式数字课堂提供了强有力的技术支持。

  以上就是我们今天关于索尼智能硬件的分享。感谢大家。

  04

  Q&A

  

  (与观众互动交流)

  提问:您好,我是元宇宙硬件销售代理商,也是一个消费者,摄像机这种场景我们经常会应用到,我们公司开线下沙龙就需要摄影师,不同的分享者间隔时间有长有短,这样的情况下,是不是后台需要有一个人操作?

  贾导:比如今天有三位嘉宾,轮流演讲,如果时间过长,为了保证会议效果,最好有一个人在后台进行手动选择,然后保持准确构图和跟踪,选择哪位演讲者,镜头就会一直跟着他,可以是嘉宾自己通过系统点击选择,给他设计一个很简单直观的操作界面,也可以是后面一位工作人员进行辅助。

  提问:我是一家咨询公司的市场分析师,比较关注咱们现在这套解决方案在教育场景是不是已经有落地?如果没有的话,未来期望的落地方向有哪些?

  贾导:这个产品今年1月31号全网发布,真正供货是6月初,在这之前进行了很多线下市场推广活动,例如在全国进行的11站线下推广沙龙活动等。

  我们的第一个案例来自于纽约大学上海校区,他们的学生有的在国外通过线上上课,有的在线下,他们的用法是把我们这些AI功能都用上,并且能够通过索尼免费的虚拟摄像头驱动软件,很方便接入到软件平台,不需要采集卡。

  在国内,我们还和东亚银行等进行合作。

  关于我们的销售规模和预期,目前大部分市场还是留给国内的录播一体的平台,而索尼这部分切入的目标市场有所不同,索尼的摄像机在国内的教育领域更多的是针对精品的AI智能混合课堂,而不是泛市场的录播系统。

  提问:这个摄像机能美颜吗?

  贾导:这个功能我们产品暂时没有加入,但是在新产品的设计时,会审慎的考虑用户的需求。索尼影像产品一直以来坚持真实还原,例如我们的相机、摄像机的使用者大多是进行艺术创作,因此索尼呈现的是一个没经过任何处理的原生画面,在这个基础上他们进行二次创作。但未来在教育、工作场景中如果客户有这方面需求,根据市场反馈,我们会考虑进行功能升级。

  提问:大家非常关心的一个问题是,跟踪老师到讲台的时候,板书或课件是否能看得清楚?

  贾导:我们今天的这款机器是一款4K摄像机,纽约大学之所以选择我们,原因之一就是因为我们拍的板书很清楚。另外,采用索尼的另一款AI设备,可以把板书提取出来,在老师的前面形成板书的画面,从后面提取到前面,让线上线下的观众,通过显示器可以清楚看到板书。课堂中最主要的信息是板书,板书的前置提取,都可以通过影像采集和AI分析的技术实现。

  提问:如果是两个老师在台上,摄像机怎么追踪呢?

  贾导:目前来讲,如果两个人都出现,两个人脸上都有选框,自动模式会优先选择第一个进来的人。也可以手动干预进行点选,这是1.0的版本。

  未来是会考虑一个问题,如果这两个人是分道扬镳,你往这边走,我往那边走,怎么办?PTZ摄像机是物理云台在动作,AI算法给出云台指令到底跟谁,这有一定的逻辑难点,索尼也在研究这个场景的下应该给出什么样合适的构图。