又一全新交互技术?用人工智能给图像配音,看声音景象下神奇体验

[导读] 先想象这样一个场景:当你看到一个画面时,通过一个小应用,能随时配上一首契合图像意境的音乐,是不是看起来更酷?

先想象这样一个场景:当你看到一个画面时,通过一个小应用,能随时配上一首契合图像意境的音乐,是不是看起来更酷?

20180606991

有这样一种假象:当音乐响起,结合画面图景,会让你产生一种远离办公室或卧室,坐在森林旁边的潺潺流水中,甚至分身到暴露的山坡上的情景感。

日本研究人员的一个新项目就利用了这种想象力的潜力,并将其与AI算法结合,实现了这种奇妙的效果。

具体说来,是通过一款叫“Imaginary Soundscape” 的网络应用程序,使用机器学习来将您上传的任何图片和最符合的音频配对。

官方首页

官方首页

上图为这款产品的首页,简单明了,你要做的就是上传一张图片,然后进入另外一个页面,显示你上传的图片同时,同时就会放出经过AI算法匹配后的背景音乐。

例如,上传日本的渔船木刻,这个系统会匹配波浪和水声;加载一幅抽象的夜莺画作,人工智能会给你搭配一首风铃和鸟叫的音景音乐。

20180606993

再比如上传上面这个画面,系统匹配的音乐就是一首相当古典的交响乐。

通常来说,结果正如你所期望的那样,画面什么样,匹配的音乐也近乎切合。但更有意思的是,当系统接收到你上传一些稀奇古怪的元素时,系统反馈的配音也会带来惊喜,比如将擎天柱与拖拉机声音配对。

系统如何工作的示意图

系统如何工作的示意图

所有这些都是一个相对简单的AI算法的产物。它使用物体识别来识别图像中的元素,然后将这些元素与超过52,000个声音文件的数据集进行匹配。

这个产品的研究人员,东京大学的Yuma Kajihara,Shoya Dozono和Nao Tokui多年来一直在研究这种“交叉模式”模型。

Imaginary Soundscapes的早期版本于1月份推出,旨在将音频与Google街景视图中的图像进行匹配。

这是一个有趣的小应用程序,也是AI支持的新型创意表达的绝佳示例。该系统并不完美,比如模糊识别会造成错误,而声音数据库无可避免地不完整,但这也是其魅力和神奇所在,你永远不知道它会给你匹配什么美妙的音乐。

如果有的话,它产生的偶然和意想不到的音乐背景比“正确”的匹配更有趣。

未经允许不得转载:数智网 » 又一全新交互技术?用人工智能给图像配音,看声音景象下神奇体验

分享到: 更多