师丹青:数据在不同媒介语言中的艺术“转译”

标签:大数据中国技术商业论坛师丹青媒介语言

访客:34623  发表于:2013-11-29 16:14:00

【导读】概念相机、听觉剧场、如影随形的建筑……从深度信息转化到光影信息,从图像信息转化到文字,从个人的信息转化到个性化定制的空间等,数据一旦被翻译,被转化,将带给我们哪些独特的体验与惊喜?

师丹青:数据在不同媒介语言中的艺术“转译”

在11月8日上午“2013中国技术商业论坛暨领袖峰会”【数据灵魂】专场上,现任清华大学任讲师、新媒体艺术家师丹青,以自己亲身实战作品为例,详细讲述了大数据如何在不同媒介语言中进行艺术“转译”的。

【数据是人体器官的延伸】

我现在所教的课程非常独特,叫交叉学科,是基于交互设计、新媒体艺术的一个综合学科的课程。在我的课堂上,学生来自清华大学的各个学科,其中包括设计、传统艺术学科,更多的是来自计算机、软件工程、建筑、医学、文学、力学等学生。我回国前听说要职教这么一个班非常兴奋,但是真正当你走进这个教室,看着讲台下,从他们穿着大半都可以感受出他们的兴趣、知识背景截然不同。我怎么讲一门课让大家都能听懂?我怎么让大家在课堂上做研发,做创作,把他们真正化学地整合在一起?

这要感谢数据,感谢数字时代,为什么呢?

因为现在各个学科都在数字化时代中被信息化了。与此同时,就带来一种可能性,即数据在不同的媒介、不同的体验当中是可以被转化的。每当数据或者体验被转化时,我们都获得一种新的截然不同的体验。

比如“建筑是凝聚的音乐”,这里面有空间的体量。经常会听到说“这句话说得真酸”。我们为什么用这句话真酸形容自己的感受呢?因为我们的大脑与生俱来有一种特殊的机制,能够把我们不同的感官、视觉的、听觉的、味觉的、嗅觉的天然地整合在一起,并找到它们中相似的关系,让它们之间来做一个翻译跟转化的工作。这在医学上叫Synesthesia,中文叫通感。

加拿大著名传播学家马歇尔·麦克卢汉曾说,媒介是人体感官能力的延伸和扩展。这是纽约几个小时内航班起降的信息,所有的这些信息我们肉眼看不到,这么大的信息通过数据整合的方式让我们把原本看不到的、理解不了的、感知不到的东西,能够以直观的方法让我们看到、感知到和理解到。所以说,数据实际上是一种人体感知的延伸。人们这种天然的本领又被数据和数字化时代的技术做了一个延伸。如果我们把不同的数据做一个有意思的翻译,会不会带来一些不同的体验呢?

【概念相机】

给大家介绍六件作品。 这六件作品是截然不同的方向,首先会有四款新概念的相机,一个在线的听觉剧场,一个如影随形的建筑。它们共同要讲述一个什么故事呢?当数据被翻译成不同的形式,在不同的媒介被体现出来时,带给我们的体验是截然不同的。

首先,给大家看看我们开发的四款新概念相机。它们分别解释了不同翻译的形式,即从识图到识字,从深度到光影,从“我”到“另一个我”,从失控的节奏到动态的图形。

第一款是我的一个学生做的相机。他的创作概念是什么?现在是一个图谱时代,大家都在发照片。当你用他创造的这款相机拍照时,打印机会打印出一张你的照片。但这不是图像的照片,而是通过人脸识别技术,分析人脸五官的特征,把人脸数据,比如眉毛这几个关键点的角度、眼睛大小等数据做一个数据化分析,然后转化成一个文学语言进行描述,最后综合成一篇诗一样的文章表述你的这张脸。在产品过于泛滥时代,这不失为一种非常独特的体验。

第二款是我们学校跟英特尔开发的未来相机的一个尝试。拍出来的照片有的左边是白色的光,右边是红色的光,还有的底下是绿光,有的是有点黄昏的光,打在这个女孩的脸上。看似好像没有太特殊,但是这几张照片拍摄的过程并没有任何的专业或打光的设备,而是在完全昏暗的条件下拍摄下来。这种光影效果是通过我们的软件计算出来的。软件的这种虚拟打光是基于相机对人脸深度信息的重建。我们的目标用户是未来的摄影家,他不用再费劲地调整各种光线的角度,完全可以在虚拟的软件当中调整各种主光辅光的布点,把原本相机的闪光灯换成投影仪,让它先读到一张人脸,再把它转化成深度信息,为它打光,再以投影的方式投影到真实模特的人脸,形成照片。这完全创造了一种新的摄影模式。我们的目标是摄影师可以创造自己不同风格的打光模式,并且可以上传到网上分享给大家。而且,这款智能相机用户也可以下载不同摄影师和不同的打光风格,体验摄影家的摄影语言。

下一个作品是我回国前在美国做的一个设计,是给一家公司在2009年推广《阿凡达》时做的一个户外交互广告。当时广告创意是不打明星牌,让每个参与这个活动的人变成活动本身,即捕捉每一个普通地球人的面部特征,实时地变形成为“你版本”的“阿凡达”。这个装置安装在纽约跟洛杉矶好几处繁华的广场。

这里有一个特点,就是每个人都有一个独特的面部特征。数据转化过程就是把你的特征给转化到电影里《阿凡达》那个外星人的面部特征,同时保留你作为人类的一些特征。比如比较圆的脸,“你版本”的阿凡达也是一个圆脸,美女更美。如果是长脸,面部特征会被夸张,也是一种数据的转化,是从一个作为人类数据的五官比例的数据转化到一部电影当中。

再看这件将时钟跟影像记录结合在一起的影像作品。有三个指针,每个指针都在记录这个表前面的影像数据。我们从这个摄像头捕捉到的视频信息中采集到一条像素的信息,并且不断复制在这个表盘上。类似一个实时的空间的扫描仪,前面有物体经过,就会被影射在这个表盘上。秒针、分针、时针都在以不同的速率记录着眼前这个空间,秒针这一圈的影像会被压缩到分针,分针会被压缩到时针,这会得到一个什么结果呢?

这是在德国我们对着天空拍了12个小时的一部摄影作品。由于三个环是按照不同速率形成的画面,可以看到如果对着天空,最外面这一全,因为云动的太慢了,几乎看不出有太多的变化,在过去一分钟。中间这个环,在过去1小时可以看到天空上有一朵云彩从东边一直滑过西边,这是以分钟速率的节奏进行。最里面的时针,从早上天还没亮,到天渐渐亮起来,太阳升起来,一直到中午,到下午,到黄昏。以一种艺术化的处理方式,把数据跟相机作品所对应的失控连接起来。这已经在iPad上应用。在网上,已有世界各地不同观众拍摄不同的作品的发布。

【听觉剧场与如影随形的建筑】

关于数据转化的作品,一是关于听觉。比如这是一个在线听觉剧场。在这个剧场里边,没有一个像我现在脚踩着这个实际的舞台上,所有的观众都是在线的听众,每个人有一个三维立体声定位很好的耳机,这些观众在进入到一种声音听觉的例题空间当中跟故事交互,跟里面的演员交互。这是我带团队做的最基本的一个软件的开发,现在看到的这个界面是给导演开发戏剧的一个界面,右边这个窗口有一个虚拟的舞台,这个会议室的方块是我现在站的这个舞台,上面不同的轨道是不同的虚拟角色的一个位置。

那么,有一个时间轴,从上面开始,然后往下发展。作为一个导演,可以完全编辑出虚拟的剧目,可以控制这里面不同角色的背景。比如定义这是一只小狗,这是一个狗的声音,让它在这个时间轴上运动,并且记录它的轨迹。

这个编辑的结果在以观众为第一人称视角,或者听角的体验来讲,每个观众可以自己的家里戴上三维的立体声定位的耳机,虚拟在这个空间漫游,跟这个角色互动。同样一出剧目,不同的观众获得完全不同的空间体验。

最后一个项目是建筑设计。我们试图把新媒体技术跟建筑结合在一起,这是我回国前在德国为德意志电信做的云概念酒店的一个概念设计。德意志电信想做这个酒店的目的只有一个,就是突出德意志电信在移动云计算时代是一个领头羊,所以它想做一个酒店。传达的理念就是住户真的住进去后,如何体验云计算,并带来与酒店居住不同的体验。

其中一个最大的特色,就是我们会很大程度上脱离硬件的束缚。我的信息,我的帐号,所有的数字财产都会在云端,任何一个硬件只要进我自己的帐户都可以把我所有的信息下载下来,这个硬件暂时就会成为我的这台电脑。像抽象一个IP技术的体验,如何带到酒店服务当中?

首先,酒店的广告词叫做“My room,My home”,这体现在什么方面?当住户订酒店时,可以高度个性化定制其需要的房间的空间的布局,可以定制房里的音乐,跟你的iTunes做一个同步的链接。当住户走向飞机,会有一个属于他自己的导航,迎接他回家。当他到达酒店的时候会有一个欢迎词,欢迎你回家,回家的时候你手机本身就是一个钥匙,输入你的密码就可以进入你预先设计好的你的房间。这些房间的摆设跟播放的音乐等等都是高度为你个性化定制的,你所有在这个房间居住的体验,比如看过电影在大屏幕上,洗澡的水温都会被记录下来。这是第一次的体验。云计算从哪儿阐述呢?当你从科隆退出这个酒店,可能半年以后在东京又来到这个云酒店的另外一家连锁店,当你再推开门的时候,所有你在科隆那个酒店的房间所留下的经验、记忆,个人用户信息的数据会被复制到东京的这个酒店,当你推开门,那个布置是你上一次从科隆走的时候一模一样,电视机上放的电影是你上次在科隆没有看到的,给你的感觉是你的房间好像被空投到东京,这是对云计算的艺术的阐述,也是对个人用户信息如何在媒体跟建筑中达到独特的用户体验的设计的尝试。

实际上,不论听觉剧场还是如影随形的建筑,所有使得这种新的体验能够产生可能,就是因为数据是一种高度可以被转化的。我们有从深度信息转化到光影信息,从图像信息转化到文字,从个人的信息转化到个性化定制的空间等。数据一旦被翻译,被转化,就会给我们带来非常独特的体验。未来这些独特的体验将既产生艺术和设计的价值,又将有更多的商业价值呈现。(顾琳琳/整理)

(师丹青:现任清华大学任讲师,新媒体艺术家,交互设计师,并在微软亚洲研究院做访问研究员,曾带领团队参与故宫博物院数字展示馆的设计。2010到2012年在德国柏林一家著名的多媒体设计公司担任软件工程师,组织了大量硬件开发的项目。)

关于更多精彩内容,详见:中国技术商业论坛及领袖峰会

评论(3)

您可以在评论框内@您的好友一起参与讨论!

    1. 钟况况 我们有从深度信息转化到光影信息,从图像信息转化到文字,从个人的信息转化到个性化定制的空间等。听了这话,我更相信信息化无止境这种话了

      回复[0] 2013/12/02 14:14

    1. 江海鸣 现在各个学科都在数字化时代中被信息化了,这种渗透的广度真有些可怕呀

      回复[0] 2013/12/02 14:05

    1. 李大龙 讲得很通俗呀

      回复[0] 2013/12/02 09:21

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");