北晚首页

新闻科技

盲人专用计算机显示器诞生:让盲人“看到”图像 网购或成现实

2018-11-13 13:21 北京晚报 TF019

两条平行横线的右侧有一条垂直的竖线,这是一个5岁的先天盲人儿童画的一幅画,他用简单的三笔表达了一种生活中常见的物体:公交车。很多人肯定会疑惑:为什么这三条简单排列的线就能表达公交车这样一个复杂的物体呢?孩子的解释很简单:两条横线是他上公交车时踩过的两级台阶,一条竖线是他上车后扶着的扶手……不仅是公交车,数学书里正方体的六个面、网购平台上杯子的样式、博物馆里展出文物的形状……没有视觉传递信息,很多普通人眼中司空见惯的事物,对盲人群体来说可能都只是模糊的概念。

大型面触觉图形显示终端。李祺瑶 摄

为了帮助视觉障碍人群更好地认知世界,清华大学美术学院教授徐迎庆带领研发团队经过九年的探索实践,为盲人研发了一种全新的计算机显示器——“大幅面触觉图形显示终端”,显示器由凹凸点阵组成,通过计算机控制点阵,把传统图片变成可触摸的图形,让盲人在阅读和上网时能够“看到”图像,认知图像。前不久在清华大学召开的无障碍发展国际学术大会上,徐迎庆代表研发团队公布了这一研究成果。

一张照片收获感动与启发

2009年,徐迎庆与清华大学的鲁晓波、史元春两位教授一起做“文化遗产数字化”方面的研究,“我们发现,在博物馆里,盲人是没有办法直观地感受到展品外观的,只能通过语音介绍去‘听出’外观,再根据自己的理解去想象。”因此,他们萌生了一个简单的想法:做出一款产品,把博物馆中的展品用一种“可触摸”的方式展示出来,让盲人也能去博物馆“参观”。

有了想法后,徐迎庆等人立即联系了盲人学校,去做调研,“想去看看盲人的学习状态、工作状态、生活状态,深入了解他们的需求。”徐迎庆介绍,他们到了那里才发现,其实不光是在博物馆里,在盲人的日常学习和生活中,能够触摸到图形图像也非常重要,“因为盲人所用的课本跟普通人用的课本几乎没有太大差别,他们也要学习数理化,也要学电路、几何、化学分子式。有一部分盲人还有更深入的需求,比如学钢琴要‘看懂’乐谱,学医要理解人体的解剖图像。”

在盲人学校里,徐迎庆的两名学生江宁和马尚拍到一张珍贵的照片:一位女学生几乎完全把脸贴在电脑屏幕上,非常吃力地阅读屏幕上的内容。“她不是完全看不见,能感受到一点点光。”徐迎庆解释,虽然用了读屏器,可以听到电脑转换出来的声音内容,但女生还是希望通过眼中的这一点点微弱的光亮,看到屏幕上的文字与图像。“这张照片让我们深受感动,和这位女生一样,盲人学校里的每位学生都非常渴望学习,渴望通过计算机、互联网等更多、更先进的方式认识和感受世界。”

受这张照片的启发,徐迎庆等人开始重新反思原先的想法,“真正接触到这些盲人学生后,我们才明白,去博物馆‘参观’仅仅是一个方面,让他们在日常的学习生活中更便捷地认知图像才是最重要的。”徐迎庆说,“特别是当时互联网已经普及,生活中图片、视频等视觉信息日益丰富,‘读图时代’对于盲人朋友而言,反而是一个巨大的障碍。”徐迎庆等人当即决定,干脆给盲人做一台能上网、能触摸图像的计算机,让他们感受到视觉内容。

盲人通过触觉感知到的立方体和常人认知的立方体对比

他们渴望理解普通人的世界

“这个项目集合了各方的力量,要感谢很多人。”徐迎庆总是将这句话挂在嘴上。他介绍,团队成员来自设计学、计算机科学、心理学等多个学科,得到了中国残联、盲人协会等很多单位的帮助。信息艺术设计系的龚江涛从研究生开始就进入团队,一直负责项目在机理、图形设计等方面的研究,为了感受盲人眼中的世界,她几乎每个周末都在盲校度过,总共花了超过500个小时与盲人交流相处,“我们用模拟器模拟出一些图形,让盲人一次次地去触摸,看这些图形到底是不是他们容易认知的,什么样的图形他们才能认知。”龚江涛介绍。

“第一次去盲校做实验时见到的那位男生让我难以忘怀。”她说,男生是从5岁开始逐渐失明,到10岁左右完全失明,“5岁时他已经有记忆了,而且他知道自己很快就要失明,那段时间他就非常仔细地在看爸爸妈妈和周围人的脸,想要永远把他们记住。现在他已经将近30岁了,在他心里,爸爸妈妈永远都是他5岁时的模样。”

在与盲人的深入接触中,龚江涛发现了一件有意思的事情,“有一次我让他们用扎画的方式画一个正方体,他们的画法让我大吃一惊——他们先画出来一个小的正方形,再在小正方形外围画出一个六边形,最后将两个图形的顶点连接。”她说,“我拿着这个图形去给其他人触摸,他们也都能认出这是正方体。”原来,我们常人在画正方体时,会根据空间的透视关系,先画出我们能看到的三个面,再用虚线补出被挡住的棱,而他们因为无法理解视觉透视,脑海中认知的正方体是:外轮廓是六边形,内轮廓是正方形,内轮廓和外轮廓的顶点有线相连。

“这是一个典型的例子。”龚江涛说,“有些图像普通人一看就能理解,盲人却理解不了,或是会产生理解偏差。”到底是去顺应盲人的思路呢,还是把盲人纠正到常人的思路上呢?他们征询了很多盲人的意见:“我们是应该为你们单独设定一套体系,让你们更好地理解呢,还是我们把常人习惯的这套规则告诉你们,让你们来学习呢?”让她感到意外的是,所有的盲人都毫不犹豫的回答:“让我们去学习你们的,让我们能够更加理解你们。”他们认为,“毕竟我们是少数人,我们不希望在一个特殊的规则下生活,我们希望去跟更多的人交流,学习更通用的知识,为这个社会贡献价值。”

“所以我们在设定规则的时候,尽量兼容盲人和平常人的特点,设计一套更通用的体系。”龚江涛说。为此,她从“视觉常模标准图库”中筛选了242个常见物体的图片制作成触觉图片,进行了大量触觉认知实验,并将触觉图片的22个设计特征进行系统性分析,最终形成了触觉图片的设计指导原则。

盲人上网购物即将变成现实

经过9年的探索、三代概念原型的更迭,徐迎庆团队研发的第四代产品原型于今年10月15日正式问世。“研发过程中的很多人、很多事都让我感动。” 徐迎庆说,“去年,在研发进入最关键的时刻,我带的博士生焦阳,为了把项目做完,坚持延迟毕业。”对于这件事,焦阳只是说:“因为项目还没做完,还想为他们做更多事。”

徐迎庆和学生们为记者展示了这项产品的原型,整个设备类似一个“电脑桌”,上层桌面中央是一块A4纸大小的“显示屏”,与传统的计算机屏幕不同,触觉图形显示终端的表面由可以凸起和收回的点阵组成,通过计算机控制点阵变化,把传统的图片变成可以触摸的图形,盲人用户通过触摸这些凸起点阵所组成的盲文或触觉图形来阅读文字和认知图片。在屏幕内部,团队自主设计并研发了全新的自锁机械结构,来驱动触觉图像的呈现。焦阳介绍说:“驱动结构一共有7200个细小的触点,可以维持如此细小的分辨率向外扩展以增大幅面,而且还能最大限度的控制成本。”

在“软件”方面,团队根据总结的“图像语义”,在设备中加入了分时渲染算法,让图像能够根据语义逐渐呈现,同时加入创新的触觉引导机构,帮助盲人用户准确认知和理解图像,解决“理解偏差”的问题。除了提供触觉交互功能,研发团队还设计了根据用户位置的三维声音导航和语音交互功能。在用户体验方面,设备遵循目前盲人使用电子设备的大部分习惯、最大限度地发挥触觉点阵显示的交互优势,使得盲人用户“所触即所得”。此外,该产品原型封装触听觉控制的基础模块,并具有高度的应用可扩展性,可以支持大部分网页和应用的基本操作。

“下一步我们希望推出更微型化的产品,并与手机和平板电脑结合。”徐迎庆说,这项产品将进一步推动众多针对盲人用户的无障碍应用的发展,例如电子盲文图书的普及、盲人用户上网学习、购物和浏览,并且使得盲人今后学习诸如数学几何、物理电路、化学结构等图形化知识的时候更加便利。未来,这项技术还有望应用在博物馆等场合,让盲人可以通过触摸文物图片,感受文明的脉搏。

目前,该产品已具备上网和搜索的功能,研究团队正与百度公司合作,共同开发盲文电子书籍阅读、百度百科盲文搜索、盲人上网购物等;也将与阿里巴巴达摩院合作,研究如何利用人工智能的理论与方法改进触觉图片的生成与认知体验。

 

来源:北京晚报 记者 李祺瑶

编辑:TF019

分享到

因为热爱!全盲女孩凭肌肉记忆弹奏悲怆奏鸣曲,憧憬能考上北京的大学

2020年高考开考!五名全盲考生将使用盲文试卷

东城区有4000多位盲人,但拥有导盲犬只有一位,普及之路尚远

好消息!盲人也能轻松点外卖了,国内首款视障群体定制应用来了

盲人识别软件读不了公众号的图解新闻, 网上看新闻,也需无障碍

“追光使者”陈欣钢:让盲人与正常人同步看大片,拥抱视听盛宴

盲人也能“看”电影?这些师生讲述画面细节,给电影铺设盲道

疾病抹不掉生命的色彩,“无力者”的力量能有多大?

北京这些影院盲人也能“观影” 无障碍电影放映能否常态化?

视频助盲软件遇到啥问题?在线志愿者不够多 盲人等不及

互联网给了这位盲人按摩师“眼睛” 还能给互联网巨头“挑刺儿”

北斗国际民航组织标准完成技术验证,确认各国意见后将向全球发布

“天问”“嫦娥”新帮手:我国首个深空天线组阵系统正式启用

全国首批!延庆挂牌“民用无人驾驶航空试验区”

戴口罩也能人脸识别、蓝牙解锁车门……进博会勾勒智慧生活新图景

“天问一号”完成第三次轨道中途修正,已在轨飞行98天

华为Mate40系列正式发布,亮出史上最强手机,对决新iPhone12