以手机摄像头为搜索入口,腾讯发布SOSO慧眼v2.0,可识别并搜索图书、电影海报等物体

JasonZheng · 2012-08-14
由腾讯研究院人机交互中心打造的“SOSO慧眼”推出2.0版,在名片识别、文字即时翻译的基础上,增加了物体识别功能(包括图书、CD、电影海报、LOGO等),识别成功后可返回购物、比价、地图等垂直网站的结果。其后台数据主要来源于中国地区,相比Google Goggles等产品,实用价值更大。

以手机摄像头为搜索入口,腾讯发布SOSO慧眼v2.0,可识别并搜索图书、电影海报等物体

同样是做搜索,智能手机上就有多种做法:在搜索引擎里输入关键字进行、用语音的办法告诉Siri你要什么、抑或者借助LBS查看周围的位置信息等等,这三类搜索办法分别借助了智能手机上的键盘输入、语音输入、以及GPS定位特性。

事实上,与智能手机密不可分的摄像头也可以成为搜索的重要工具。视觉识别技术+搜索 已经成为许多公司积极探索的方向(下表),Google 的
Goggles 就是个中翘楚,可以识别文字、书籍、商标、地标、酒、名片、条形码、艺术品等等,种类之多是其他几家远不能及的。

公司

产品

识别物体分类Google

Goggles

Landmark/Book/Artwork/Grocery …Amazon

Snaptell

Book/DVD/Game coversNokia

Point&Find

Landmark/Barcode/Movie posterKooaba

Kooaba

Book/DVD/Game coversoMoby

oMoby

General Objects
不过需要注意的是,尽管上述 视觉识别技术+搜索 的产品够炫够新鲜,但由于其后台数据主要来源于欧美地区,所以对国内的图片识别并不理想。

由腾讯研究院人机交互中心推出的
SOSO慧眼最新上线了
2.0版本,在原来1.0、1.5版本的名片识别、文字即时翻译的基础上,增加了物体识别功能(包括图书、CD、
电影海报、LOGO、二维码条形码、人脸)。由于其后台数据主要来源于中国地区,与国外的Google Goggles等产品相比,实用价值更大。

SOSO慧眼2.0的视觉识别系统主要由两部分组成:手机端的前端采集和展示系统,以及云端的视觉识别云服务。视觉识别云服务的输入为用户拍摄的图片,输出为识别出的图片中所包含的各种分类信息。

以手机摄像头为搜索入口,腾讯发布SOSO慧眼v2.0,可识别并搜索图书、电影海报等物体
借助手机摄像头进行图像识别并不是什么新鲜的东西,已经比较成熟的二维码、条形码扫描和名片识别就是我们最常见的案例,但要很好地对书籍封面/CD封面/电影海报/商标等的 物体识别+搜索,除做到图像识别外,更重要的一环是要打造一个强大的后台数据库,在保证被拍摄的物体能被识别出来的同时,还“能完成整个商业行为,如购买,比价,查询商店地图,去相关微博等等”。

为实现这个目标,SOSO慧眼希望能从工具型应用向平台转型,把购物、比价、地图等服务交给专业和垂直网站去做。下表是SOSO慧眼设想的未来接入服务格局:

拍摄的图像类别

挂接多种服务举例商品封面

比价(一淘)、购买(当当、京东、
QQ商城)、书评影评(豆瓣)明星人脸

微博(新浪、腾讯)、电影(时光网)、百科(百度百科)、搜索(搜搜)商店
Logo

优惠券(大众点评)、地图(搜狗)演出海报

电影(时光网)、影评(豆瓣)、购票(
QQ票务)楼宇
/电梯广告

广告活动页面
说了这么多,实际使用效果如何呢?试用发现:

书籍封面识别效果比较好,十本认出了七本,返回的结果里带上了购物(当当、京东、亚马逊)、书评(豆瓣)、比价(一淘比价)等垂直服务的信息;

CD封面的识别效果也还可以,十张认出六张(手边没有CD,摄像头对准电脑屏幕上豆瓣音乐的CD拍的);

电影海报测试效果令人满意,在
豆瓣电影的正在上映页面测拍的20张海报当中只有三张没有成功识别,
即将上映里,20张只有一张识别失败;

在这些新鲜的海报之外,我还测试了它对“老旧”电影海报的识别效果,我在豆瓣电影里收藏的“看过”的电影里,大部分海报识别失败,从这个结果看来,SOSO慧眼后台的电影海报数据比较“实在”,主要关注的是实际生活中更有可能出现的海报——是在户外广告或报刊杂志等宣传渠道出现的、能在影院上映的电影的海报。

SOSO慧眼 2.0已经上线iPhone版,有兴趣的朋友可以
先行试用,Android版本还在开发当中。

+1

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

下一篇

Bump这款名片交换应用的总下载量将在这周五达到一个亿。现在Bump团队下共有四个应用:名片(和照片)的交换应用Bump、支付应用Bump Pay、一款五子棋小游戏(这个游戏应用可算是给开发者的示例,利用Bump API来实现游戏中的配对,并非核心产品)、还有在上个月月末推出的照片共享应用Flock。 Flock这款应用实在是太个性了,一般应用都会希望吸引人们注意力,使用时间越长越好。但Flock则不这样想,人们可以不用理会它,在恰当的时候它自会出现。Flock非常巧妙地处理了人们总是懒得(忘记)和朋友互传聚会照片的问题。

2012-08-14

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业