识别1万种物体 “衣+”让服装采购更简单

王姝 铅笔道 2016-09-26 11:39:47

blob.png

◆ “衣+”创始人张默

导语

2015年年底,ImageNet竞赛(被誉为国际计算机视觉领域的“奥林匹克”)结果揭晓。“衣+”团队的三位成员,在“静态图片和视频目标检测和分类任务”中获得了五项世界第一,与它同场竞技的有谷歌、英特尔、微软等巨头和斯坦福、香港中文大学等研究机构。

两年前,张默从新加坡回到国内,创立“衣+”,研发人工智能视觉搜索引擎。系统主打柔性物体(如衣服等)识别,准确度约90%。

产品主要面向B端,包括边看边买引擎、图像识别智能分析引擎、人脸识别分析引擎。通过识别和分析视频或图像中的物体,以标注、打点、搜索同款等方式投放广告,提高转化率。

她让用户看剧之余搜同款 2亿SKU任性剁手 识别1万种物体

◆ “衣+”的商业模式

目前,“衣+”的合作伙伴有30多家,包括优酷、360、新浪微博、阿里云、华为等,已接入淘宝、天猫的2亿SKU,并获得优土等平台的内容和流量导入。系统能识别10000类物品、400种场景,单物体识别一项的精度甚至超过人眼。

blob.png

: 张默承诺文中数据无误,为其真实性负责,铅笔道已备份录音速记,为内容客观性背书。

计算机视觉

2013年圣诞节前,硅谷一家投资机构的办公室里,张默正在协议上签字。座位旁边放着一副拐杖。事故发生在前一天,她脚踝骨折,但这个“天生爱闯荡”的姑娘,连石膏都没有打,一路从新加坡杀到硅谷。

协议签完,张默当场拿到了一张15万美元的支票。她手握支票,心潮澎湃。此时,她只有一个创业想法,做一个以图搜衣的软件,其余什么都没有。“投资机构愿意在这种情况下给钱,我还挺受鼓舞的。”

她关注计算机视觉领域很多年。北京大学软件专业毕业后,她曾在华为、微软和IBM等公司从事研发工作。她一直认为,“技术创新能创造蓝海,而计算机视觉技术又是发展前沿”。

工作之余,她潜心研究行业,寻找应用方向。作为一个“拥有爱美之心”的女生,张默经常关注时尚,有时在路边、网上看到好看的衣服,自然而然地就想搜到同款。现有的文本搜索框无法满足需求,她决定通过视觉识别搞定。

她让用户看剧之余搜同款 2亿SKU任性剁手 识别1万种物体

◆ 穿上西装和晚礼服的程序师们让人耳目一新。

种子轮融资尘埃落定,张默拄着拐杖,返回新加坡。算法团队来自当地,开发团队则是清一色的印度人。三个月时间,张默没有躺下来养病,而是拖着腿上的石膏跟研发团队奋战。

5月,出于市场考虑,张默回国,成立“衣+”。“当时我觉得北京是一个充满梦幻和憧憬的城市,所以义无反顾地回来了。”

攻坚识别技术

张默招来自己的同学和朋友,组建了一支10人的团队攻坚技术难关。他们选择直接从图像识别中最难的柔性物体(如衣物等)识别入手。这类物体穿在人身上容易变形,相对刚性物体(如3C、日用品等)来说,技术壁垒更高。

为了提高识别的准确度,团队采用卷积神经网络将不同商品建模。该模型设计通过不同层级去表述商品的不同特征,可以识别复杂环境,尽可能排除光线、角度、图片质量的干扰。

她让用户看剧之余搜同款 2亿SKU任性剁手 识别1万种物体

◆ 层级示意图

模型网络的底层采用商品的基本特征,如颜色、款式、材质和纹理等;更高层使用细节特征,如衣领翻折角度、皮毛材质的卷曲程度、图案的大小间距等。“现在,我们的层级已经从20多层发展至200层,已经超过了去年微软提出的152层。”

此外,团队建立深度学习模型,通过训练数据(商品数据)和用户行为反馈,纠正系统,持续迭代优化。“算法是引擎,数据是燃料,两者缺一不可。”当时,系统的SKU大多通过爬虫抓取,数据量不大。

10月,“衣+”App上线,用户可通过手机拍照上传,搜索服装同款信息。两个月后,张默拿到500万天使轮融资,投资人是两个分别将公司出售给阿里、腾讯的成功创业者张峰、戴志康。

上线后,产品一直不温不火,张默琢磨着此路不通。“C端获客成本太高,场景有限。”春节前后,她决定转移到B端,让图像识别嵌入图片和视频网站,植入到更多高频刚需场景。“视频网站需要广告,广告主需要流量,图像识别恰好可以连接两端,将视频流量导流至电商和广告主中。”

拿下优土阿里

去年3月,一次极客咖啡的股东聚会上,张默碰到了优酷负责战略合作的李捷。优酷正好在寻找拥有图像识别技术的合作方,帮助广告变现。

会后,双方达成合作。张默根据优酷的需求,调整系统。在图像识别的基础上,增加视频识别,追踪物体运动轨迹,定位关键帧。识别目标从衣物拓展到常用商品,如水杯、电话等。

此外,张默推出场景识别。通过检测物体推断画面场景,投放广告,建立品牌和场景之间的联系。如伊利牛奶主要应用于家庭和运动场景,当系统识别出这类场景时,会以角标、AR特效或叠加动漫贴图等方式出现伊利的广告。

去年9月,张默拿到A轮融资,投资方是优酷土豆、乐搏资本和三行资本。三个月后,两款产品在优酷土豆上线。

她让用户看剧之余搜同款 2亿SKU任性剁手 识别1万种物体

◆ “衣+”针对优酷土豆推出的两款产品

上线之初,商品主要通过爬虫抓取。一个月后,阿里平台为“衣+”带来亿级SKU。目前,团队已接入2亿商品,深度学习模型不断迭代,识别准确率从80%升至90%。

事实证明,场景与产品的相关性提升了广告效果。“拿视频打点广告来说,CTR(点击到达率)达到了5%~10%,是传统广告的25~50倍。”

其中,广告主由视频网站和平台共同洽谈。根据销售情况的不同,双方七三或六四分成。

更多的合作伙伴

今年,产品已渐渐成形,张默主要在推广上发力,上游合作伙伴可分为三类:

她让用户看剧之余搜同款 2亿SKU任性剁手 识别1万种物体

“衣+”主营业务包括精准场景化营销业务、边看边买电商业务和技术服务提供商。盈利模式为软件技术许可和广告分账。

经过1年的钻研,团队于今年5月,研发出三值神经网络。这项技术将模型压缩了16倍(32bit到2bit),精度几乎保持不变。识别系统可放到本地设备中运行,对内存、计算能力和耗电的要求大幅降低,“运算速度快5倍”。

目前,“衣+”的合作伙伴有30多家,包括优酷、360、新浪微博、阿里云、华为等,已接入淘宝、天猫的2亿SKU,并获得优土等平台的内容和流量导入。系统能识别10000类物品、400种场景,单物体识别一项的精度甚至超过人眼。

未来,张默将进一步训练模型,扩充识别品类、延展应用场景,嵌入更多的应用和平台,完善B端业务。

长按二维码关注我们