【亚马逊无人商店颠覆零售业】Amazon Go拿了就走技术大揭秘

2018-01-22 

                            新智元报道  编辑：Cecilia 弗朗西斯

2018-01-22

【新智元导读】本周一，亚马逊智能零售店Amazon Go正式向公众开放。消费者可以直接走进商店，拿下货架上的货物然后离开，整个过程不需要排队结账。该店位于西雅图，占地1800平方英尺。亚马逊公司表示，“Just Walk Out ” 技术利用计算机视觉、传感器融合（sensor fusion）技术以及深度学习算法来提供这种无缝的购物体验。

亚马逊无人收银零售店Amazon Go终于开张了！

本周一，占地面积1800平方英尺的Amazon Go正式在西雅图向公众开放。“不用排队，不用结账，没有收银台”，Amazon Go会颠覆零售行业吗？

Amazon Go的自白

1. Amazon Go是什么？

Amazon Go是一种无需结账台的新型商店。我们创造了世界上最先进的购物技术，所以你不必排队等候。通过我们的Just Walk Out购物体验，只需使用Amazon Go应用程序进入商店，购买想要的产品即可。无需在结账柜台前排长队等待。

2. Amazon Go如何运作？

计算机视觉，传感器融合和深度学习等用在自动驾驶汽车中的相同技术使我们的免结账购物体验成为可能。我们的Just Walk Out技术能够自动检测商品何时从货架上取下或被重新放回，并在虚拟购物车中跟踪货物。当你完成购物，你可以离开商店。不久之后，我们会向您发送收据并向您的亚马逊账户收费。

3.在Amazon Go能买到什么？

我们提供美味的即食早餐，午餐，晚餐和小吃。我们选的必需品包括：面包和牛奶等主食，以及手工做的奶酪和巧克力。对于快速的家常晚餐，拿起我们厨师设计的亚马逊膳食套件之一，30分钟就能做出两人份的一顿饭。

4. 如何在Amazon Go购物？

你只需要一个亚马逊账户、免费的Amazon Go应用程序，以及最新一代的iPhone或Android手机。您可以在Apple App Store，Google Play和Amazon Appstore上找到Amazon Go应用程序。

当你到达的时候，使用Amazon Go应用程序进入商店，然后就可以不需要用手机了。然后就像在任何其他商店一样浏览和购物吧。你完成购物后，不需要排队结账。

5. 哪儿有Amazon Go？

我们的商店位于华盛顿州西雅图市第七大道2131号，靠近第七大道和Blanchard的拐角处。

6. 什么时间开放？

周一到周五，早上7点到晚上9点。

7. Amazon Go有多大？

大约1800平方英尺。

8. Amazon Go里有人工作吗？

有人。员工在商店里准备原料、制作速食食品、整理货架、并帮助客户。

9. 为什么要建立这个Amazon Go？

我们问自己：如果我们能够创造一个不需要排队结账的购物体验，会怎么样？我们能否推动计算机视觉和机器学习的界限来创造一个商店，客户可以随心所欲地去拿他们想要的货物，然而就走？我们对这些问题的回答是Amazon Go和Just Walk Out Shopping技术。

全景式体验Amazon Go, 身临其境体验智能零售

注：无人超市入口是一排电子“门卫”

超市的入口感觉就好像你正在进入一个地铁站，一排电子大门位于商店的入口，被只允许拥有该商店智能手机应用的人进入。

西雅图亚马逊总部办公楼下的全球首家无人商店是一个1800平方英尺的小型超市，进入超市，购物者会迎接一系列的沙拉、三明治和饮料，以及即食的三餐食品。

Amazon Go还提供小瓶装的啤酒、葡萄酒以及肉类，甚至所有餐具都是亚马逊自制的。继亚马逊收购Whole Foods之后，还有一部分售卖区域专门摆放薯片，饼干和坚果，这些都来自杂货商365 Everyday Value品牌。

超市内再无购物车，所有结账过程都是自动的，商品可直接装入购物袋内。亚马逊说，每当顾客从货架上取货时，产品就会自动放入他们在线账户的购物车中。如果顾客把商品放回货架上，亚马逊会将其从虚拟购物篮中移除。

Amazon Go使用相机和传感器网络来动态监控客户，并通过智能手机应用程序自动为他们从商店中取出的物品进行计费。亚马逊并没有多说这个系统是如何工作的，只是说它涉及到复杂的计算机视觉和机器学习软件。

安装在天花板上的数十个方形黑色摄像机持续监控客户行为，该系统对个人购物者来说效果不错，但仍然在努力准确地收集那些正在群体中移动的人们，比如那些带着小孩的家庭。 Go的工程师一直在研究一起购物的家庭，并调整传感器，以识别孩子在商店里闲逛时是否吃东西。

无人超市并不意味着完全没有工作人员，超市的入口有迎宾人员，一名身份证检查员在酒吧附近驻扎，至少有六名工人在厨房内可见。

最后的结账部分也是相当便捷，拿好货物走出超市，没有排队几乎瞬间完成收费过程。

亚马逊的核心技术，新智元专家怎么看？

Amazon Go 宣传视频发布后，在业界引起了强烈反响，在新智元人工智能核心微信群中，各位专家也进行了热烈的讨论。那么，专家们怎么看亚马逊这一激动人心的尝试？

专家1 （资深技术人员，与Amazon Go项目内部人员很熟）：里面有N 多摄像头和3D摄像头，做了3D人体建模和行为分析。可以说，Amazon Go绝对不是 PR，做这个小店有千万美元级别的投入。

专家2 （机器人公司董事长）：拍脑袋分析一下，进门扫完码后，后台系统通过3D摄像头把人体特征值与账户ID进行绑定，然后对取货的动作视频进行分析（通过深度学习来正确辨识人类取放商品的动作细节）来实时更新虚拟购物车，出门后自动支付。如果店内人流密集的化，感觉后台的实时运算量极其巨大。进门的闸机确保了客户ID能被有效辨识，但是如果是一个大人带着一个小孩，出店的时候小孩也拿着东西，而且与大人分开较远的话，系统可能就无法自动结账，不过可以出报警。

专家3（工程师）：如果问题缩小到只是进出闸机那会整个人的识别， 只做一进一出的对应及出闸机时身上携带商品（用 RFID之类补充确认）的感应识别， 那似乎还在可脑补范围之内。

核心技术 Amazon Rekognition

根据官网介绍，Amazon Go 主要的识别技术叫做 Amazon Rekognition，能够在消费者购物流程中进行一系列不同类型的识别，以判断多种不同的购物场景。

六张图看懂 Amazon Go 消费过程

或许看了视频和上面的说明还稍嫌眼花缭乱，美国报纸 US Today 对 Amazon Go 的购物消费过程做了更贱简单易懂的可视化展示，下面具体看一下：

首先，消费者用手机像地铁刷卡那样，进入店铺——当然，手机上得注册有亚马逊的账户。与此同时，位于入口处的摄像头会进行人脸识别，识别的技术主要是 Amazon Rekognition。

当消费者在货架前停下来时，摄像头会捕捉并记录消费者拿起的商品，以及再次放回去的那些。

放置在货架上的摄像头会通过手势识别，消费者是拿起了一件商品（购买）还是拿起一件商品看了看又放回货架（不购买）。

店内麦克风会根据周围环境声音判断消费者所处的位置。

货架上的红外传感器、压力感应装置（记录商品被取走），以及荷载传感器（记录商品被放回）会记录下消费者取走了哪些商品以及放回了多少商品。同时，这些数据会实时传输给 Amazon Go 商店的信息中枢，每位顾客都不会有延迟。

在离店时，传感器会扫描并记录下消费者购买的商品，同时自动在消费者的账户上结算金额。

利用这些技术，Amazon Go 究竟如何实现“未来购物过程”？专利文件揭露答案

国外网站上，有人翻出了亚马逊两年前申请专利时发布的文件。

亚马逊提交的专利文件的描述中，提到这一系统使用了包括 RFID（无线射频识别）在内的技术，在探测购物者是否从货架上拿下了商品，然后把数据传输到一台手持设备上。

这也意味着，在购物者继续购物的同时，系统已经对商品状态进行了同步，这免去了传统排队结账的方式。当消费者从商店的”过渡区“走出商店时，系统会感应到消费者已经离开，随后对他们带走的物品进行统计，并在顾客的亚马逊账户进行扣款。

从视频中可以看到，消费者需要使用智能手机验证进入商店

专利示意图：

可以看出，位于店内有各种传感器，包括商场安装的摄像头、商品上的重量感应器。

消费者购物过程中的具体识别过程

专利文件写道： 

例如，如果消费者在零售店内购物，他不需要停下来，用现金或者与收银员沟通，或是使用自动结账台来完成付款，因为他在商店内选择的商品已经被系统记录，并通过与消费者本人相关的商品确认清单确认，所以，他们能带着选购的商品直接走出商店。

系统会探测到消费者走出店门，随着消费者通过出口（也就是过渡区域），系统会自动对消费者挑选的商品进行结账，期间消费者不用做任何的停留，也就避免了等待和排队。

专利文件表明，系统可以使用消费者过去的购买记录，来帮助确认消费者在购物时选择的某一商品。

例如，如果货存清单管理系统不能确定消费者所选择的到底是一瓶番茄酱还是芥末，它可能会参考这位顾客过去的消费记录，或者这位顾客是否已经选择过相同的商品。举个例子，如果顾客的消费历史记录显示他只购买番茄酱，那么这些信息可能会被用于确认消费者选择的就是一瓶番茄酱。

亚马逊在视频中提到，他们使用的技术包括多传感器融合，从不同传感器上获得的数据增加了判断的可信度和准确率。以下是专利文件对多传感器数据汇合的描述。

在一些配置条件下，来自其他输入设备的数据可能会被用于帮助确定某一商品是否已经被选中或者被放回到货架上。比如，如果系统判断一件商品已经被放回到货架上，除了图像分析外，基于形状和压力的传感器，以及称重设备上的数据，系统会对该商品生成一个权重。图像分析也许能有助于将货架上匹配的商品数量减小到一个更小的清单，提高匹配率。

 货架上商品的权重会与可能匹配的每个商品被存储在系统内的权重进行比较，来确定商品是否真的已经被放回到货架上。结合多个来源的输入，系统会生成一个高置信度的数字，来提升系统确认某一商品是被从货架上拿走还是被放回的准确率。

这一专利文件是在两年前公布的，现在亚马逊很可能也做了很多的改变。但是，从视频上可以看到，基本思路还是沿袭了专利文件中的描述。