当前位置:主页 > 新闻热点 >正文

管理微服务中的数据

作者: 丈哥 分类: 新闻热点 发布时间: 2019-01-12 14:06

• Stitch Fix是一家服装零售商,他们所雇佣的数据科学家基本上和工程师的数量持平。数据科学家在算法方面的工作对公司的成功至关重要,而他们的成功则依赖于大量的数据。

• 尽管微服务对于实现高扩展性的解决方案是非常必要的,但是应该在公司取得足够成功,微服务是真正合理且必要时,再去接触高度分布式系统的复杂性。

• 现在所有采用微服务的公司,包括eBay、Twitter和Amazon.com,都经历了从单体系统迁移的过程。

• 真正的微服务平台需要每个微服务负责自己的数据。在微服务迁移的过程中,创建独立的数据存储是最有挑战性的工作。

• 分拆单体数据库时,会涉及到一个重复的过程,也就是隔离每个服务的数据,防止其他服务直接对数据进行访问。
 


本文根据QCon旧金山2017上Randy Shoup上的演讲改编,他是Stitch Fix的工程副总裁(VP)。

我是Stitch Fix的工程副总裁Randy Shoup,根据我的背景,我会讲解如何管理微服务中的数据的课程。

Stitch Fix是美国的一家服装零售商,我们使用技术和数据科学帮助顾客查找他们喜欢的服装。在Stitch Fix之前,我担任过“流动的CTO服务提供者(CTO as a service)”,帮助企业讨论技术和他们的处境。

在职业生涯的早期,我曾经在谷歌担任Google App Engine的主管。这是谷歌的平台即服务,类似于Heroku、Cloud Foundry等等。我更早在eBay担任了六年半的首席工程师,在那里我帮助团队建立了数代的搜索基础设施。如果你曾经用过eBay并且找到了你想要的东西,那说明我们的团队做的很棒。如果你没有找到想要的东西的话,那你现在也应该知道该将责任归咎于谁了。

我们首先会简要介绍一下Stitch Fix,因为这涉及到将单体拆分为微服务的经验教训和技术。Stitch Fix与标准的服装零售商截然不同。我们不是在线商店或者要求顾客到店里,如果有位专家专门为你做这些事情,那又是什么样的体验呢?

我们会要求你填写一个非常详细的个人风格问卷,包括60到70个问题,大约需要20到30分钟。我们会询问你的体型、身高、体重、喜欢什么样的风格、你是否想要炫耀自己的手臂、是否希望将臀部藏起来……我们会问一些非常详细和个人化的事情。为什么要这样做呢?在生活中,能够知道如何为你推荐衣服的人必须是了解你的人。我们明确地询问这些问题并利用数据科学来实现我们的目标。我们会为客户投递五件货物,这些货物是由全国范围内的3500名造型师中的某一位所挑选的。你可以选择保留喜欢的货物,付钱给我们,然后将其余的货物免费寄还给我们。

在幕后,人工和机器层面都会发生好多事情。在机器层面,我们每晚都会检查每件库存,参考每个客户,计算出预期购买的可能性。换句话说,也就是针对我们发送给他的衬衣,计算Randy留下它的条件概率。设想一下,有72%的概率Randy会保留这件衬衫,54%的机会留下这条裤子,47%概率会留下这双鞋,对于在座的每个人,百分比会有所不同。我们有一个机器学习模型,将其放到一个整体中计算这些百分比,它是由针对每个客户的一组个性化推荐算法组成的,造型师会使用这些模型的结果。

造型师本质是在为你购物,站在你的角度上选择五件商品,他(或她)查看这些推荐算法并确定将哪些货物放到邮寄给客户的包裹中。

我们还需要人工将它们组合在一起,这是机器目前无法做到的。有时候,人类能够回答“我将要去曼哈顿参加一个晚上举行的婚礼,所以给我推荐一些合适的衣服”。机器不知道如何应对,但是人类知道机器所不知道的事情。

所有的这些都需要大量的数据。Stitch Fix的数据科学家和工程师的比例是一比一,这是非常有意思的,我相信也是独一无二的。我们的团队中有一百多名软件工程师,大约有八十位数据科学家和算法开发人员,他们从事所有数据科学的工作。据我所知,在行业内这是一个独一无二的比例。我不知道还有哪家公司能够做到这种接近一比一的比例。

我们利用这些数据科学家都做些什么呢?事实证明,如果你足够聪明,就会有回报。

我们对要购买的衣服也采用相同的技术。我们针对购买者运行推荐算法,这些算法会判断得出,下一季我们会购买更多的棉布衣服、露肩装或紧身长裤。

我们将数据分析应用到库存管理中:我们要将哪些货物放到哪个仓库中等等。我们使用它来优化物流和选择运输公司,这样的话,就能以最低的成本将货物及时送达您的家中。我们还会做一些标准的事情,比如需求预测。


本文链接地址:https://www.0471seo.com/news/1980.html
  • 上一篇:<<理解Python数据类:Dataclass fields 的概述(下)

  • 下一篇:Kaggle CTO 力荐:从 Kaggle 历史数据看机器学习竞赛趋势>>
  • 如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!