电商零售大数据分析云上实战

© 2021, Amazon Web Services, Inc. or its Affiliates. 李建伟 – 大数据技术专家电商零售大数据分析云上实战© 2021, Amazon Web Services, Inc. or its Affiliates. 议程•电商行业现状•数据驱动的电商业务场景•非结构化数据搜索架构解析•亚马逊电商案例© 2021, Amazon Web Services, Inc. or its Affiliates. 电商用户旅程个性化定制化首页产品推荐相关产品评分交叉销售客服我的订单修改订单问题客服搜索网页搜索图片搜索语音搜索移动搜索优化页面加载导航虚拟现实评分方式市场媒体语音移动设备渠道邮件广告地理位置手机推送物流线上下单，店面提货线上下单，店面发货全球仓库派送预约派送第三方退货退货流程优化用户转化 – 售中用户触达 – 售前用户服务 – 售后兴趣/搜索 吸引/评估甄别/购买期待/追踪咨询/退货 忠诚/推荐© 2021, Amazon Web Services, Inc. or its Affiliates. 电商业务重点来源: eCommerce Leaders 2021 调查报告顾客终生价值(CLV)转化率优化(CRO)获客成本(CAC)新流量获取客单价(AOV)电商企业KPI电商企业投资重点网站/App性能优化个性化重构平台/无头电商全渠道优化产品发现和产品搜索70%52%51%51%47%© 2021, Amazon Web Services, Inc. or its Affiliates. AmazonEMR商品搜索运营分析用户画像个性化推荐IT运维分析•高阶应用的前置条件•依赖于完善的数据湖建设和高效的数据处理•无缝集成机器学习来构建用户画像数据驱动电商业务电商行业典型应用场景q 数据服务的深度和广度广泛的ML和AI服务AmazonRedshiftAmazon AthenaAWS GlueAmazon Elasticsearch ServiceAWS的价值主张q 五大场景，围绕用户旅程全链路•典型机器学习范畴，是大数据分析的高级应用•依赖于完善的数据湖进行数据预处理•更加精准地触达客户、提高最终成单率•依赖于商品检索引擎架构及对应模块为分布式•商品标识明确时，快速定位到目标对象•为电商运营提供决定依据•依赖于用户行为数据与RDS数据的多维度指标转化•分析业务链条各环节数据•电商客户的基本需求•了解IT系统的整体运行状况，有效排查系统故障Amazon S3•功能全面的存储层•综合计算层•高速可扩展的网络层•99.999999999%水平的可靠性•数据生命周期管理深度集成AWS Lake Formation© 2021, Amazon Web Services, Inc. or its Affiliates. 场景1: 商品搜索© 2021, Amazon Web Services, Inc. or its Affiliates. 业务场景场景描述• 目标商品明确，可通过文字、语音、扫码等方式快速搜索到• 商品搜索引擎架构具备分布式、可扩展的特性• 数据在线下流程和线上流程均起到比较核心的作用数据特点• 输入数据：通常，原始数据（结构化信息，文本、图像信息，动态信息等）来自前端数据库，数据源多个• 搜索引擎：在数据采集方面更侧重于各种数据源的数据更新，其效果需要兼顾买家与卖家• 输出数据：支持各种维度的排序，对数据的实时性要求非常高（主要体现在价格和库存两方面）业务实现• 商品搜索引擎为功能实现的核心支撑，具备分布式、可扩展的特性，在架构中需要考虑对索引模块、查询模块和排序干预模块的解耦和分离，以方便对各个模块进行单独的优化和扩展© 2021, Amazon Web Services, Inc. or its Affiliates. 参考架构接口层服务层搜索意图商业规则个性化排序Amazon API GatewayAmazon DynamoDBAmazon AuroraAmazon MemoryDB for RedisAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon OpenSearch ServiceAmazon SageMakerAWS LambdaElastic Load BalancingAmazon Elastic Kubernetes Service (Amazon EKS)© 2021, Amazon Web Services, Inc. or its Affiliates. 案例研究: Nike 耐克 - 商品检索痛 点Amazon ES的自动部署及管理工具大大简化了耐克的开发周期，加快了新搜索体验的上市时间。获 得 益 处解 决 方 案直接面向消费者业务的快速增长和扩张，迫切需要强大的商业搜索解决方案Amazon OpenSearch Service 服务作为耐克的核心搜索引擎“guys bred”意图：•男士•篮球鞋•红黑色© 2021, Amazon Web Services, Inc. or its Affiliates. 全世界最大电商亚马逊的基石• Amazon.com在AWS上面运行，使用Amazon OpenSearch Service扫描、读取和分析亚马逊市场数据，并且根据数据分析结果为买家和卖家提供服务一种完全托管的搜索引擎服务• 为突增的并发访问量提供搜索引擎的稳定性和弹性按需付费和弹性预留以节省成本• Amazon OpenSearch Service允许电商客户在单个集群中存储多达3 PB的数据，并且可以根据需求变化轻松扩展或缩减容积；支持在三个可用区部署，使电商客户能够跨多个可用区部署实例AWS的优势和价值Amazon Elasticsearch Service高可用支持业务连续性• 只需要按实际用量付费• 与按需实例相比，预留实例可保留一或三年，大量节省使用成本内置开箱即用的KNN算法• 适用于Amazon OpenSearch Service© 2021, Amazon Web Services, Inc. or its Affiliates. 非结构化数据搜索架构解析© 2021, Amazon Web Services, Inc. or its Affiliates. 产品搜索基于文本产品搜索基于图片产品搜索“男士背包”输入：输入：© 2021, Amazon Web Services, Inc. or its Affiliates. Amazon Sagemaker 和OpenSearch构建图像检索Amazon Sagemaker•图像分类模型训练•部署特征提取模型Amazon OpenSearch•KNN邻近算法做邻近搜索•高可用，安全的托管服务© 2021, Amazon Web Services, Inc. or its Affiliates. 图像检索原理查询图像预处理特征向量图像数据库图像特征库相似性比较索引+检索重排预处理检索结果© 2021, Amazon Web Services, Inc. or its Af