电商业务简介
- 一、电商业务简介
- 1、电商业务流程
- 2、电商常识
- 1）SKU和SPU
- 2）平台属性和销售属性
- 1）平台属性
- 2）销售属性
- 二、业务数据介绍
- 1、电商系统表结构
- 1、活动信息表（activity_info）
- 2、动规则表（activity_rule）
- 3、活动商品关联表（activity_sku）
- 4、平台属性表（base_attr_info）
- 5、 平台属性值表（base_attr_value）
- 6、一级分类表（base_category1）
- 7、二级分类表（base_category2）
- 8、三级分类表（base_category3）
- 9、字典表（base_dic）
- 10、省份表（base_province）
- 11、地区表（base_region）
- 12、品牌表（base_trademark）
- 13、购物车表（cart_info）
- 14、评价表（comment_info）
- 15、优惠券信息表（coupon_info）
- 16、优惠券优惠范围表（coupon_range）
- 17、优惠券领用表（coupon_use）
- 18、收藏表（favor_info）
- 19、订单明细表（order_detail）
- 20、订单明细活动关联表（order_detail_activity）
- 21、订单明细优惠券关联表（order_detail_coupon）
- 22、订单表(order_info）
- 23、退单表（order_refund_info）
- 24、订单状态流水表（order_status_log）
- 25、支付表（payment_info）
- 26、退款表（refund_payment）
- 27、SKU平台属性表（sku_attr_value）
- 28、SKU信息表（sku_info）
- 29、SKU销售属性表（sku_sale_attr_value）
- 30、SPU信息表（spu_info）
- 31、SPU销售属性表（spu_sale_attr）
- 32、SPU销售属性值表（spu_sale_attr_value）
- 33、用户地址表（user_address）
- 34、用户信息表（user_info）
- 35、SKU销售属性表（sku_sale_attr_value）
- 36、SKU销售属性表（sku_sale_attr_value）
- 2、MySQL安装
- (1) 安装包准备
- 1）将安装包和JDBC驱动上传到/opt/software，共计6个
- 2）如果是虚拟机按照如下步骤执行
- 3）如果是阿里云服务器按照如下步骤执行
- (2) 安装MySQL
- 1）安装MySQL依赖
- 2）安装mysql-client
- 3）安装mysql-server
- 4）启动MySQL
- 5）查看MySQL密码
- (3) 配置MySQL
- 1）用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）
- 2）设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）
- 3）更改MySQL密码策略
- 4）设置简单好记的密码
- 5）进入MySQL库
- 6）查询user表
- 7）修改user表，把Host表内容修改为%
- 8）刷新
- 9）退出
- 3、业务数据模拟
- (1) 连接MySQL
- (2) 建表语句
- 1）通过SQLyog创建数据库
- 2）设置数据库名称为gmall，编码为utf-8，排序规则为utf8_general_ci
- 3）导入数据库结构脚本（gmall.sql）
- (3) 生成业务数据
- 1）在hadoop102的/opt/module/目录下创建db_log文件夹
- 2）把gmall2020-mock-db-2021-11-14.jar和application.properties上传到hadoop102的/opt/module/db_log路径上。
- 3）根据需求修改application.properties相关配置
- 4）并在该目录下执行，如下命令，生成2020-06-14日期数据：
- 5）查看gmall数据库，观察是否有2020-06-14的数据出现
- (4) 业务数据建模
- 1）下载地址
- 2）使用说明
- 3）使用技巧
- 三、业务数据采集模块
- 3.1 采集通道
- 3.2 采集工具
- 3.3 采集通道Maxwell配置
- 1）修改Maxwell配置文件config.properties
- 3）重新启动Maxwell
- 4）通道测试
- （1）启动Zookeeper以及Kafka集群
- （2）启动一个Kafka Console Consumer，消费topic_db数据
- （3）生成模拟数据
- （4）观察Kafka消费者是否能消费到数据
一、电商业务简介
1、电商业务流程
电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。
当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录，登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。
订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。
电商的主要业务流程包括用户前台浏览商品时的商品详情的管理，用户商品加入购物车进行支付时用户个人中心&支付服务的管理，用户支付完成后订单后台服务的管理，这些流程涉及到了十几个甚至几十个业务数据表，甚至更多。
2、电商常识
1）SKU和SPU
SKU = Stock Keeping Unit（库存量基本单位）。现在已经被引申为产品统一编号的简称，每种产品均对应有唯一的SKU号。
SPU（Standard Product Unit）：是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息集合。
例如：iPhoneX手机就是SPU。一台银色、128G内存的、支持联通网络的iPhoneX，就是SKU。
SPU表示一类商品。同一SPU的商品可以共用商品图片、海报、销售属性等。
2）平台属性和销售属性
1）平台属性
2）销售属性
二、业务数据介绍
1、电商系统表结构
以下为本电商数仓系统涉及到的业务数据表结构关系。这34个表以订单表、用户表、SKU商品表、活动表和优惠券表为中心，延伸出了优惠券领用表、支付流水表、活动订单表、订单详情表、订单状态表、商品评论表、编码字典表退单表、SPU商品表等，用户表提供用户的详细信息，支付流水表提供该订单的支付详情，订单详情表提供订单的商品数量等情况，商品表给订单详情表提供商品的详细信息。本次讲解以此34个表为例，实际项目中，业务数据库中表格远远不止这些。
1、活动信息表（activity_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | -活动id |
| activity_name | 活动名称 |
| activity_type | 活动类型（1：满减，2：折扣） |
| activity_desc | 活动描述 |
| start_time | 开始时间 |
| end_time | 结束时间 |
| create_time | 创建时间 |
2、动规则表（activity_rule）
| 项目 | Value |
|---|---|
| id | 编号 |
| activity_id | 活动ID |
| activity_type | 活动类型 |
| condition_amount | 满减金额 |
| condition_num | 满减件数 |
| benefit_amount | 优惠金额 |
| benefit_discount | 优惠折扣 |
| benefit_level | 优惠级别 |
3、活动商品关联表（activity_sku）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| activity_id | 活动id |
| sku_id | sku_id |
| create_time | 创建时间 |
4、平台属性表（base_attr_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| attr_name | 属性名称 |
| category_id | 分类id |
| category_level | 分类层级 |
5、 平台属性值表（base_attr_value）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| value_name | 属性值名称 |
| attr_id | 属性id |
6、一级分类表（base_category1）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| name | 分类名称 |
7、二级分类表（base_category2）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| name | 二级分类名称 |
| category1_id | 一级分类编号 |
8、三级分类表（base_category3）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| name | 三级分类名称 |
| category2_id | 二级分类编号 |
9、字典表（base_dic）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| dic_code | 编号 |
| dic_name | 编码名称 |
| parent_code | 父编号 |
| create_time | 创建日期 |
| operate_time | 修改日期 |
10、省份表（base_province）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | id |
| name | 省名称 |
| region_id | 大区id |
| area_code | 行政区位码 |
| iso_code | 国际编码 |
| iso_3166_2 | ISO3166编码 |
11、地区表（base_region）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 大区id |
| region_name | 大区名称 |
12、品牌表（base_trademark）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| tm_name | 属性值 |
| logo_url | 品牌logo的图片路径 |
13、购物车表（cart_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| user_id | 用户id |
| sku_id | skuid |
| cart_price | 放入购物车时价格 |
| sku_num | 数量 |
| img_url | 图片文件 |
| sku_name | sku名称 (冗余) |
| is_checked | 是否已经下单 |
| create_time | 创建时间 |
| operate_time | 修改时间 |
| is_ordered | 是否已经下单 |
| order_time | 下单时间 |
| source_type | 来源类型 |
| source_id | 来源编号 |
14、评价表（comment_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| user_id | 用户id |
| nick_name | 用户昵称 |
| head_img | 图片 |
| sku_id | 商品sku_id |
| spu_id | 商品spu_id |
| order_id | 订单编号 |
| appraise | 评价 1 好评 2 中评 3 差评 |
| comment_txt | 评价内容 |
| create_time | 创建时间 |
| operate_time | 修改时间 |
15、优惠券信息表（coupon_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 购物券编号 |
| coupon_name | 购物券名称 |
| coupon_type | 购物券类型 1 现金券 2 折扣券 3 满减券 4 满件打折券 |
| condition_amount | 满额数（3） |
| condition_num | 满件数（4） |
| activity_id | 活动编号 |
| benefit_amount | 减金额（1 3） |
| benefit_discount | 折扣（2 4） |
| create_time | 创建时间 |
| range_type | 范围类型 1、商品(spuid) 2、品类(三级分类id) 3、品牌 |
| limit_num | 最多领用次数 |
| taken_count | 已领用次数 |
| start_time | 可以领取的开始日期 |
| end_time | 可以领取的结束日期 |
| operate_time | 修改时间 |
| expire_time | 过期时间 |
| range_desc | 范围描述 |
16、优惠券优惠范围表（coupon_range）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 购物券编号 |
| coupon_id | 优惠券id |
| range_type | 范围类型 1、商品(spuid) 2、品类(三级分类id) 3、品牌 |
| range_id | 范围id |
17、优惠券领用表（coupon_use）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| coupon_id | 购物券id |
| user_id | 用户id |
| order_id | 订单id |
| coupon_status | 购物券状态（1：未使用 2：已使用） |
| get_time | 获取时间 |
| using_time | 使用时间 |
| used_time | 支付时间 |
| expire_time | 过期时间 |
18、收藏表（favor_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| user_id | 用户id |
| sku_id | skuid |
| spu_id | 商品id |
| is_cancel | 是否已取消 0 正常 1 已取消 |
| create_time | 创建时间 |
| cancel_time | 修改时间 |
19、订单明细表（order_detail）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| order_id | 订单编号 |
| sku_id | sku_id |
| sku_name | sku名称（冗余) |
| img_url | 图片名称（冗余) |
| order_price | 购买价格(下单时sku价格） |
| sku_num | 购买个数 |
| create_time | 创建时间 |
| source_type | 来源类型 |
| source_id | 来源编号 |
| split_total_amount | 分摊总金额 |
| split_activity_amount | 分摊活动减免金额 |
| split_coupon_amount | 分摊优惠券减免金额 |
20、订单明细活动关联表（order_detail_activity）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| order_id | 订单id |
| order_detail_id | 订单明细id |
| activity_id | 活动id |
| activity_rule_id | 活动规则 |
| sku_id | skuid |
| create_time | 获取时间 |
21、订单明细优惠券关联表（order_detail_coupon）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| order_id | 订单id |
| order_detail_id | 订单明细id |
| coupon_id | 购物券id |
| coupon_use_id | 购物券领用id |
| sku_id | skuid |
| create_time | 获取时间 |
22、订单表(order_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| consignee | 收货人 |
| consignee_tel | 收件人电话 |
| total_amount | 总金额 |
| order_status | 订单状态 |
| user_id | 用户id |
| payment_way | 付款方式 |
| delivery_address | 送货地址 |
| order_comment | 订单备注 |
| out_trade_no | 订单交易编号（第三方支付用) |
| trade_body | 订单描述(第三方支付用) |
| create_time | 创建时间 |
| operate_time | 操作时间 |
| expire_time | 失效时间 |
| process_status | 进度状态 |
| tracking_no | 物流单编号 |
| parent_order_id | 父订单编号 |
| img_url | 图片路径 |
| province_id | 地区 |
| activity_reduce_amount | 促销金额 |
| coupon_reduce_amount | 优惠金额 |
| original_total_amount | 原价金额 |
| feight_fee | 运费 |
| feight_fee_reduce | 运费减免 |
| refundable_time | 可退款日期（签收后30天） |
23、退单表（order_refund_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| user_id | 用户id |
| order_id | 订单id |
| sku_id | skuid |
| refund_type | 退款类型 |
| refund_num | 退货件数 |
| refund_amount | 退款金额 |
| refund_reason_type | 原因类型 |
| refund_reason_txt | 原因内容 |
| refund_status | 退款状态（0：待审批 1：已退款） |
| create_time | 创建时间 |
24、订单状态流水表（order_status_log）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| order_id | 订单编号 |
| order_status | 订单状态 |
| operate_time | 操作时间 |
25、支付表（payment_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| out_trade_no | 对外业务编号 |
| order_id | 订单编号 |
| user_id | 用户id |
| payment_type | 支付类型（微信 支付宝） |
| trade_no | 交易编号 |
| total_amount | 支付金额 |
| subject | 交易内容 |
| payment_status | 支付状态 |
| create_time | 创建时间 |
| callback_time | 回调时间 |
| callback_content | 回调信息 |
26、退款表（refund_payment）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| out_trade_no | 对外业务编号 |
| order_id | 订单编号 |
| sku_id | 商品sku_id |
| payment_type | 支付类型（微信 支付宝） |
| trade_no | 交易编号 |
| total_amount | 退款金额 |
| subject | 交易内容 |
| refund_status | 退款状态 |
| create_time | 创建时间 |
| callback_time | 回调时间 |
| callback_content | 回调信息 |
27、SKU平台属性表（sku_attr_value）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| attr_id | 属性id（冗余) |
| value_id | 属性值id |
| sku_id | skuid |
| attr_name | 属性名称 |
| value_name | 属性值名称 |
28、SKU信息表（sku_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 库存id(itemID) |
| spu_id | 商品id |
| price | 价格 |
| sku_name | sku名称 |
| sku_desc | 商品规格描述 |
| weight | 重量 |
| tm_id | 品牌(冗余) |
| category3_id | 三级分类id（冗余) |
| sku_default_img | 默认显示图片(冗余) |
| is_sale | 是否销售（1：是 0：否） |
| create_time | 创建时间 |
29、SKU销售属性表（sku_sale_attr_value）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | id |
| sku_id | 库存单元id |
| spu_id spu_id | （冗余） |
| sale_attr_value_id | 销售属性值id |
| sale_attr_id | 销售属性id |
| sale_attr_name | 销售属性值名称 |
| sale_attr_value_name | 销售属性值名称 |
30、SPU信息表（spu_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 商品id |
| spu_name | 商品名称 |
| description | 商品描述(后台简述） |
| category3_id | 三级分类id |
| tm_id | 品牌id |
31、SPU销售属性表（spu_sale_attr）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号（业务中无关联） |
| spu_id | 商品id |
| base_sale_attr_id | 销售属性id |
| sale_attr_name | 销售属性名称（冗余） |
32、SPU销售属性值表（spu_sale_attr_value）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 销售属性值编号 |
| spu_id | 商品id |
| base_sale_attr_id | 销售属性id |
| sale_attr_value_name | 销售属性值名称 |
| sale_attr_name | 销售属性名称（冗余） |
33、用户地址表（user_address）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| user_id | 用户id |
| province_id | 省份id |
| user_address | 用户地址 |
| consignee | 收件人 |
| phone_num | 联系方式 |
| is_default | 是否是默认 |
34、用户信息表（user_info）
| 项目 | Value |
|---|---|
| 字段名 | 字段说明 |
| id | 编号 |
| login_name | 用户名称 |
| nick_name | 用户昵称 |
| passwd | 用户密码 |
| name | 用户姓名 |
| phone_num | 手机号 |
| 邮箱 | |
| head_img | 头像 |
| user_level | 用户级别 |
| birthday | 用户生日 |
| gender | 性别 M男,F女 |
| create_time | 创建时间 |
| operate_time | 修改时间 |
| status | 状态 |
35、SKU销售属性表（sku_sale_attr_value）
| 项目 | Value |
|---|---|
| 电脑 | $1600 |
| 手机 | $12 |
| 导管 | $1 |
36、SKU销售属性表（sku_sale_attr_value）
| 项目 | Value |
|---|---|
| 电脑 | $1600 |
| 手机 | $12 |
| 导管 | $1 |
电商业务表
后台管理系统
2、MySQL安装
(1) 安装包准备
1）将安装包和JDBC驱动上传到/opt/software，共计6个
01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm
04_mysql-community-client-5.7.16-1.el7.x86_64.rpm
05_mysql-community-server-5.7.16-1.el7.x86_64.rpm
mysql-connector-java-5.1.27-bin.jar
2）如果是虚拟机按照如下步骤执行
（1）卸载自带的Mysql-libs（如果之前安装过MySQL，要全都卸载掉）
[atguigu@hadoop102 software]$ rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps
3）如果是阿里云服务器按照如下步骤执行
说明：由于阿里云服务器安装的是Linux最小系统版，没有如下工具，所以需要安装。
（1）卸载MySQL依赖，虽然机器上没有装MySQL，但是这一步不可少
[atguigu@hadoop102 software]# sudo yum remove mysql-libs
（2）下载依赖并安装
[atguigu@hadoop102 software]# sudo yum install libaio
[atguigu@hadoop102 software]# sudo yum -y install autoconf
(2) 安装MySQL
1）安装MySQL依赖
[atguigu@hadoop102 software]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
[atguigu@hadoop102 software]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
[atguigu@hadoop102 software]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm
2）安装mysql-client
[atguigu@hadoop102 software]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm
3）安装mysql-server
[atguigu@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm
注意：如果报如下错误，这是由于yum安装了旧版本的GPG keys所造成，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。
warning: 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error: Failed dependencies:
libaio.so.1()(64bit) is needed by mysql-community-server-5.7.16-1.el7.x86_64
解决办法
[atguigu@hadoop102 software]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm --force --nodeps
4）启动MySQL
[atguigu@hadoop102 software]$ sudo systemctl start mysqld
5）查看MySQL密码
[atguigu@hadoop102 software]$ sudo cat /var/log/mysqld.log | grep password
(3) 配置MySQL
1）用刚刚查到的密码进入MySQL（如果报错，给密码加单引号）
[atguigu@hadoop102 software]$ mysql -uroot -p'password'
2）设置复杂密码（由于MySQL密码策略，此密码必须足够复杂）
mysql> set password=password("Qs23=zs32");
3）更改MySQL密码策略
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
4）设置简单好记的密码
mysql> set password=password("000000");
5）进入MySQL库
mysql> use mysql
6）查询user表
mysql> select user, host from user;
7）修改user表，把Host表内容修改为%
mysql> update user set host="%" where user="root";
8）刷新
mysql> flush privileges;
9）退出
mysql> quit;
3、业务数据模拟
(1) 连接MySQL
通过MySQL可视化客户端连接数据库。
(2) 建表语句
1）通过SQLyog创建数据库
2）设置数据库名称为gmall，编码为utf-8，排序规则为utf8_general_ci
3）导入数据库结构脚本（gmall.sql）
注意：完成后，要记得右键，刷新一下对象浏览器，就可以看见数据库中的表了。
(3) 生成业务数据
1）在hadoop102的/opt/module/目录下创建db_log文件夹
[atguigu@hadoop102 module]$ mkdir db_log/
2）把gmall2020-mock-db-2021-11-14.jar和application.properties上传到hadoop102的/opt/module/db_log路径上。
3）根据需求修改application.properties相关配置
logging.level.root=info
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://hadoop102:3306/gmall?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
spring.datasource.username=root
spring.datasource.password=000000
logging.pattern.console=%m%n
mybatis-plus.global-config.db-config.field-strategy=not_null
#业务日期
mock.date=2020-06-14
#是否重置 注意：第一次执行必须设置为1，后续不需要重置不用设置为1
mock.clear=1
#是否重置用户 注意：第一次执行必须设置为1，后续不需要重置不用设置为1
mock.clear.user=1
#生成新用户数量
mock.user.count=100
#男性比例
mock.user.male-rate=20
#用户数据变化概率
mock.user.update-rate:20
#收藏取消比例
mock.favor.cancel-rate=10
#收藏数量
mock.favor.count=100
#每个用户添加购物车的概率
mock.cart.user-rate=50
#每次每个用户最多添加多少种商品进购物车
mock.cart.max-sku-count=8
#每个商品最多买几个
mock.cart.max-sku-num=3
#购物车来源 用户查询，商品推广，智能推荐, 促销活动
mock.cart.source-type-rate=60:20:10:10
#用户下单比例
mock.order.user-rate=50
#用户从购物中购买商品比例
mock.order.sku-rate=50
#是否参加活动
mock.order.join-activity=1
#是否使用购物券
mock.order.use-coupon=1
#购物券领取人数
mock.coupon.user-count=100
#支付比例
mock.payment.rate=70
#支付方式 支付宝：微信 ：银联
mock.payment.payment-type=30:60:10
#评价比例 好：中：差：自动
mock.comment.appraise-rate=30:10:10:50
#退款原因比例：质量问题 商品描述与实际描述不一致 缺货 号码不合适 拍错 不想买了 其他
mock.refund.reason-rate=30:10:20:5:15:5:5
4）并在该目录下执行，如下命令，生成2020-06-14日期数据：
[atguigu@hadoop102 db_log]$ java -jar gmall2020-mock-db-2021-11-14.jar
5）查看gmall数据库，观察是否有2020-06-14的数据出现
(4) 业务数据建模
可借助EZDML这款数据库设计工具，来辅助我们梳理复杂的业务表关系。
1）下载地址
http://www.ezdml.com/download_cn.html
2）使用说明
（1）新建模型
（2）命名模型
（3）点击图标，选中模型
（4）导入数据库
（5）配置数据库连接
（6）选择导入的表（标注红点的表不需要导入）
（7）建立表关系
第一步：点击选中主表（主键所在的表）
第二步：点击连接按钮
第三步：点击从表，配置连接条件
第四步：效果展示
3）使用技巧
（1）缩略图
（2）热键
按住shift键，用鼠标点击表，进行多选，可实现批量移动
按住ctrl键，用鼠标圈选表，也可进行多选，实现批量移第3章 业务数据采
三、业务数据采集模块
3.1 采集通道
3.2 采集工具
3.3 采集通道Maxwell配置
1）修改Maxwell配置文件config.properties
[atguigu@hadoop102 maxwell]$ vim /opt/module/maxwell/config.properties
2）配置参数如下
log_level=info
producer=kafka
kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092
#kafka topic配置
kafka_topic=topic_db
mysql login info
host=hadoop102
user=maxwell
password=maxwell
jdbc_options=useSSL=false&serverTimezone=Asia/Shanghai
3）重新启动Maxwell
[atguigu@hadoop102 bin]$ mxw.sh restart
4）通道测试
（1）启动Zookeeper以及Kafka集群
（2）启动一个Kafka Console Consumer，消费topic_db数据
[atguigu@hadoop103 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topic_db
（3）生成模拟数据
[atguigu@hadoop102 bin]$ cd /opt/module/db_log/
[atguigu@hadoop102 db_log]$ java -jar gmall2020-mock-db-2021-11-14.jar
（4）观察Kafka消费者是否能消费到数据
{
"database":"gmall","table":"cart_info","type":"update","ts":1592270938,"xid":13090,
"xoffset":1573,"data":{"id":100924,"user_id":"93","sku_id":16,"cart_price":4488.00,"sku_num":1,
"img_url":"http://47.93.148.192:8080/group1/M00/00/02/rBHu8l-sklaALrngAAHGDqdpFtU741.jpg",
"sku_name":"华为 HUAWEI P40 麒麟990 5G SoC芯片 5000万超感知徕卡三摄 30倍数字变焦 8GB+128GB亮黑色全网通5G手机",
"is_checked":null,"create_time":"2020-06-14 09:28:57","operate_time":null,"is_ordered":1,
"order_time":"2021-10-17 09:28:58","source_type":"2401","source_id":null},
"old":{"is_ordered":0,"order_time":null}
}
