[work@ rus_env]$ pwd
/home/work/xx/du-rus/offline-tools/du_rus/rus_env
[work@ rus_env]$
python buildenv_rus.py 5a0e771e938a486df3b8b3e1cde1a39c2006882d 5f3241963a3e39a8e1eae05d7075fc5b9278a7c7
打开日志级别
[work@xx conf]$
vim /home/work/xx/du-rus/du_rus_offline/conf/log.conf
第31行rpc.log 追加,TRACE,DEBUG
31 RPC_SELFLEVEL : NOTICE,TRACE,DEBUG
重启服务
/home/work/xx/du-rus/du_rus_offline/bin
./server_control stop 暂停服务
./server_control start 启动服务
小流量
模型预测：506987_507013
recaller分布不变：507017_507013
source_type分布不变：506985_507013
recaller_source_type分布不变：507016_507013
对照组：507013
模块验证
前置规则(pre_process)
- debug信息
postman连接测试环境，请求体中isDebug设置为true，在response中搜索homefeed_items_feature
[work@nj02-ps-wwwda13-n1.nj02.baidu.com log]$ vim /home/work/xx/du-rus/du_rus_offline/log/rpc.log
日志查询
模型预测
1. 无法排序资源跳过模型预测
小流量输入506987_507013
postman连接测试环境，日志中搜索"before extract_specific_sourcetype_cands cands len is" → A 日志结果为579
2. 日志中搜索"after extract_specific_sourcetype_cands cands len is" → B 日志结果为537
3. 日志中搜索"target_cands len is" → C
必须保证A-B=C
且资源的source_type为vod和news是会跳过预测，即这两种情况下日志中会出现"this item has been move to target_cands"
4. 模型预测
小流量输入506987_507013
日志中不会出现"model_manager->regress fail"
日志中搜索"candidate_id:"查看每个candidate的打分
排序
1. 基于模型预测/recaller分布不变的结果排序(单纯按照分数排序)小流量输入模型预测对应小流量506987_507013，查看排序前candidates
日志搜索"pre rough_ranking is"分数无序
日志搜索"post rough_ranking is"，分数一定是降序排序
2. 基于recaller_source_type分布不变507017_507013的结果排序(同recaller+source_type下的资源进行排序)
小流量输入模型预测对应小流量，查看排序前candidates，日志搜索"pre rough_ranking is"，同上
分数无序
日志搜索"post rough_ranking is"，对应排序前和排序后资源的排序方式是同recaller+source_type下的排序
分数降序
3. 基于source_type分布不变506985_507013的结果排序(根据recaller_min_quota_conf读取每个recaller quota，保证quota内资源排序前后source_type分布不变)
小流量输入模型预测对应小流量，日志中搜索"cands len is"，即输入排序模块的Candidate个数
日志中搜索"global_source_type_distribution is"，查看排序前topk资源的分布
日志中搜索"top_reserve_num_candidates len is"，查看排序后资源数量总和，一定保证总和和上面topk资源数量总和相同
4. 日志中搜索"check_source_type_distribution is"，查看排序后topk资源的source_type分布，一定保证和排序前topk资源的分布是相同的
quota
1. 基于模型预测/source_type分布不变的quota配置
小流量输入模型预测对应小流量506987_507013，日志中搜索不到"in select_topk"
2. 基于recaller分布不变/recaller_source_type分布不变的quota配置
小流量输入模型预测对应小流量，日志中搜索到"in select_topk"
测试结论
通过
