说明

上次做了一些改进,现在关注使用的流程。

内容

1 基础概念

能大约知道大致的几个部分有助于记忆操作步骤,以后这个项目的代号就是ABD了。

1 所有启动相关的代码全部封装在镜像apifunc_database_model1:v3,基于这个镜像就可以启动一个所有对应的服务流
2 在Portal上有相关的数据库配置和项目配置，如果不需要创建新的数据库服务，那么只要配置就可以了。

2 操作流程

2.1 建立数据库服务，并在portal进行注册

在这里插入图片描述

2.2 确定三级命名

项目的三级名称：MyWebCodeEditor

在 .../aprojects/ABD下创建新的项目文件夹MyWebCodeEditor

2.3 拷贝并修改配置文件

将config_base.py拷贝到新项目下，需要做一些修改。主要修改的部分为

target_server = 'm7.24065'
project_name ='MyGeneralTest'
gs_id = 'gtest_rec_id'

2.4 修改`app01_PullToStep1MongoIn.py`

里面的redis_var没有放到config_base.py里控制，所以还是要修改完重新映射这个文件。这是一个改进点。

redis_var可以通过调接口来获取

import requests as req 
redis_agent_host = 'http://172.17.0.1:24021/'
redis_buff_var = {'redis_class':'BUFF','project':'MyWebCodeEditor','subproject':'step1_mongo_in',
'subapp':'app01_PullToStep1MongoIn','var':'flow_count'}
req.post(redis_agent_host + 'redis_naming_test/',json =  redis_buff_var).json()

{'data': None,
 'msg': 'NOT Existed,  <<<<<<  BUFF.MyWebCodeEditor.step1_mongo_in.pf.app.app01_PullToStep1MongoIn.af.gp.0.uf.flow_count',
 'status': True}

2.5 挂载新配置以初始化

note: 将项目数据推送到git项目

以rm方式启动容器,然后执行初始化

docker run -it \
 --name=test_999 \
 --rm \
 -v /etc/localtime:/etc/localtime  \
 -v /etc/timezone:/etc/timezone\
 -v /etc/hostname:/etc/hostname\
 -e "LANG=C.UTF-8" \
 -v /opt/aprojects/ABD/MyWebCodeEditor/app01_PullToStep1MongoIn.py:/workspace/app01_PullToStep1MongoIn.py \
 -v /opt/aprojects/ABD/MyWebCodeEditor/config_base_v3.py:/workspace/configs_base.py \
 xxx/apifunc_database_model1:v3 \
 bash

python3 init_projects_base.py

Wmongo_v9000.012
设置当前连接 local
Current Machine m7
Wmongo_v9000.012
设置当前连接 local
>>> Switching To Mymeta
设置当前连接 local
在CN001访问mymeta,通用
('当前机器的名称：', 'm7')

>>> Hit Records
('当前机器的局网:', 'my.cn001')
【I】目标服务的机器：m7, 目标服务的机器局网：NO_LAN
【I】采用local方式连接目标主机
Wmongo_v9000.012
设置当前连接 local
获取已有连接
('target connection hash:', '7d6dfd9e81815599d48eb2faef5241a3')
('data save to pickle: ', './cur_w.pkl')
{'data': {'rec_id': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_is_enable_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_create_time_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_update_time_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_ch001_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_ch001_cnt_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'rec_id': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_is_enable_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_create_time_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_update_time_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_ch001_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_ch001_cnt_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'rec_id': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_is_enable_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_create_time_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_update_time_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_ch001_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'data': {'_ch001_cnt_1': 'Not Existed and Created'}, 'msg': 'ok', 'status': True}
{'msg': 'created', 'status': True}
{'msg': 'created', 'status': True}

可以看到对应的索引已经全部建好了

2.6 试运行

不要急着退出上一个容器，继续执行

python3 sche.py

然后手工扔一些数据试试

import requests as req 
redis_agent_host = 'http://172.17.0.1:24021/'

project_name ='MyWebCodeEditor'
gs_id = 'rec_id'

step1_stream_in = 'step1_stream_in'
step1_stream_workin = 'step1_stream_workin'
step1_stream_workout = 'step1_stream_workout'

step1_mongo_in = 'step1_mongo_in'
step1_mongo_out = 'step1_mongo_out'
step1_mongo_meta = 'step1_mongo_meta'

full_name_step1_stream_in = '%s.%s' % (project_name,step1_stream_in)

# 1 apifunc.ner.input_docs
for i in range(10):
#     time.sleep(0.0001)
    random_id = random.randint(120000*10000,130000*10000)
    tem_dict = {gs_id:'rec' + str(random_id).zfill(10), 'data':random_id}
    resp = req.post(redis_agent_host + 'batch_add_msg/',
                    json ={'stream_name':full_name_step1_stream_in,'msg_dict_list':[tem_dict],'maxlen':100000}).json()