阿里云dataworks测试

news2024/12/23 4:44:19

文章目录

- - 开始
  - - 查看全局信息
    - 查看数据源信息(endpoint与project的信息)
    - 查看绑定、解绑钉钉
    - 创建、查看AccessKey(Access Key ID与Access Key Secret)
  - 线上开发
  - - 新建开发节点
    - - mysql
      - python
  - 本地开发
  - - python
  - 程序调度

开始

参考文档：https://help.aliyun.com/zh/ram/user-guide/create-an-accesskey-pair#task-2245479
文档记录时间:20241010
RAM 用户登录地址：https://signin.aliyun.com/qhdata.onaliyun.com/login.htm#/main
登陆进入后选择DataWorks
在这里插入图片描述
然后选择已有的工作空间或者创建一个新的工作空间

进入空间后可以查看空间运行情况，然后点击数据开发进入系统

查看全局信息

在这里插入图片描述

查看数据源信息(endpoint与project的信息)

在这里插入图片描述

查看绑定、解绑钉钉

参考文章：https://help.aliyun.com/zh/ram/user-guide/bind-a-dingtalk-account-to-a-ram-user
在这里插入图片描述

创建、查看AccessKey(Access Key ID与Access Key Secret)

在这里插入图片描述

线上开发

新建开发节点

在这里插入图片描述

mysql

参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/create-an-odps-sql-node
在这里插入图片描述

python

参考文章：https://pyodps.readthedocs.io/en/latest/index.html
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/use-pyodps-in-dataworks
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/create-a-pyodps-3-node
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/overview-13
参考文章：https://help.aliyun.com/zh/maxcompute/user-guide/create-a-dataframe-object

ODPS入口
DataWorks的PyODPS节点中，将会包含一个全局的变量odps或o，即ODPS入口，您无需手动定义ODPS入口。

貌似在线上开发时会提供pandas:1.0.5

本地开发

python

参考文章：https://pyodps.readthedocs.io/en/latest/index.html
参考文章：https://blog.csdn.net/Jiazengzeng/article/details/127212550
安装PyODPS

pip install pyodps

import os
from odps import ODPS
o = ODPS(
	access_id='', #登陆账号
	secret_access_key='', #登陆密码
	project='project', # odps上的项目名称
	endpoint='http://service.cn-beijing-xxx:80/api'
	)
with o.execute_sql('select * from dw_org_invest_dtl limit 10').open_reader() as reader:
	pd_df = reader.to_pandas()  # 直接转化为pd的df格式