在IoT场景中,很多传感器采集到的都是二进制数据,或者私有协议格式数据流,设备端又不具备转换成结构化JSON的能力,这时候我们可以借助IoT物联网平台云端自定义数据解析能力,转换Modbus,电力协议,hex数据,私有协议为
结构化的JSON
,再流转到业务系统。此处讲解示例为《阿里云物联网平台》
一、前置知识
物联网平台定义设备消息的标准数据格式为Alink JSON
。对于低配置且资源受限或者对网络流量有要求的设备,不适合直接构造JSON数据
与物联网平台通信,可将原数据透传到物联网平台,再由物联网平台提供消息解析功能
,可以根据您提交的脚本,将消息数据在设备自定义格式和JSON格式之间转换。
1. 什么是消息解析?
即通过脚本(可以是js、php、python),将消息数据在设备自定义格式和JSON格式之间转换。
2. 什么是Topic?
Topic是消息发布(Pub)者和订阅(Sub)者之间的传输中介。
物联网平台中,服务端和设备端通过Topic来实现消息通信。Topic是针对设备的概念,Topic类是针对产品的概念。产品的Topic类会自动映射到产品下的所有设备中,生成用于消息通信的具体设备Topic。
2.1 Topic类定义
Topic类:产品维度的Topic,是同一产品下不同设备的Topic集合。一个ProductKey下有多个Topic类。一个Topic类对一个ProductKey下所有设备通用。
以下是Topic类的使用说明:
-
定义Topic类的功能。
Topic类格式以正斜线(/)开头并进行分层,区分每个类目。例如:/${productKey}/${deviceName}/user/update
。
其中,${productKey}
和${deviceName}
两个类目为既定类目;后缀和前缀类目用于区分不同功能的消息。-
${productKey}
表示产品的标识符 ProductKey。
在指定产品的Topic类中,需替换为实际的ProductKey值。 -
${deviceName}
表示设备名称 DeviceName。
在产品Topic类中,${deviceName}是该产品下所有设备的名称变量,不需要替换为实际设备名称。
-
-
定义Topic类的操作权限。
- 发布:产品下设备可以往该Topic类对应的设备Topic发布消息。
- 订阅:产品下设备可以订阅该Topic类对应的设备Topic,从而获取消息。
- 发布和订阅:同时具备发布和订阅的操作权限。
2.2 Topic定义
在产品Topic类基础上,使用具体的${productKey}/${deviceName}
通配一个唯一的设备,与前缀、后缀类目组成的完整Topic,就是具体设备的Topic。
设备Topic与产品Topic类格式一致,区别在于Topic类中的变量${deviceName},在设备Topic中是具体的设备名称(DeviceName)。
例如产品a19mzPZ***
下设备device1和device2的具体Topic如下:
/a19mzPZ****/device1/user/update
/a19mzPZ****/device2/user/update
产品Topic类定义的功能和操作权限,会映射到具体的设备Topic。
3. 十六进制转换
十六进制使用 16 个符号来表示数字(以0x
开头):
- 0 到 9 表示值 0 到 9
- a 到 f(A 到 F)表示值 10 到 16。字母不区分大小写,因此 3C2b 与 3c2B 的值完全相同。
JavaScript 中将十进制转换为十六进制,请对十进制调用 toString() 方法,将 16 作为基数参数传递
alert( 0xff ); // 255
const num = 60;
const hex = num.toString(16);
console.log(hex); // 3c
js 二进制 十进制 十六进制 buffer 字节数组 字符串 相互转换
二、阿里云平台JS脚本示例解析
阿里云平台目前支持解析两类消息:
- 自定义Topic上行消息:将设备通过自定义Topic上报给物联网平台云端的自定义格式数据Payload解析为JSON格式。JavaScript语言的自定义Topic消息解析脚本模板和示例
- 上、下行物模型Topic的消息:将设备上报给物联网平台云端的自定义格式物模型数据解析为
Alink JSON
格式;将云端下发的Alink JSON
格式数据解析为设备自定义的格式。JavaScript语言的物模型消息解析脚本模板和示例
脚本编写注意事项:
- (官方示例使用了关键字
var
)请避免使用全局变量,否则会造成执行结果不一致。 - 脚本中,处理数据采用补码的方式, [-128, 127]补码范围为[0, 255]。例如,-1对应的补码为255(10进制表示)。
- 解析设备上报数据的函数(rawDataToProtocol)的入参为整型数组。需要通过0xFF进行与操作,获取其对应的补码。
- 解析物联网平台下发数据的函数(protocolToRawData)的返回结果为数组。数组元素为整型,取值为[0, 255]。
以下是阿里云物联网平台的官方示例:
var COMMAND_REPORT = 0x00; //属性上报。
var COMMAND_SET = 0x01; //属性设置。
var COMMAND_REPORT_REPLY = 0x02; //上报数据返回结果。
var COMMAND_SET_REPLY = 0x03; //属性设置设备返回结果。
var COMMAD_UNKOWN = 0xff; //未知的命令。
var ALINK_PROP_REPORT_METHOD = 'thing.event.property.post'; //物联网平台Topic,设备上传属性数据到云端。
var ALINK_PROP_SET_METHOD = 'thing.service.property.set'; //物联网平台Topic,云端下发属性控制指令到设备端。
var ALINK_PROP_SET_REPLY_METHOD = 'thing.service.property.set'; //物联网平台Topic,设备上报属性设置的结果到云端。
var SELF_DEFINE_TOPIC_UPDATE_FLAG = '/user/update' //自定义Topic:/user/update。
var SELF_DEFINE_TOPIC_ERROR_FLAG = '/user/update/error' //自定义Topic:/user/update/error。
/*
示例数据:
设备上报属性数据:
传入参数:
0x000000000100320100000000
输出结果:
{"method":"thing.event.property.post","id":"1","params":{"prop_float":0,"prop_int16":50,"prop_bool":1},"version":"1.0"}
属性设置的返回结果:
传入参数:
0x0300223344c8
输出结果:
{"code":"200","data":{},"id":"2241348","version":"1.0"}
*/
function rawDataToProtocol(bytes) {
let uint8Array = new Uint8Array(bytes.length);
for (let i = 0; i < bytes.length; i++) {
uint8Array[i] = bytes[i] & 0xff;
}
let dataView = new DataView(uint8Array.buffer, 0);
let jsonMap = new Object();
let fHead = uint8Array[0]; // command
if (fHead == COMMAND_REPORT) {
jsonMap['method'] = ALINK_PROP_REPORT_METHOD; //ALink JSON格式,属性上报topic。
jsonMap['version'] = '1.0'; //ALink JSON格式,协议版本号固定字段。
jsonMap['id'] = '' + dataView.getInt32(1); //ALink JSON格式,标示该次请求id值。
let params = {};
params['prop_int16'] = dataView.getInt16(5); //对应产品属性中prop_int16。
params['prop_bool'] = uint8Array[7]; //对应产品属性中prop_bool。
params['prop_float'] = dataView.getFloat32(8); //对应产品属性中prop_float。
jsonMap['params'] = params; //ALink JSON格式,params标准字段。
} else if(fHead == COMMAND_SET_REPLY) {
jsonMap['version'] = '1.0'; //ALink JSON格式,协议版本号固定字段。
jsonMap['id'] = '' + dataView.getInt32(1); //ALink JSON格式,标示该次请求id值。
jsonMap['code'] = ''+ dataView.getUint8(5);
jsonMap['data'] = {};
}
return jsonMap;
}
/*
示例数据:
云端下发属性设置指令:
传入参数:
{"method":"thing.service.property.set","id":"12345","version":"1.0","params":{"prop_float":123.452, "prop_int16":333, "prop_bool":1}}
输出结果:
0x0100003039014d0142f6e76d
设备上报的返回结果:
传入数据:
{"method":"thing.event.property.post","id":"12345","version":"1.0","code":200,"data":{}}
输出结果:
0x0200003039c8
*/
function protocolToRawData(json) {
var method = json['method'];
var id = json['id'];
var version = json['version'];
var payloadArray = [];
if (method == ALINK_PROP_SET_METHOD) //属性设置。
{
var params = json['params'];
var prop_float = params['prop_float'];
var prop_int16 = params['prop_int16'];
var prop_bool = params['prop_bool'];
//按照自定义协议格式拼接 rawData。
payloadArray = payloadArray.concat(buffer_uint8(COMMAND_SET)); //command字段。
payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式 'id'。
payloadArray = payloadArray.concat(buffer_int16(prop_int16)); //属性'prop_int16'的值。
payloadArray = payloadArray.concat(buffer_uint8(prop_bool)); //属性'prop_bool'的值。
payloadArray = payloadArray.concat(buffer_float32(prop_float)); //属性'prop_float'的值。
} else if (method == ALINK_PROP_REPORT_METHOD) { //设备上报数据返回结果。
var code = json['code'];
payloadArray = payloadArray.concat(buffer_uint8(COMMAND_REPORT_REPLY)); //command字段。
payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式'id'。
payloadArray = payloadArray.concat(buffer_uint8(code));
} else { //未知命令,对于这些命令不做处理。
var code = json['code'];
payloadArray = payloadArray.concat(buffer_uint8(COMMAD_UNKOWN)); //command字段。
payloadArray = payloadArray.concat(buffer_int32(parseInt(id))); //ALink JSON格式'id'。
payloadArray = payloadArray.concat(buffer_uint8(code));
}
return payloadArray;
}
/*示例数据
自定义Topic:
/user/update,上报数据。
输入参数:
topic:/{productKey}/{deviceName}/user/update
bytes: 0x000000000100320100000000
输出参数:
{
"prop_float": 0,
"prop_int16": 50,
"prop_bool": 1,
"topic": "/{productKey}/{deviceName}/user/update"
}
*/
function transformPayload(topic, bytes) {
var uint8Array = new Uint8Array(bytes.length);
for (var i = 0; i < bytes.length; i++) {
uint8Array[i] = bytes[i] & 0xff;
}
var dataView = new DataView(uint8Array.buffer, 0);
var jsonMap = {};
if(topic.includes(SELF_DEFINE_TOPIC_ERROR_FLAG)) {
jsonMap['topic'] = topic;
jsonMap['errorCode'] = dataView.getInt8(0)
} else if (topic.includes(SELF_DEFINE_TOPIC_UPDATE_FLAG)) {
jsonMap['topic'] = topic;
jsonMap['prop_int16'] = dataView.getInt16(5);
jsonMap['prop_bool'] = uint8Array[7];
jsonMap['prop_float'] = dataView.getFloat32(8);
}
return jsonMap;
}
//以下是部分辅助函数。
function buffer_uint8(value) {
var uint8Array = new Uint8Array(1);
var dv = new DataView(uint8Array.buffer, 0);
dv.setUint8(0, value);
return [].slice.call(uint8Array);
}
function buffer_int16(value) {
var uint8Array = new Uint8Array(2);
var dv = new DataView(uint8Array.buffer, 0);
dv.setInt16(0, value);
return [].slice.call(uint8Array);
}
function buffer_int32(value) {
var uint8Array = new Uint8Array(4);
var dv = new DataView(uint8Array.buffer, 0);
dv.setInt32(0, value);
return [].slice.call(uint8Array);
}
function buffer_float32(value) {
var uint8Array = new Uint8Array(4);
var dv = new DataView(uint8Array.buffer, 0);
dv.setFloat32(0, value);
return [].slice.call(uint8Array);
}
官方示例rawDataToProtocol
与protocolToRawData
的传入与输出结果都是整型数组
, 但是他的官方示例的注释写的却是字符串,挺误导人的!
自己写的话可以使用:十六进制字符串与字节数组相互转换一下
例如:
// 字符串转字节数组
function Str2Bytes(str) {
if(str.length <= 0){
return
}
if(str.length%2 != 0){
str = "0" + str;
}
var pos = 0;
var len = str.length;
len /= 2;
var hexA = new Array();
for (var i = 0; i < len; i++) {
var s = str.substr(pos, 2);
var v = parseInt(s, 16);
hexA.push(v);
pos += 2;
}
return hexA;
}
console.log('rawDataToProtocol---', rawDataToProtocol(Str2Bytes(000000000100320100000000)));
未完待续…