模型构建中的运算
数据集是CONLL03
这个数据集共有4种实体类型,所以,在做实体描述的embedding时,得到的语义表示的Tensor大小为 :
4*max_len,
具体指的是:
type_input_ids: torch.LongTensor = None,
type_attention_mask: torch.Tensor = None,
type_token_type_ids: torch.Tensor = None,
当一个batch中数据数量设置为8时,得到的语义表示的Tensor大小为:8*max_len
具体指的是输入中的:
input_ids: torch.LongTensor = None,
attention_mask: torch.Tensor = None,
token_type_ids: torch.Tensor = None,
输入中的另外一个输入:NER
linear的向量映射是从:768——>128维