🚀针对问题:
以往的方法都是针对单字图像,容易忽略了中文句子或一张图像中包含的多个字符。
🚀提出的方法:
Constancy Loss, Smooth L1 loss;TV loss ,key-attention mechanism GAN;多通道鉴别器
🚀使用的指标
L1 Loss ,SSIM, PSNR, LPIPS
已有工作
字符风格迁移[2-5]已经发展到一个前所未有的高度。
汉字体例转移方法备受关注,如基于卷积神经网络(cnn)的方法,如Rewrite[7]和作者后来改进的方法Zi2zi[8],该方法使用生成对抗网络(GAN)[9-11]生成目标体例的汉字图像。这些方法大多集中在单个汉字形象上,而忽略了像中国诗歌形象那样对汉字整体形象风格转换的需求。
图1所示。中国诗歌风格转移的一个结果。这首诗是中国著名诗人杜甫的《八阵阵》。源字体是宋体,生成的字符使用中国著名书法家欧阳勋的手写体字体。
在中国诗歌中,意象通常有几句。因此,生成端到端的中文诗歌图像的第一步是进行字符分割[12]和字符识别[13]。
该方法生成如图1所示的诗歌图像,源字体为宋体,目标字体为欧阳勋的手写体。由于我们需要将诗词中的汉字分割成单个字符图像,所以我们 采用了垂直水平投影的字符分割方法(VHPCS)(15、16)。