训练数据集
https://data.deepai.org/enwik8.zip
使用分类参考
https://zhuanlan.zhihu.com/p/639629050
模型分类和使用任务
解码参数，推荐值：
小说和对话：temp 1.2 topp 0.5 或 temp 1.4 topp 0.4 或 temp 1.7 topp 0.3 或 temp 2 topp 0.2。希望模型发散思维就用 topp 高，希望模型逻辑严密就用 topp 低。
完成机械任务，例如材料问答、摘要等等：temp 1 topp 0.2 或 temp 1 topp 0.1 或 temp 1 topp 0。
Prompt写法
这里是兼容所有未来新World模型的用法。
单轮问答：
Question: xxx
Answer:
请严格遵循上述格式：
半角冒号。在【Question:】后面是半角空格，然后是问题。
在问题后面有个纯空行。
在【Answer:】后面不能有空格，必须由模型生成后面的空格。
对于特别长的多段落的问题，问题内部可以有换行，但是不能出现 \n\n。
换行必须用 \n，不能用 \r\n。
应该用：
xxx = re.sub(r’\n{2,}‘, ‘\n’, xxx).strip().replace(’\r\n’,‘\n’)
去处理 xxx，保证 xxx 里面没有 \n\n，也没有 \r\n。
材料问答：
Instruction: xxx
Input: xxx
Response:
其中 Instruction 是问题或指令，Input 是材料。
多轮对话（未来新模型统一用 User / Assistant）：
User: xxx
Assistant: xxx
User: xxx
Assistant: xxx
再重复一遍，如前所述，应该用 xxx = re.sub(r’\n{2,}‘, ‘\n’, xxx).strip().replace(’\r\n’,‘\n’) 去处理 xxx，保证 xxx 里面没有 \n\n，也没有 \r\n。
训练微调参考
RWKV语言模型从入门到放弃，保姆级Training、Fine-tuning、Lora入坑教程：https://zhuanlan.zhihu.com/p/629809101
官方微调教学：https://zhuanlan.zhihu.com/p/638326262
官方补充
ChatRWKV v2 用法：
