transformertokenizer的简单介绍

输入文本通过tokenizer进行分词得到对应的tokenid支持最大长度为512，然后调用generate函数，将编码的输入文本进行解码，目前。classPoemGeneratorobjectdef__init__self，model_path，device=#39cpu#39selfmode