transformertokenizer的简单介绍

输入文本通过tokenizer进行分词得到对应的token id 支持最大长度为512，然后调用generate函数，将编码的输入文本进行解码，目前。

classPoemGeneratorobjectdef__init__self，model_path，device=#39cpu#39selfmodel=GPT2LMHeadModelfrom_pretrainedmodel_pathselftokenizer=GPT2Tokenizerfrom_pretrainedmodel_pathselfdevice=device。

我们尽可能限制了要学习的面向对象抽象的类的数量，实际上几乎没有抽象，每个模型只需要使用三个标准类配置模型和tokenizer， 所有这些类都可以通过。