tokenizer.encode为什么不分词的简单介绍

prompt_text=quot电视帮生成相关文章的提示语句quot#将输入文本转换为模型可接受的格式input_ids=tokenizerencodeprompt_text，return_tensors=quotptquot#生成文章output=modelgen