HuggingFace

HuggingFace transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

from transformers.generation import GenerationConfig

Model

AutoModelForCausalLM 是一个自动模型加载器，主要用于自回归语言建模任务，如GPT系列模型。自回归意味着模型预测下一个词时仅依赖于它之前出现的词，这种特性常用于文本生成任务，比如聊天机器人、文章续写等。当你指定一个预训练模型的名称（如gpt2、gpt-neo、bert-gpt等），该类会自动加载对应的预训练模型及其适配的架构。

1
2
3

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained('model_name')

Token

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('model_name')

# 示例：将文本转化为模型可以接受的输入形式
input_ids = tokenizer("Hello, how are you?", return_tensors="pt")