HuggingFace

HuggingFace transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

from transformers.generation import GenerationConfig

Model

AutoModelForCausalLM 是一个自动模型加载器，主要用于自回归语言建模任务，如GPT系列模型。自回归意味着模型预测下一个词时仅依赖于它之前出现的词，这种特性常用于文本生成任务，比如聊天机器人、文章续写等。当你指定一个预训练模型的名称（如gpt2、gpt-neo、bert-gpt等），该类会自动加载对应的预训练模型及其适配的架构。

1
2
3

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained('model_name')

Token

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('model_name')

# 示例：将文本转化为模型可以接受的输入形式
input_ids = tokenizer("Hello, how are you?", return_tensors="pt")

下载工具

类别	方法	推荐程度	优点	缺点
基于URL	浏览器网页下载	⭐⭐⭐	通用性好	手动麻烦/无多线程
	多线程下载器(hfd/IDM等)	⭐⭐⭐⭐⭐	通用性好，鲁棒性好	手动麻烦
批量URL	ariaN+(python爬虫)	⭐⭐⭐⭐⭐⭐	简单（支持二级目录下载）	提前写好python脚本
CLI工具	git clone命令	⭐⭐	简单	无断点续传/冗余文件/无多线程
专用CLI工具	huggingface-cli+hf_transfer	⭐⭐⭐	官方下载工具链，带加速功能	容错性低
	huggingface-cli	⭐⭐⭐⭐⭐	官方下载工具功能全	不支持多线程
Python方法	snapshot_download	⭐⭐⭐	官方支持，功能全	脚本复杂
	from_pretrained	⭐	官方支持，简单	不方便存储，功能不全
	hf_hub_download	⭐	官方支持	不支持全量下载/无多线程