需要多大的显存训练chat-huanhuan

[OCEANOUXIN]

你好，rt，想知道这样微调需要多大的显存

[spldmanager]

4070ti 12g报oom

[shawn-happy]

我6g的显存，调整了参数，
model = AutoModelForCausalLM.from_pretrained(
"deepseek-ai/deepseek-r1",
torch_dtype=torch.float16,
device_map="auto",
low_cpu_mem_usage=True,
offload_folder="offload" # 指定临时卸载目录
)
使用了低内存模式才能训练，但是预估的时候还是报了oom