chatglm-6b-int4本地部署问题求指点？

Question

家人们最近在学大模型！本地部署完chatglm-6b-int 执行下面的代码：

    tokenizer = AutoTokenizer.from_pretrained(r"E:/dmx/ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True)
    # model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
    model = AutoModel.from_pretrained(r"E:/dmx/ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True).float()

报的异常信息：

D:\anaconda3\python.exe E:/dmx/dmx_01/finance_classify.py
Explicitly passing a `revision` is encouraged when loading a model with custom code to ensure no malicious code has been contributed in a newer revision.
Traceback (most recent call last):
  File "E:\dmx\dmx_01\finance_classify.py", line 62, in 
    tokenizer = AutoTokenizer.from_pretrained(r"E:/dmx/ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\wyz\AppData\Roaming\Python\Python311\site-packages	ransformers\models\auto	okenization_auto.py", line 663, in from_pretrained
    tokenizer_class = get_class_from_dynamic_module(
                      ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\wyz\AppData\Roaming\Python\Python311\site-packages	ransformers\dynamic_module_utils.py", line 388, in get_class_from_dynamic_module
    final_module = get_cached_module_file(
                   ^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Users\wyz\AppData\Roaming\Python\Python311\site-packages	ransformers\dynamic_module_utils.py", line 273, in get_cached_module_file
    create_dynamic_module(full_submodule)
  File "C:\Users\wyz\AppData\Roaming\Python\Python311\site-packages	ransformers\dynamic_module_utils.py", line 59, in create_dynamic_module
    os.makedirs(dynamic_module_path, exist_ok=True)
  File "", line 215, in makedirs
  File "", line 215, in makedirs
  File "", line 215, in makedirs
  [Previous line repeated 1 more time]
  File "", line 225, in makedirs
OSError: [WinError 123] 文件名、目录名或卷标语法不正确。: 'C:\Users\zwv\.cache\huggingface\modules\transformers_modules\E:'

有没有知道的家人们解答一下！感激不尽！

Eran · Answer

这个错误信息表明在尝试创建一个目录路径时出现了问题，具体错误是“文件名、目录名或卷标语法不正确”。错误中提到的路径 'C:\Users\zwv\.cache\huggingface\modules ransformers_modules\E:' 显示了问题所在：路径中的 'E:' 看起来像是一个直接从你的驱动器字母引用的路径部分，而Windows的文件系统预期在这个位置应该是一个有效的目录名称。

这个问题可能是由于路径格式不正确导致的。在你提供的代码片段中，直接使用了原始的Windows路径字符串（例如 r"E:/dmx/ChatGLM-6B/THUDM/chatglm-6b-int4"），这在传递给 from_pretrained 方法时可能没有被正确解析或者与Hugging Face Transformers库内部处理路径的方式产生了冲突。
解决方案就是修改一下路径

tokenizer = AutoTokenizer.from_pretrained(r"E:\dmx\ChatGLM-6B\THUDM\chatglm-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained(r"E:\dmx\ChatGLM-6B\THUDM\chatglm-6b-int4", trust_remote_code=True).float()