关于 bitsandbytes包支持cuda12.4版本的问题

Question

各位大神，在运行peft微调程序的时候，执行一下代码：
model = get_peft_model(model, peft_config)
报错：
Could not find the bitsandbytes CUDA binary at WindowsPath('D:/Users/1/anaconda3/Lib/site-packages/bitsandbytes/libbitsandbytes_cuda124.dll')
The installed version of bitsandbytes was compiled without GPU support. 8-bit optimizers, 8-bit multiplication, and GPU quantization are unavailable.
已经安装了最新的bitsandbytes包，版本是bitsandbytes-0.43.1
在GitHub上也查了，最新版本是支持cuda12.4，但是
D:/Users/1/anaconda3/Lib/site-packages/bitsandbytes/
目录下还是没有libbitsandbytes_cuda124.dll，有117到123的
请各位大神答疑解惑·····万分感谢

skaffman · Answer

这个问题可能是由于bitsandbytes库在安装时并没有包含针对CUDA 12.4的预编译二进制文件，即使其理论上支持CUDA 12.4。这可能是因为你的环境、Python版本或bitsandbytes的特定版本与预编译二进制不完全兼容，或者该版本的二进制文件未正确发布。

解决这个问题可以尝试以下几个步骤：

确认CUDA版本：确保你的系统中确实安装了CUDA 12.4，并且环境变量设置正确，可以通过在命令行输入nvcc --version来检查。

重新安装bitsandbytes：有时候，直接通过pip安装的bitsandbytes可能没有包含所有CUDA版本的二进制文件。你可以尝试卸载当前的bitsandbytes，然后指定版本重新安装，以期望能够获取正确的二进制文件。但请注意，这种方法不一定能解决问题，因为问题可能在于预编译包的提供而非安装命令本身。

卸载现有版本：

   pip uninstall bitsandbytes

尝试指定版本重新安装（这里以支持CUDA 12.4的版本为例，但请先确认该版本确实存在）：

   pip install bitsandbytes==0.43.1 --extra-index-url https://download.pytorch.org/whl/cu124

从源代码构建：如果上述方法都不奏效，最直接的解决方案是从源代码编译bitsandbytes，这样可以确保它针对你的具体环境（包括CUDA版本）进行编译。这需要你有合适的编译工具链，包括CMake和CUDA开发套件。

首先，克隆bitsandbytes仓库：

   git clone https://github.com/facebookresearch/bitsandbytes.git
   cd bitsandbytes

然后，按照其README中的指示编译安装。通常，这会涉及运行一些类似于以下的命令（具体命令请参考项目README以获取最新信息）：

   python setup.py develop

检查环境路径：确保你的环境变量中CUDA的路径设置正确，特别是%CUDA_PATH%和%CUDA_PATH_V12_4%（或相应版本）应指向正确的CUDA安装目录。

如果问题依然存在，考虑在bitsandbytes的GitHub仓库中开一个Issue，详细描述你的问题和已尝试的解决步骤，项目维护者可能会提供更具体的帮助。