vllm部署问题
#1
by
hulianxue
- opened
您好，
我在用vllm部署您的模型的时候，遇到了一个错：
ValueError: Cannot find any of ['adapter_name_or_path'] in the model's quantization config.
请问有什么好的解决办法吗？
这个是bnb 量化的，不适合在 vllm部署，适合自己用transformers 来调试开发应用的，如果要vllm 部署，去下载那个 3.1 的70b awq 4bit
好的，llama3.1-70b-awq-4bit的那个，vllm版本是0.5.3吗？
是的