2024/8/11 20:09 大模型（LLMs）软硬件配置面

大模型（LLMs）软硬件配置面

来自：AiGC面试宝典

宁静致远 2023年09月16日 20:47

1 建议的软件环境是什么？

Python环境：建议使用 Python 3.9 及以上版本。因为 fastchat 等比较好的开源项目需要 3.9 及以上。

📝通俗解释：Python是写大模型代码最常用的编程语言，3.9版本就像是一个比较稳定的工具箱，很多开源项目都需要这个版本以上的功能支持。

CUDA环境：CUDA 版本越高越好，建议安装 11.8 或 12.1 及以上版本。

📝通俗解释：CUDA是NVIDIA显卡的"驱动程序"，让显卡能帮我们加速计算大模型。版本越高，能支持的新功能越多，计算效率也越好。

cuDNN：建议安装与CUDA版本对应的最新正式版。

📝通俗解释：cuDNN是CUDA的"加速库"，相当于CUDA的专用工具箱，可以让显卡计算更高效。