LLMs 其他 Trick来自:AiGC面试宝典
宁静致远 2024年01月27日 19:14
HuggingFace 下载不了模型问题?
方法一:在 ModelScope 下载模型
python
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download(
'damo/nlp_xlmr_named-entity-recognition_viet-ecommerce-title',
cache_dir='path/to/local/dir',
revision='v1.0.1'
)📝 通俗解释:ModelScope(魔搭社区)是国内的AI模型平台,类似HuggingFace的中文版。
snapshot_download就像直接从国内仓库调货,比从国外海淘快很多。这个函数会自动下载模型文件到指定目录。
方法二:使用大语言模型下载站
HuggingFace.co 资源下载网站,为AI开发者提供模型镜像加速服务,通过下载器可以达到 10MB/s 的下载速度,解决大模型下载时间长、经常断线、需要反复重试等问题,实现镜像加速、断点续传、无人值守下载。
📝 通俗解释:这个方法相当于给HuggingFace下载开了"加速器"和"续传功能"。比如下载一个10GB的模型,普通下载可能需要几小时还容易失败,用这个方法就像用了网盘会员,既快又稳定,断网了也能接着下载。
模型下载方法
方法1:用下载器下载
bash
pip install huggingface_hub
python model_download.py --repo_id 模型ID --mirror
# 示例:下载 Qwen-7B 模型
python model_download.py --repo_id Qwen/Qwen-7B --mirror方法2:直接下载
访问 https://gitclone.com/aiit/chat/ 可体验以下模型服务:
- ChatGLM2-6B
- Vicuna-7B
- 通义千问-7B
- Llama2-7B
📝 通俗解释:
--mirror参数就是告诉下载器"走镜像通道",不直接连HuggingFace服务器,而是通过国内镜像加速。如果不想自己动手配置,网页上也可以直接体验这些模型,相当于在线试用。
补充:其他备选方案
HuggingFace 镜像站
bash# 设置镜像环境变量 export HF_ENDPOINT=https://hf-mirror.com手动下载 访问 https://huggingface.co/models 手动下载模型文件
📝 通俗解释:如果以上方法都用不了,还可以设置环境变量让HuggingFace自动走国内镜像,或者直接在网页上手动点击下载(适合小文件)。
知识星球资源:https://articles.zsxq.com/id_958pher9zdxp.html
📝 通俗解释:知识星球是一个付费社群平台,里面有更多AI相关的面试题和行业经验分享,适合想深入学习AI面试的朋友。