huggingface

今天也是用了下huggingface，不过也遇到了很多问题。
一开始直接将模型页面的试用代码放上来运行了，虽然下载了很多包，但是运行碰到了没有权限access这个model
然后就是搜了很多很多的方法，试了几个比如代码中添加token什么的都没解决问题。

然后去看了文档，
首先就是要运行下面的

1 2	python -m pip install huggingface_hub huggingface-cli login

这个会让你填入api_token，这个在个人信息那里创建一个复制过来就行，
不过复制到里面会显示不见，而且最好不要用Ctrl-V的方法，它提示右键复制会好一点

然后就是下载模型，等等就行
7b的我16G内存运行不了，只能运行2b的，后续考虑用别的方法调用模型会好一点？🙄

在7b量化的运行中也出现了问题现在还没解决，好烦🙄

怪事，在huggingface上面运行的模型回复长度好长，本地运行的就回复几个词的
然后就是下载的huggingface的模型会在本地存储，存储位置在

1	C:\Users\78752\.cache\huggingface\hub

记得删掉

小小技巧
如果希望下载的模型到你指定的位置，可以在from_pretrained方法中指定一个cache_dir参数，这个参数就是下载模型的新地址

todo

看一下本地部署大模型的技术栈
完成第一篇大模型公平性文献阅读
插件更新一个保存文档就会自动部署提交
图床图床图床
GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection?
Prejudice and Caprice: A Statistical Framework for Measuring Social Discrimination in Large Language Models