NVIDIA的Chat With RTX有用矿本装过的吗

kv2004

8G显存的矿本，RAG文件夹下的LLAMA13B.NVI把value="15"改成了 8.

上星期，还能装，我装到了D盘，不能运行，看有人说必须装到默认位置。
这周，我重新装了windows，再装chat到默认地方，但到了downloading dependencies...就不行了，十来分钟后就退出来了，以前要经过一小时以上才退出来。最后结果显示，两个大模型都失败。
是不是开会原因？

amigenius

要科学才能安装完吧，我也打算部署来玩玩，翻译文档是个好帮手，也想试试投喂芯片规格书，看看效果如何

kv2004

amigenius 发表于 2024-3-4 15:55
要科学才能安装完吧，我也打算部署来玩玩，翻译文档是个好帮手，也想试试投喂芯片规格书，看看效果如何 ...
(引用自2楼)

好消息，上午折腾n次都很快失败退出，像是这个安装包找不到妈的感觉。
下午发完帖子后，到现在，到building the Llama 13B INT4 Engine阶段了，进图条已经走了三分之二了。没敢科学。
-------------------------------------------------------------------------------------------------------------------------
--------------------------刚回应完，又安装失败了。(我已经提前安装了 CUDA 和 VS2022社区版)

kv2004

不科学。chat 多试几次能装上。会自动给安装一个miniconda。中午进prompt给它换成清华源。现在还停留在downloading dependencies界面，好像有作用。

知乎上的换源命令：
https://zhuanlan.zhihu.com/p/339191263

Python设置镜像源默认为清华的方法
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
在cmd中运行以上命令，即可直接设置成功

附上其他国内镜像源：

清华：https://pypi.tuna.tsinghua.edu.cn/simple

阿里云：http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学：http://pypi.hustunique.com/

山东理工大学：http://pypi.sdutlinux.org/

豆瓣：http://pypi.douban.com/simple/


------------------------------------------------------------
TMD 没用，反反复复装了n回了，等过了节再说。