有坛友自己搞训练吗？大家用的什么硬件。

lyping1987 · 发表于 2023-8-3 17:45:18

这两天搞了一个Llama2-Chinese-13B的一个模型，据说显存都需要25G以上了。

坛里有搞这个的吗？

leafstamen · 发表于 2023-8-3 17:48:10

大模型就别想自己训练了，显存可以花钱解决，数据搞不定。

wye11083 · 发表于 2023-8-3 19:22:40

leafstamen 发表于 2023-8-3 17:48
大模型就别想自己训练了，显存可以花钱解决，数据搞不定。
(引用自2楼)

搞个4090还是可以玩一玩的。。

yeahmen · 发表于 2023-8-3 20:12:42

这种chatgpt对标的模型应该要 A100起步，4090练下lora是可以的。。。

cne53102 · 发表于 2023-8-4 01:14:33

25G难，8G 12G的还算可以，就是不知道能战到什么时候

leafstamen · 发表于 2023-8-4 08:06:33

wye11083 发表于 2023-8-3 19:22
搞个4090还是可以玩一玩的。。
(引用自3楼)

普通模型比如区分猫和狗、人脸识别之类的显存8G以上就可，甚至没有显卡用cpu也一样跑，只是慢了一点。但是大模型个人或者小公司都不用想了，显卡可以在云服务器上租，合法且高质量的数据源才是真正的难题。

tuitj2 · 发表于 2023-8-4 09:20:28

有搞成功吗？可以分享下大家学学。

jetta2014 · 发表于 2023-8-4 09:39:49

可以参考一下这个：
苹果M2 Ultra：AI大模型的新希望
https://www.bilibili.com/video/BV1fh4y1M7DX/

niaojingxin · 发表于 2023-8-4 10:19:45

前年，用CPU跑YOLOV3 ，一周可以跑完VOC数据集。

sonna · 发表于 2023-8-17 16:53:08

我们用了4张24GB的3090在搞，慢得很。

rz007 · 发表于 2023-8-17 17:11:10

本帖最后由 rz007 于 2023-8-17 18:01 编辑

sonna 发表于 2023-8-17 16:53
我们用了4张24GB的3090在搞，慢得很。
(引用自10楼)

大佬，能指点下思路吗

用哪个模型合适呀？

阿莫论坛20周年了！感谢大家的支持与爱护！！