有坛友自己搞训练吗?大家用的什么硬件。
这两天搞了一个Llama2-Chinese-13B的一个模型,据说显存都需要25G以上了。坛里有搞这个的吗? 大模型就别想自己训练了,显存可以花钱解决,数据搞不定。 leafstamen 发表于 2023-8-3 17:48
大模型就别想自己训练了,显存可以花钱解决,数据搞不定。
(引用自2楼)
搞个4090还是可以玩一玩的。。 这种chatgpt对标的模型应该要 A100起步,4090练下lora是可以的。。。 25G难,8G 12G的还算可以,就是不知道能战到什么时候 wye11083 发表于 2023-8-3 19:22
搞个4090还是可以玩一玩的。。
(引用自3楼)
普通模型比如区分猫和狗、人脸识别之类的显存8G以上就可,甚至没有显卡用cpu也一样跑,只是慢了一点。但是大模型个人或者小公司都不用想了,显卡可以在云服务器上租,合法且高质量的数据源才是真正的难题。 有搞成功吗?可以分享下大家学学。 可以参考一下这个:
苹果M2 Ultra:AI大模型的新希望
https://www.bilibili.com/video/BV1fh4y1M7DX/
前年,用CPU跑YOLOV3 ,一周可以跑完VOC数据集。 我们用了4张24GB的3090在搞,慢得很。 本帖最后由 rz007 于 2023-8-17 18:01 编辑
sonna 发表于 2023-8-17 16:53
我们用了4张24GB的3090在搞,慢得很。
(引用自10楼)
大佬,能指点下思路吗
用哪个模型合适呀?
页:
[1]