有没有在本地部署或训练语言模型的？无需太夸张的硬件的？

cne53102

如题，在线服务有其优点，但显然也其缺点也是很严重的，甚至是不可避免的。
封号，泄密，内置的限制，甚至可能有安全问题等等就不需要详细讨论了。
所以现在看起来本地部署私人AI是有必要的，也不光是语言模型，绘画方面也很有价值，
目前我发现已经有家具厂利用AI出效果图给客户，制作并销售AI设计的沙发了。
现在的情况说的搞笑一点就是：再不买显卡就来不及了。

虽然本地部署的AI与云服务会在各个方面存在劣势，但是我们实际上并不需要它是一个全领域专家，
我们可以在我们需要的领域内训练它，让它能够帮助我们更快更高效的完成我们需要做的工作就可以了。

我不了解语言模型方面的东西，但是绘画的模型我已经看到了一些自行训练得到很好效果的例子了，这说明在所需的特定范围内自己训练是可行的。

我想对于我们这种搞技术的家里的电脑，配置64GB内存应该是一个还算轻松可以实现的目标。
但是显卡买什么？好像需求跟一般显卡不一样是需要大显存？
能不能兼顾平常干活用的专业绘图显卡？好像不太适合A卡？能不能一个显卡搞定？

有没有已经趟过水的分享一下在不追求特别高效率的情况下，需要什么样的配置才能玩得起来？

我先分享一下网上搜集到的内容：
来自：
https://zhuanlan.zhihu.com/p/612811428
https://www.zhihu.com/tardis/zm/art/605881294

rclong

B站上挺多人分享相关的心得,我今天看有人用lora来做

lhj200304

大神这个是开源的模型吧，从哪里下载？

dellric

一般情况下3080TI就可以了

tuitj2

我也想了解下楼主这个需求怎么实现。

cne53102

dellric 发表于 2023-4-15 10:35
一般情况下3080TI就可以了
(引用自4楼)

唉，也不便宜啊

cne53102

lhj200304 发表于 2023-4-15 09:42
大神这个是开源的模型吧，从哪里下载？
(引用自3楼)

huggingface那里有不少模型，但是也不是必须去那，有些是有BT种子下载的，这样更容易下载回来，毕竟文件都很大

yyts

只要能达到百度的效果，也能做出不少好玩的东西来了。

cne53102

yyts 发表于 2023-4-16 14:40
只要能达到百度的效果，也能做出不少好玩的东西来了。
(引用自8楼)

没错，甚至不支持中文都可以

yyts

cne53102 发表于 2023-4-16 14:46
没错，甚至不支持中文都可以
(引用自9楼)

我的要支持中文，不支持英文没关系

cne53102

yyts 发表于 2023-4-16 16:39
我的要支持中文，不支持英文没关系
(引用自10楼)

哈哈，看来是刚性需求了