显卡是很贵的、也是稀缺的。但是AI又是很火的,每个人都不想错过这个机会,公司也一样。
假设你是公司或者团队的负责人, 为了拥抱AI,先要解决显卡算力问题。如果要给每个人都配置一个显卡,哪怕是消费卡,也是一笔不小的成本。而且每个人都拥有一张显卡,使用率也没那么高。
那么公司能不能采购一小部分显卡,共享给公司所有人使用呢?答案完全是可以的,我们的TensorLink就是解决这个问题的。
TensorLink可以把有显卡的电脑变成服务端,共享给多个无显卡的客户端电脑使用,客户端电脑上的软件无感知,就像真的拥有显卡一样。
TensorLink支持Stable Diffusion 出图、生成视频,支持LLAMA、Qwen等多个大模型的推理使用,支持C4D等软件的渲染。
假如你是一家电商公司,需要使用SD生成大量的图片和视频,发布到抖音或者电商平台。如果你使用WebUI供员工使用,因为每个员工的需求不一样,用的模型也不同,WebUI的维护成本就很高。如果你给每个员工都配置高性能的显卡,成本又很高。
现在使用TensorLink,只需要20%显卡的成本,就可以搭建一个显卡共享服务,给到全公司的员工使用,提升了显卡的使用率,还节省了成本,又满足了每个员工个性化的需求。
如果你是一家AI大模型的培训机构,给每个学员都配置一台带显卡的高性能电脑成本太高,那么同样可以使用TensorLink来解决显卡不够用,成本高的问题。
当然还有更多使用显卡的场景,都可以通过TensorLink共享显卡,提升显卡使用率,降低成本,甚至切分一张显卡给多个人使用。
其实不止是公司,你自己个人电脑也可以使用。
我们都喜欢开个虚拟机折腾一些事情,这样即使系统折腾坏了,也不影响宿主机。但是如果你把你的显卡给到了虚拟机,你的电脑就没法使用了。也就是宿主机和虚拟机只能有一个可以用显卡,这时候就可以通过我们的TensorLink共享显卡,让宿主机和虚拟机都可以使用显卡,一举多得,方便又实用。
类似以上的场景还有很多,我就不一一举例了。现在,我们的TensorLink已经托管在GitHub上了,https://github.com/nvwacloud/tensorlink ,里面有详细的教程,欢迎大家试用,有问题可以给我们提Issue,也可以加入我们微信群社区交流想法。
本文为原创文章,转载注明出处,欢迎扫码关注公众号
flysnow_org
或者网站 https://www.flysnow.org/ ,第一时间看后续精彩文章。觉得好的话,请猛击文章右下角「在看」,感谢支持。