GPU训练

模型训练太慢？显存不够用？这个算法让你的GPU老树开新花 18

知行编程网 人工智能前沿 3年前 (2022-01-11) 33 0

一只小狐狸带你解锁NLP/ML/DL秘籍 老板，咱们就一台Titan Xp，训不动BERT呀 没钱买机器，自己想办法。 委屈T^T 我听说混合精度训练可以从算法上缓解这个问题？ 喵喵喵？？ 其实小夕的内心是拒绝的，就一台破Xp，再优化能快到哪里去呀T^T 燃鹅 小夕找了一份开源代码，结果刚开始跑小夕就震惊了！什么鬼？训练速度怎么这么快？出bug了吧？？？？ 一毛一样的模型、超参数和硬件环境，竟然可...