自然语言处理

QLoRA:单GPU实现ChatGPT 99%的性能

QLoRA是一种高效的微调方法,能在单个48GB的GPU上微调65B参数模型,同时保持全16位微调任务性能。其最佳模型系列Guanaco,在Vicuna基准测试中超越了所有之前公开发布的模型,达到了ChatGPT性能水平的99.3%,而只需要在单个GPU上微调24小时。

Read more