Falcon-40B是由TII开发的一款具有40B参数的因果解码器模型,训练数据基于1000B的RefinedWeb令牌。该模型优化了推理架构,具有开源领域最强大的性能,且可商业使用。
Tag:
聊天机器人
-
-
QLoRA是一种高效的微调方法,能在单个48GB的GPU上微调65B参数模型,同时保持全16位微调任务性能。其最佳模型系列Guanaco,在Vicuna基准测试中超越了所有之前公开发布的模型,达到了C …