全网最强资源分享 头像

消息来源频道

全网最强资源分享

@ziyuanfxvip

频道2,478 位成员公开可见持续更新

分享订阅频道 分享资源、影视、软件和福利等有趣的东西。

成员规模2,478 位成员
在线情况待同步
消息总数6,954 条消息
浏览量总数0 次浏览

在这个频道里搜索消息……

t.me/ziyuanfxvip

可扩展的轻量级一站式训练、推理深度学习框架。它集成了各种高效的微调方法,如LoRA、QLoRA、阿里云自研的ResTuning-Bypass等,以及开箱即用的训练推理脚本,使开发者可以在单张商业级显卡上微调推理LLM&AIGC模型。此外,SWIFT与PEFT完全兼容,使开发者可以在ModelScope模型体系中使用PEFT的能力。
目前支持的方法:
LoRA:LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
Adapter:Parameter-Efficient Transfer Learning for NLP
Prompt: Visual Prompt Tuning
Side: Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks
ResTuning-Bypass
所有在PEFT上提供的tuners
主要能力:
可以通过model-id使SWIFT或PEFT的方法使用ModelScope Hub中的模型
在单次训练或推理中可以使用多个tuners
支持调用activate_adapter或deactivate_adapter或set_active_adapters来使部分tuner激活或失活,用户可以在推理时同时加载多个独立的tuners在不同线程中并行使用。
swift | #框架