🌸 LoRA 进化版本图谱 🌸
Low-Rank Adaptation · 2021 — 2024 · 春日柳枝 · 点击节点查看详情 · 节点可拖拽
根节点
量化压缩
秩自适应
内存优化
结构改进
优化器
多LoRA优化
多模态
2021.06
2022.04
2022.10
2023.03
2023.04
2023.05
2023.06
2023.08
2023.10
2023.11
2024.01
2024.02
2024.04
2024.06
Today
2021.06
Microsoft
LoRA
低秩分解
2023.05
UW
QLoRA
4-bit量化
2024.04
Microsoft
LoftQ
联合量化初始化
2022.04
MS/GaTech
AdaLoRA
SVD秩分配
2023.08
社区
ReLoRA
重启训练
2023.10
EPFL
VeRA
随机投影
2024.02
NVIDIA
DoRA
幅度+方向分解
2024.02
社区
PiSSA
主奇异值分解
2023.09
PKU
LoRA-FA
冻结A矩阵
2024.02
MIT/CMU
GaLore
梯度低秩投影
2022.10
Google
IA3
缩放向量
2023.03
Shanghai AI
LLaMA-Adapter
零初始化提示
2023.04
社区
LoHA
Hadamard积
2023.06
Cambridge
OFT
正交变换
2023.11
MIT
LISA
层间重要性
2024.01
Stanford
LoRA+
异学习率
2024.04
HF
RsLoRA
rank-stabilized
2023.08
社区
Multi-LoRA
多适配器并行
2023.11
KAIST
LoRA-Drop
重要层LoRA
2024.02
社区
MoRA
MoE+LoRA
2023.10
社区
LoKr
Kronecker积
×
核心原理
改进效果
论文