LoRA 进化版本图谱
Low-Rank Adaptation · 2021 — 2024 · 点击节点查看详情
根节点
量化压缩
秩自适应
内存优化
结构改进
优化器
多LoRA优化
多模态
2021.06
2022.04
2022.10
2023.03
2023.04
2023.05
2023.06
2023.08
2023.10
2023.11
2024.01
2024.02
2024.04
2024.06
Today
量化压缩
秩自适应
内存优化
结构改进
优化器
多LoRA优化
多模态
LoRA
2021.06
Microsoft
低秩分解
AdaLoRA
2022.04
MS / GaTech
SVD秩分配
IA³
2022.10
Google
缩放向量
LLaMA-Adapter
2023.03
Shanghai AI
零初始化提示
LoHA
2023.04
社区
Hadamard积
QLoRA
2023.05
UW
4-bit量化
OFT
2023.06
Cambridge
正交变换
LoRA-FA
2023.09
PKU
冻结A矩阵
VeRA
2023.10
EPFL
随机投影
LoKr
2023.10
社区
Kronecker积
LoRA+
2024.01
Stanford
异学习率
DoRA
2024.02
NVIDIA
幅度+方向分解
GaLore
2024.02
MIT/CMU
梯度低秩投影
LoftQ
2024.04
Microsoft
联合量化初始化
RsLoRA
2024.04
HF
rank-stabilized
ReLoRA
2023.08
社区
重启训练
LISA
2023.11
MIT
层间重要性
PiSSA
2024.02
社区
主奇异值分解
Multi-LoRA
2023.08
社区
多适配器并行
LoRA-Drop
2023.11
KAIST
重要层LoRA
MoRA
2024.02
社区
MoE + LoRA
×
核心原理
改进效果
论文