大模型常见工程化工具：微调、量化、部署、Agent、RAG等

news/2024/7/5 2:34:58

包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化（AutoGPTQ、AutoAWQ、Neural
Compressor）、部署（vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI）、本地运行（MLX、Llama.cpp、Ollama、LM
Studio）、Agent及RAG（检索增强生成）框架（LlamaIndex, CrewAI, OpenDevin）、评测（LMSys,
OpenCompass, Open LLM Leaderboard）、模型二次开发（Dolphin, Openbuddy）

微调

Axolotl：
https://github.com/OpenAccess-AI-Collective/axolotl
Llama-Factory ：
https://github.com/hiyouga/LLaMA-Factory
Firefly：
https://github.com/yangjianxin1/Firefly
Swift：
https://github.com/modelscope/swift
XTuner：
https://github.com/InternLM/xtuner

量化

AutoGPTQ：
https://github.com/AutoGPTQ/AutoGPTQ
AutoAWQ：
https://github.com/casper-hansen/AutoAWQ
Neural Compressor：
https://github.com/intel/neural-compressor

部署

1）线上工程化部署
vLLM：
https://github.com/vllm-project/vllm
SGL：
https://github.com/sgl-project/sglang
SkyPilot：
https://github.com/skypilot-org/skypilot
TensorRT-LLM：
https://github.com/NVIDIA/TensorRT-LLM
OpenVino：
https://github.com/openvinotoolkit/openvino
TGI：
https://github.com/huggingface/text-generation-inference

2）本地运行
MLX：
https://github.com/ml-explore/mlx
Llama.cpp：

https://github.com/ggerganov/llama.cpp
Ollama：
https://ollama.com/
LM Studio：
https://lmstudio.ai/