AngelSlim V0.1版本发布
功能升级
量化
- 支持了
Hunyuan 0.5B/1.8B/4B/7B/A13B模型的INT8、FP8、INT4等量化。 - 支持了
Qwen2.5/Qwen3/DeepSeek-R1-Distill-Qwen等模型INT8、FP8、INT4等量化。 - 支持了
Qwen2.5VL 3B/7B/32B/72B的FP8、INT4量化。 - 支持了
DeepSeek-R1/V3和Kimi-K2模型的FP8-Static、W4A8-FP8量化 - 支持量化敏感度分析工具，可对权重和激活同时进行量化敏感度分析。
投机采样
- 开源
Qwen3系列模型的Eagle3权重。 - 开源
Hunyuan 1.8B/4B/7B系列模型的Eagle3权重。