HVI-CIDNet-LOLv1-fp32深度解析:从模型架构到1.9M参数优化

📅 2026/7/31 20:39:47 👁️ 阅读次数 📝 编程学习
HVI-CIDNet-LOLv1-fp32深度解析:从模型架构到1.9M参数优化

HVI-CIDNet-LOLv1-fp32深度解析:从模型架构到1.9M参数优化

【免费下载链接】HVI-CIDNet-LOLv1-fp32项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/HVI-CIDNet-LOLv1-fp32

HVI-CIDNet-LOLv1-fp32是一款基于Apple MLX框架的低光图像增强模型,专为Apple Silicon设备优化,能够将低光或曝光不足的图像转换为正常曝光的图像,同时保持原始分辨率。该模型在NTIRE 2025低光增强挑战赛中获得第一名,拥有1,975,569个参数(7.9 MB),特别擅长处理严重曝光不足的输入图像(+14.50 dB at 0.15x曝光),并在LOL数据集上取得最佳发布成绩。

核心功能:低光图像增强的革命性解决方案

HVI-CIDNet-LOLv1-fp32采用创新的HVI色彩空间,这是一种专为低光图像增强设计的新型色彩空间。该模型能够接收曝光不足的图像作为输入,并输出相同分辨率的重新曝光图像,有效提升图像的亮度和细节,同时保持色彩的自然性。

模型优势:1.9M参数实现高效性能

该模型以其轻量化的设计著称,仅1,975,569个参数(7.9 MB),却能在低光图像增强任务中表现出色。这种高效的参数优化使得模型在Apple Silicon设备上能够快速运行,同时保持高质量的增强效果。

实际应用:如何使用HVI-CIDNet-LOLv1-fp32

Swift集成步骤

要在Swift项目中使用HVI-CIDNet-LOLv1-fp32,可以通过mlx-cidnet-swiftSwift包实现。以下是基本的使用代码:

import CIDNetMLXCore let model = CIDNet() try model.loadWeights(from: weightsURL) // 从本仓库加载model.safetensors let brightened = model(imageNHWC) // 输入NHWC格式的RGB图像[0,1]

此外,还可以将其作为MLXEngine的imageRelightModelPackage(MLXCIDNet.CIDNetRelightPackage)使用,该包会通过Hub解析本仓库并自动应用曝光门控。

重要注意事项:输入曝光的门控处理

⚠️ 该模型需要根据输入曝光进行门控处理,不能无条件应用。每个已发布的检查点都会将输出推向目标平均亮度,无论输入如何。因此,对于已经正确曝光的图像,模型会降低其质量。

检查点应用于已正确曝光的图像
Generalization23.37 dB
LOLv1-wperc20.99 dB
SICE16.10 dB

SICE的输出均值在12×输入范围内保持在0.35–0.40之间——它是一个自动曝光归一化器,而不是阴影提升器。

建议估计输入亮度并在阈值以上绕过模型;为部分应用提供强度混合。mlx-cidnet-swift同时支持这两种功能。

技术细节:模型转换与参数优化

模型转换过程

HVI-CIDNet-LOLv1-fp32采用MLXNHWC布局:191个张量 → 81个卷积 + 61个深度可分离转置(O,I,kH,kW) → (O,kH,kW,I),49个直通。上游已经发布safetensors,因此这是重新布局,而不是格式更改。

关键参数:trans.density_k

trans.density_k是一个学习到的参数,每个检查点都不同(本模型:1.1255;初始值为0.2)。它包含在权重中——不要硬编码。

性能验证:与PyTorch的一致性

在CPU流上针对PyTorch oracle进行门控,fp32,基于相对误差判断:

  • 关键契约— 191个张量 / 1,975,569个参数 / 0缺失 / 0未使用,严格加载
  • HVI颜色变换位精确(最差6.6e-07),包括退化颜色和决定掩蔽优先级的黄色/青色通道关系
  • 原语— PReLU精确为0.00e+00;对齐角落重采样器约5e-07
  • 完整模型— 在64² / 128² / 256²以及严重曝光不足的图块上余弦相似度1.00000000

安装指南:开始使用HVI-CIDNet-LOLv1-fp32

要开始使用HVI-CIDNet-LOLv1-fp32,首先需要克隆仓库:

git clone https://gitcode.com/hf_mirrors/mlx-community/HVI-CIDNet-LOLv1-fp32

然后按照mlx-cidnet-swiftSwift包的文档进行集成,即可在您的项目中使用该模型进行低光图像增强。

许可证信息

权重:MIT许可证(Fediory/HVI-CIDNet,由作者首次发布)。移植代码:MIT许可证。

【免费下载链接】HVI-CIDNet-LOLv1-fp32项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/HVI-CIDNet-LOLv1-fp32

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考