| pHash/dHash |
|---|
| 局部敏感哈希（LSH） |
| CNN/Clip特征提取 |
| 混合特征+质量评分 |
一、传统哈希算法（基于图像特征编码）
**感知哈希（pHash）**
- 原理：将图像缩小至32x32像素→灰度化→离散余弦变换（DCT）→取左上角8x8区域→计算均值→生成64位二进制哈希值34。
- 优势：对缩放、亮度变化鲁棒性强。
- 应用：
imagededup库核心算法之一5。
**差异哈希（dHash）**
- 原理：缩放图像至9x8像素→灰度化→逐行比较相邻像素差值→生成二进制哈希46。
- 优势：对图像边缘变化敏感，适合检测结构相似性。
**平均哈希（aHash）**
- 原理：缩放图像至8x8像素→计算像素均值→生成64位二进制哈希67。
- 缺点：对颜色变化敏感，易误判。
二、局部敏感哈希（LSH）与分块算法
局部分块Hash
- 实现：将图像划分为若干子块，分别计算局部哈希值，通过子块哈希匹配提高去重精度3。
- 适用场景：海量图像库去重（百万级规模）3。
局部敏感哈希索引
- 原理：将高维特征向量映射到低维空间，通过哈希桶加速相似性检索45。
- 优势：时间复杂度从O(n²)降至O(n)，适合大规模数据5。
三、深度学习与语义特征算法
CNN特征提取
- 实现：通过预训练模型（如ResNet）提取图像特征向量，计算余弦相似度或欧氏距离8。
- 案例：Clip模型生成512维向量，判断语义相似性8。
混合特征融合
- 专利方案：结合图像特征向量、语义信息（如EXIF数据）和质量评分，通过多维度相似度计算提高准确率12。
- 示例：中移互联网专利提出同时使用图像特征和语义信息去重2。
四、工业级优化方案
专利技术
- 成都橙视传媒方案：基于PTP/MTP协议采集图像句柄，聚合特征向量和质量评分，筛选最优图像1。
- 质量评分结合：引入清晰度、噪点等指标，优先保留高质量副本1。
工具库实现
- imagededup：支持PHash、CNN等方法，4行代码完成去重流程5。
- 性能对比：PHash处理百万级图像仅需数小时（普通服务器）5。
五、算法选型建议
| 场景 | 推荐算法 | 特点 |
|---|---|---|
| 小规模数据（<10万） | pHash/dHash | 实现简单，计算速度快 |
| 海量数据（>100万） | 局部敏感哈希（LSH） | 时间复杂度低，支持分布式计算 |
| 语义相似去重 | CNN/Clip特征提取 | 理解内容，抗形变能力强 |
| 工业级高精度需求 | 混合特征+质量评分 | 专利方案，综合准确率最高 |
技术趋势
- 多模态融合：结合图像、文本（如OCR提取文字）和元数据进行联合去重。
- 端侧优化：移动端轻量化模型（如MobileNet）实现实时去重7。
- 动态阈值：根据用户需求自动调整相似度阈值，平衡误删率和存储效率28。