研究检索执行命令clawhub未标认证来源可访问clear审计通过

dedupe（dedupe 搜索）

Agent Skill

dedupe 用于查找、检索和筛选相关信息，适合在 OpenClaw 中需要根据关键词、任务场景或来源线索快速定位候选结果时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。

总安装

5,298

周安装

223

GitHub Stars

公开资料未说明

下载量

1,855

OpenClaw

安装说明

本站只整理中文说明和来源信息，不托管安装包，也不代用户安装。

GitHub

来源数

许可证

MIT-0

最后核验

2026-05-01

来源状态

来源可访问

安装方式

通过对话安装

复制提示词发给支持本地命令或 Skills 的 AI 助手，先确认命令和权限，再让它执行。

请帮我安装这个 Agent Skill：dedupe（dedupe 搜索）
来源仓库：https://github.com/xueyetianya/dedupe
安装命令：
openclaw skills install dedupe
安装前请先检查当前环境是否支持对应 CLI，并向我确认将要执行的命令、安装目录、联网范围和文件读写权限；确认后再执行。

命令行安装

复制命令到本机终端执行。该命令会通过 OpenClaw 从第三方来源获取 Skill；本站只展示命令，不托管安装包，也不自动执行。

ClawHubOpenClaw

openclaw skills install dedupe

简介

提供重复数据删除方案参考，涵盖精确匹配、模糊匹配与哈希算法。

支持布隆过滤器与数据质量评估方法。适用宿主包括 OpenClaw，接入前应确认版本、权限和运行环境要求。
适用于清理重复记录、文件或数据集。
安装前需确认权限范围、维护状态及是否涉及大规模数据处理。
dedupe 属于研究检索类 Skill，可作为该场景下的辅助能力补充。

SKILL.md

name: dedupe
version: 1.0.0
description: Deduplication reference — exact matching, fuzzy matching, hash-based dedup, bloom filters, and data quality. Use when removing duplicate records, files, or data entries.
author: BytesAgain
homepage: https://bytesagain.com
source: https://github.com/bytesagain/ai-skills
tags: [dedupe, deduplication, data-quality, hash, fuzzy-match, etl, atomic]
category: atomic

Dedupe — Data Deduplication Reference

Quick-reference skill for deduplication strategies, algorithms, and data quality patterns.

When to Use

Removing duplicate rows from datasets or databases
Deduplicating files in storage systems
Implementing fuzzy matching for near-duplicate detection
Choosing between exact and probabilistic dedup methods
Building ETL pipelines with deduplication stages

Commands

`intro`

scripts/script.sh intro

Overview of deduplication — types, strategies, and tradeoffs.

`exact`

scripts/script.sh exact

Exact deduplication — hash-based, key-based, and sorting approaches.

`fuzzy`

scripts/script.sh fuzzy

Fuzzy deduplication — similarity measures, blocking, and record linkage.

`files`

scripts/script.sh files

File-level deduplication — fdupes, jdupes, rdfind, and storage dedup.

`algorithms`

scripts/script.sh algorithms

Dedup algorithms — bloom filters, HyperLogLog, MinHash, SimHash.

`sql`

scripts/script.sh sql

SQL deduplication patterns — ROW_NUMBER, DISTINCT, GROUP BY strategies.

`cli`

scripts/script.sh cli

Command-line dedup tools — sort, uniq, awk, and stream processing.

`checklist`

scripts/script.sh checklist

Deduplication quality checklist and validation steps.

`help`

scripts/script.sh help

`version`

scripts/script.sh version

Configuration

Variable	Description
`DEDUPE_DIR`	Data directory (default: ~/.dedupe/)

*Powered by BytesAgain | bytesagain.com | hello@bytesagain.com*

适合场景

OpenClaw 用户查找和安装 Skill 时

用户想查找某类 Agent Skill 时

需要根据任务场景推荐可安装能力包时

需要对比不同来源的安装命令和来源信息时

能力概览

能力 1

按任务关键词查找相关 Skills

能力 2

展示可复制的安装命令

能力 3

保留来源站点、仓库和原始说明，方便继续核验

能力 4

补充不同宿主或平台的使用分布数据

能力 5

展示第三方安全扫描或审计结果

安装后应在对应宿主中按原始 README 的触发条件使用；具体调用方式请以来源页面和 README 为准。

平台分布

OpenClaw

81.57%

按下载量换算1,513

安全审计

VirusTotal

通过

ClawScan

通过

Static analysis

通过

权限和风险

执行命令

安装流程涉及命令执行，可能通过 openclaw skills install dedupe 联网下载 Skill 或依赖。用户安装前应确认命令来源、仓库内容和执行环境。

安装前确认

本站仅展示第三方公开信息，不托管安装包，不提供自动安装或运行环境。安装前应自行审查源码、依赖和命令行为。当前只有一个来源，正式发布前建议补源仓库或其他目录站核验。

来源信息

GitHub 仓库

github.com

/xueyetianya/dedupe

SKILL.md 来源

clawhub.ai

/xueyetianya/dedupe

继续浏览同类 Skills

更多研究检索 Skills（73,675）返回 Skills 目录

上一个 Skill

dedao-dl-skill（得道 dl 技能）

dedao-dl-skill 用于查找、检索和筛选相关信息，适合在 OpenClaw 中需要根据关键词、任务场景或来源线索快速定位候选结果时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。

下一个 Skill

dedupe-rank（重复数据删除等级）

dedupe-rank 用于查找、检索和筛选相关信息，适合在 Codex、Claude、Cursor、Gemini CLI 中需要根据关键词、任务场景或来源线索快速定位候选结果时使用。可结合来源仓库、安装命令和原始 README 继续核验具体用法。安装前建议确认权限范围、维护状态，以及是否会触发联网、命令执行或文件读写。