按行保留第一次结果
保留第一次出现的内容，后续重复项自动移除，适合名单、标签和关键词清洗。
可选忽略大小写
处理中英文混排、大小写不统一的导出数据时，可以直接按不区分大小写规则去重。
本地处理更安心
文本去重逻辑在浏览器本地执行，不把原文提交到服务器，适合处理敏感名单或业务草稿。
浏览器本地处理
按行去重，保留第一次出现的内容
适合清洗名单、关键词、标签、日志片段和批量复制出来的文本。去重逻辑在浏览器本地执行，不会上传原文。
9 行
保留 6 行，移除 3 行
已填入示例文本，点击去重即可查看结果。
使用提示
关键词、名单、标签导出内容一般直接按行去重即可。
如果原始数据有中英文大小写混排，可以打开忽略大小写。
工具使用说明
文本去重怎么用
把待清洗内容按行粘贴
每行一条记录，支持名单、关键词、标签、日志或批量复制出来的文本。
勾选需要的规则
可选去首尾空格、忽略大小写和移除空行，按你的数据特点做清洗。
复制去重结果
结果会实时显示，可以直接复制回 Excel、文档、接口参数或后台表单。
功能说明
这个工具解决什么问题
文本去重工具适合什么场景
最常见的是关键词清洗、名单整理、标签去重、推广词处理、Excel 列数据预处理，以及日志和抓取结果的快速收口。
如果你只是想把一大串重复内容快速压缩成唯一列表，这种按行去重工具比写脚本更省时间。
为什么要支持去空格和忽略大小写
很多重复项并不是完全一样，而是前后多了空格，或者用了不同大小写。只做原样比对，往往清不干净。
把这些规则做成开关，能兼顾严格场景和宽松场景，不会强行改变你的原始数据。
使用时要注意什么
去重前先想清楚你要保留哪一种原始写法。当前工具默认保留第一次出现的结果，后续重复项会被丢弃。
如果一行里本身包含多个值，建议先拆成一行一条再去重，这样结果会更准确。
常见问题
关于 文本去重，用户常问这些
文本去重是实时生效的吗？
是。输入内容或规则变化后，右侧结果会立即更新。
会不会改变原来的顺序？
不会。工具默认保留第一次出现的顺序，不会重新排序。
什么时候要打开忽略大小写？
处理账号、英文关键词、标签或混合来源名单时，大小写不统一比较常见，这时建议打开。
空行也会被去掉吗？
可以。默认会移除空行，你也可以关闭这个选项。
页面会上传原文吗？
不会。文本去重在浏览器本地完成，不会把内容提交到服务器。