텍스트 파일명 유사도 필터링 도구

파일명 유사도를 기준으로 TXT/HTML 파일을 그룹화하고, 글자 수와 문장 수 등 콘텐츠 지표에 따라 각 그룹에서 이상적인 파일을 자동으로 보존하여 효율적으로 중복을 제거합니다.

버그 신고

브라우저 실행 모드: 데이터는 브라우저에서 처리되며 서버에 업로드되지 않습니다.

속도와 안정성: 처리 속도는 기기와 브라우저에 따라 달라집니다. 대량 배치 작업에는 데스크톱 버전이 더 안정적일 수 있습니다.

도구를 불러오는 중입니다. 잠시 기다려 주세요...

온라인 도구가 로드되거나 실행되지 않으면 데스크톱 도구를 사용해 보세요. https://tools.yikeaigc.com/

도구 사용량

이전 버전으로 돌아가기

처리 안내:시작 전 ‘필터 설정’에서 유사도 임계값, 알고리즘, 보존 규칙을 확인하세요. 파일은 현재 페이지에서만 읽고 압축하며 서버에 업로드하지 않습니다.

1텍스트 파일 선택

클릭해 선택하거나 TXT / HTML 파일을 여기로 드래그

일괄 선택 지원, 화면에는 처음 20개만 미리보기하며 필터링 시 전체 파일을 처리합니다

2예시 데이터

선택한 파일

전체 크기

0 KB

텍스트 유형

미리보기 수

3파일 미리보기

아직 파일을 선택하지 않았습니다. 먼저 예시 데이터를 불러와 설정 효과를 확인한 후 내 파일을 처리할 수 있습니다.

1그룹 규칙

파일명 유사도 임계값

76%

값이 높을수록 파일명이 더 비슷해야 같은 그룹에 들어갑니다.

유사도 알고리즘

종합 알고리즘은 한국어, 영어, 번호가 있는 혼합 파일명에 적합합니다.

그룹 방식

링크 그룹은 더 유연하고, 대표 파일 그룹은 더 안정적입니다.

2보존 규칙

그룹 내 보존 기준

지표는 유사 그룹 내부에서만 비교되며 원본 파일은 변경하지 않습니다.

동점 처리

보존 기준 점수가 같을 때 사용합니다.

빈 콘텐츠 파일

읽은 후 본문이 비어 있는 자리표시자 파일 제외에 적합합니다.

3읽기 및 정규화

텍스트 인코딩

자동 감지는 BOM과 일반 중국어 인코딩을 우선 읽습니다.

ZIP 파일명

비워 두면 기본 파일명을 사용합니다.

결과 미리보기 행 수

페이지 표시만 영향, 패키징 결과에는 영향 없음.

비교 시 확장자 무시 영문 대소문자 무시 공백, 하이픈, 문장부호 통일 복사본, copy, 버전 번호 표시 약화 본문이 완전히 같으면 바로 그룹화 ZIP에 CSV 및 JSON 보고서 첨부

1진행률 및 결과

처리 대기 중. 먼저 파일을 선택하고 매개변수를 설정하세요. 0%

처리 완료 후 여기에 그룹, 보관 파일, 필터링 파일, 다운로드 버튼이 표시됩니다.

2유사 그룹 미리보기

아직 그룹 결과가 없습니다.

3필터링 파일 미리보기

필터링된 파일이 없습니다.

4처리 로그

시작 대기 중.

', 86400000 * 5), createFile('product_detail_page 副本.htm', '

商品详情页

页面包含规格参数和购买须知。

', 86400000 * 4), createFile('product-detail-page-2026.html', '

商品详情页

页面包含规格参数、适用场景、售后说明、购买须知、常见问题和配送说明。

', 86400000 * 2), createFile('about-us.html', '

关于我们

公司简介、服务范围和联系方式。

', 86400000) ]; const mixed = [ createFile('Report_A_2026_Final.txt', 'Report A. Revenue: 126000. Cost: 84200. Notes: checked by finance team.', 86400000 * 8), createFile('report-a-2026-final copy.txt', 'Report A. Revenue: 126000. Cost: 84200.', 86400000 * 7), createFile('Report A 2026 v3.txt', 'Report A. Revenue: 126000. Cost: 84200. Notes: checked by finance team. Added channel split and summary.', 86400000 * 2), createFile('客户名单_北京.txt', '张三\n李四\n王五\n赵六\n钱七', 86400000 * 3), createFile('客户名单-北京-副本.txt', '张三\n李四\n王五', 86400000 * 2), createFile('客户名单上海.txt', '陈一\n周二\n吴三\n郑四', 86400000) ]; if (kind === 'html') setFiles(html); else if (kind === 'mixed') setFiles(mixed); else setFiles(article); appendLog('已载入示例数据，可以切换到筛选设置进行试算。'); switchTab('tf-tab-settings'); } function normalizeFilename(name, options) { let value = options.ignoreExt ? fileBase(name) : name; try { value = value.normalize('NFKC'); } catch (e) { // Older browsers may not support normalize; keep original text. } if (options.normalizeCase) value = value.toLowerCase(); if (options.removeCopy) { value = value .replace(/\b(copy|copied|final|draft|new|old)\b/gi, ' ') .replace(/(副本|复件|拷贝|复制|修订版|定稿|草稿|新版|旧版)/g, ' ') .replace(/[\s_-]*(v|ver|version|版本)\s*\d+(\.\d+)?/gi, ' ') .replace(/[\s_-]*$?\d{4}[-_.年]?\d{1,2}?[-_.月]?\d{0,2}日?$?/g, ' ') .replace(/[\s_-]*[$（]\d+[$）]/g, ' '); } if (options.normalizeSymbols) { value = value .replace(/[·•,，.。;；:：!！?？'"“”‘’`~@#$%^&*+=|\\/<>《》【】\[\]{}()（）]/g, ' ') .replace(/[-_—–]+/g, ' ') .replace(/\s+/g, ''); } else { value = value.replace(/\s+/g, ' ').trim(); } return value.trim(); } function levenshteinSimilarity(a, b) { if (a === b) return 100; const lenA = a.length; const lenB = b.length; if (!lenA || !lenB) return lenA === lenB ? 100 : 0; let previous = new Array(lenB + 1); let current = new Array(lenB + 1); for (let j = 0; j <= lenB; j++) previous[j] = j; for (let i = 1; i <= lenA; i++) { current[0] = i; for (let j = 1; j <= lenB; j++) { const cost = a[i - 1] === b[j - 1] ? 0 : 1; current[j] = Math.min(previous[j] + 1, current[j - 1] + 1, previous[j - 1] + cost); } const temp = previous; previous = current; current = temp; } return (1 - previous[lenB] / Math.max(lenA, lenB)) * 100; } function lcsSimilarity(a, b) { if (a === b) return 100; const lenA = a.length; const lenB = b.length; if (!lenA || !lenB) return lenA === lenB ? 100 : 0; let prev = new Array(lenB + 1).fill(0); let curr = new Array(lenB + 1).fill(0); for (let i = 1; i <= lenA; i++) { for (let j = 1; j <= lenB; j++) { curr[j] = a[i - 1] === b[j - 1] ? prev[j - 1] + 1 : Math.max(prev[j], curr[j - 1]); } const temp = prev; prev = curr; curr = temp.fill(0); } return (2 * prev[lenB] / (lenA + lenB)) * 100; } function charSetSimilarity(a, b) { const setA = new Set(Array.from(a)); const setB = new Set(Array.from(b)); if (!setA.size && !setB.size) return 100; let intersection = 0; setA.forEach((char) => { if (setB.has(char)) intersection++; }); const union = new Set([...setA, ...setB]).size; return union ? intersection / union * 100 : 0; } function cosineSimilarity(a, b) { const count = (text) => { const map = new Map(); Array.from(text).forEach((char) => map.set(char, (map.get(char) || 0) + 1)); return map; }; const mapA = count(a); const mapB = count(b); const chars = new Set([...mapA.keys(), ...mapB.keys()]); if (!chars.size) return 100; let dot = 0; let magA = 0; let magB = 0; chars.forEach((char) => { const av = mapA.get(char) || 0; const bv = mapB.get(char) || 0; dot += av * bv; magA += av * av; magB += bv * bv; }); if (!magA || !magB) return 0; return dot / (Math.sqrt(magA) * Math.sqrt(magB)) * 100; } function filenameSimilarity(a, b, algorithm) { if (a === b) return 100; if (!a || !b) return 0; if (algorithm === 'levenshtein') return levenshteinSimilarity(a, b); if (algorithm === 'sequence') return lcsSimilarity(a, b); if (algorithm === 'jaccard') return charSetSimilarity(a, b); if (algorithm === 'cosine') return cosineSimilarity(a, b); const lev = levenshteinSimilarity(a, b); const seq = lcsSimilarity(a, b); const jac = charSetSimilarity(a, b); const cos = cosineSimilarity(a, b); return lev * 0.42 + seq * 0.28 + jac * 0.14 + cos * 0.16; } function hashText(text) { let hash = 5381; for (let i = 0; i < text.length; i++) { hash = ((hash << 5) + hash) ^ text.charCodeAt(i); hash >>>= 0; } return hash.toString(16); } function stripHtml(raw, name) { const looksHtml = /\.html?$/i.test(name) || /<\/?[a-z][\s\S]*>/i.test(raw); if (!looksHtml) return raw; try { const doc = new DOMParser().parseFromString(raw, 'text/html'); doc.querySelectorAll('script,style,noscript,template,svg,canvas').forEach((node) => node.remove()); return (doc.body ? doc.body.textContent : doc.documentElement.textContent) || raw.replace(/<[^>]*>/g, ' '); } catch (e) { return raw.replace(/<[^>]*>/g, ' '); } } function detectEncoding(buffer, preferred) { if (preferred && preferred !== 'auto') return preferred; const bytes = new Uint8Array(buffer); if (bytes[0] === 0xef && bytes[1] === 0xbb && bytes[2] === 0xbf) return 'utf-8'; if (bytes[0] === 0xff && bytes[1] === 0xfe) return 'utf-16le'; if (bytes[0] === 0xfe && bytes[1] === 0xff) return 'utf-16be'; if (window.jschardet && bytes.length > 0) { try { let probe = ''; const limit = Math.min(bytes.length, 8000); for (let i = 0; i < limit; i++) probe += String.fromCharCode(bytes[i]); const detected = window.jschardet.detect(probe); const name = String(detected.encoding || '').toLowerCase(); if (/gb|gbk|gb2312|gb18030/.test(name)) return 'gb18030'; if (/big5/.test(name)) return 'big5'; if (/utf-16le/.test(name)) return 'utf-16le'; if (/utf-16be/.test(name)) return 'utf-16be'; if (/utf-8|ascii/.test(name)) return 'utf-8'; } catch (e) { return 'utf-8'; } } return 'utf-8'; } function decodeBuffer(buffer, encoding) { const candidates = [encoding, 'utf-8', 'gb18030']; for (const item of candidates) { try { return new TextDecoder(item, { fatal: false }).decode(buffer); } catch (e) { // Try next candidate. } } return new TextDecoder().decode(buffer); } function countHtmlTagRatio(raw) { if (!raw) return 0; const matches = raw.match(/<[^>]+>/g) || []; const tagLength = matches.reduce((sum, item) => sum + item.length, 0); return tagLength / raw.length; } function analyzeText(raw, file) { const clean = stripHtml(raw, file.name) .replace(/\u00a0/g, ' ') .replace(/\r\n?/g, '\n') .trim(); const noPunc = clean.replace(/[\s.,;:!?，。！？；：“”‘’"'、()（）《》<>【】\[\]{}\-_=+\\/|`~@#$%^&*…·]/g, ''); const charCount = Array.from(noPunc).length; const cjkUnits = clean.match(/[\u3400-\u9fff]{1,2}/g) || []; const latinWords = clean.match(/[A-Za-z0-9]+(?:[._-][A-Za-z0-9]+)*/g) || []; const sentenceParts = clean.split(/[。！？!?；;\n]+/).map((s) => s.trim()).filter(Boolean); const paragraphs = clean.split(/\n\s*\n+/).map((s) => s.trim()).filter(Boolean); const digits = clean.match(/\d/g) || []; const wordCount = cjkUnits.length + latinWords.length; return { rawLength: raw.length, cleanText: clean, char_count_no_punc: charCount, word_count_segmented: wordCount, sentence_count: sentenceParts.length, paragraph_count: paragraphs.length || (clean ? 1 : 0), avg_sentence_length: sentenceParts.length ? charCount / sentenceParts.length : 0, digit_ratio: charCount ? digits.length / charCount : 0, html_tag_ratio: countHtmlTagRatio(raw), content_hash: hashText(clean.replace(/\s+/g, '')) }; } async function readAndAnalyzeFile(file, options, index) { const buffer = await file.arrayBuffer(); const encoding = detectEncoding(buffer, options.encoding); const raw = decodeBuffer(buffer, encoding); const metrics = analyzeText(raw, file); return { index, file, name: file.name, ext: fileExt(file.name), size: file.size || 0, lastModified: file.lastModified || 0, encoding, normalizedName: normalizeFilename(file.name, options), metrics }; } function enrichQualityScores(filesInfo) { const max = { chars: Math.max(1, ...filesInfo.map((info) => info.metrics.char_count_no_punc)), words: Math.max(1, ...filesInfo.map((info) => info.metrics.word_count_segmented)), sentences: Math.max(1, ...filesInfo.map((info) => info.metrics.sentence_count)), paragraphs: Math.max(1, ...filesInfo.map((info) => info.metrics.paragraph_count)) }; filesInfo.forEach((info) => { const m = info.metrics; const contentPart = (m.char_count_no_punc / max.chars) * 42 + (m.word_count_segmented / max.words) * 24 + (m.sentence_count / max.sentences) * 18 + (m.paragraph_count / max.paragraphs) * 10; const htmlPenalty = Math.min(10, m.html_tag_ratio * 20); const emptyPenalty = m.char_count_no_punc === 0 ? 24 : 0; m.quality_score = Math.max(0, contentPart + 6 - htmlPenalty - emptyPenalty); }); } function sleepFrame() { return new Promise((resolve) => requestAnimationFrame(resolve)); } function makePairKey(a, b) { return a < b ? `${a}:${b}` : `${b}:${a}`; } function getSimilarityValue(infoA, infoB, options, pairScores) { const key = makePairKey(infoA.index, infoB.index); if (pairScores && pairScores.has(key)) return pairScores.get(key); if (options.exactContent && infoA.metrics.content_hash === infoB.metrics.content_hash && infoA.metrics.cleanText) { if (pairScores) pairScores.set(key, 100); return 100; } const score = filenameSimilarity(infoA.normalizedName, infoB.normalizedName, options.algorithm); if (pairScores) pairScores.set(key, score); return score; } async function buildConnectedGroups(filesInfo, options) { const n = filesInfo.length; const adj = Array.from({ length: n }, () => []); const pairScores = new Map(); const total = n * (n - 1) / 2 || 1; let done = 0; for (let i = 0; i < n; i++) { for (let j = i + 1; j < n; j++) { if (cancelRequested) throw new Error('处理已取消'); const score = getSimilarityValue(filesInfo[i], filesInfo[j], options, pairScores); if (score >= options.threshold) { adj[i].push(j); adj[j].push(i); } done++; if (done % 120 === 0 || done === total) { setProgress(45 + done / total * 35, `正在比较文件名相似度：${done}/${total}`); await sleepFrame(); } } } const visited = new Array(n).fill(false); const groups = []; for (let start = 0; start < n; start++) { if (visited[start]) continue; const queue = [start]; const members = []; visited[start] = true; while (queue.length) { const item = queue.shift(); members.push(item); adj[item].forEach((next) => { if (!visited[next]) { visited[next] = true; queue.push(next); } }); } groups.push({ memberIndexes: members }); } return { groups, pairScores }; } async function buildRepresentativeGroups(filesInfo, options) { const pairScores = new Map(); const groups = []; let done = 0; const total = Math.max(1, filesInfo.length * Math.max(1, filesInfo.length - 1) / 2); for (let i = 0; i < filesInfo.length; i++) { if (cancelRequested) throw new Error('处理已取消'); let placed = false; for (const group of groups) { const rep = filesInfo[group.memberIndexes[0]]; const score = getSimilarityValue(filesInfo[i], rep, options, pairScores); done++; if (score >= options.threshold) { group.memberIndexes.push(i); placed = true; break; } } if (!placed) groups.push({ memberIndexes: [i] }); if (i % 20 === 0 || i === filesInfo.length - 1) { setProgress(45 + Math.min(35, done / total * 35), `正在按代表文件分组：${i + 1}/${filesInfo.length}`); await sleepFrame(); } } return { groups, pairScores }; } function parseRetention(value) { const direction = value.endsWith('_asc') ? 'asc' : 'desc'; const metric = value.replace(/_(asc|desc)$/, ''); return { metric, direction }; } function metricValue(info, metric) { if (metric === 'file_size') return info.size || 0; return Number(info.metrics[metric] || 0); } function tieBreakCompare(a, b, options) { if (options.tiebreak === 'modified_new') return (b.lastModified || 0) - (a.lastModified || 0); if (options.tiebreak === 'modified_old') return (a.lastModified || 0) - (b.lastModified || 0); if (options.tiebreak === 'name_short') return a.name.length - b.name.length; if (options.tiebreak === 'size_large') return (b.size || 0) - (a.size || 0); return a.index - b.index; } function chooseKeptFile(memberInfos, options) { const parsed = parseRetention(options.retention); const sorted = [...memberInfos].sort((a, b) => { const av = metricValue(a, parsed.metric); const bv = metricValue(b, parsed.metric); if (Math.abs(av - bv) > 0.000001) { return parsed.direction === 'asc' ? av - bv : bv - av; } return tieBreakCompare(a, b, options); }); return sorted[0]; } function averageSimilarity(memberInfos, pairScores) { if (memberInfos.length <= 1) return 100; let sum = 0; let count = 0; for (let i = 0; i < memberInfos.length; i++) { for (let j = i + 1; j < memberInfos.length; j++) { const score = pairScores.get(makePairKey(memberInfos[i].index, memberInfos[j].index)); if (typeof score === 'number') { sum += score; count++; } } } return count ? sum / count : 0; } function decideRetention(filesInfo, rawGroups, pairScores, options) { const groups = []; const retained = []; const discarded = []; let groupNumber = 1; rawGroups.forEach((rawGroup) => { const memberInfos = rawGroup.memberIndexes.map((idx) => filesInfo[idx]); const emptyMembers = options.emptyAction === 'discard' ? memberInfos.filter((info) => info.metrics.char_count_no_punc === 0) : []; const eligibleMembers = options.emptyAction === 'discard' ? memberInfos.filter((info) => info.metrics.char_count_no_punc > 0) : memberInfos; let keep = null; if (eligibleMembers.length) { keep = chooseKeptFile(eligibleMembers, options); retained.push({ info: keep, groupId: groupNumber }); } memberInfos.forEach((info) => { if (!keep || info.index !== keep.index) { const emptyReason = info.metrics.char_count_no_punc === 0 && options.emptyAction === 'discard'; discarded.push({ info, groupId: groupNumber, reason: emptyReason ? '空内容排除' : '同组筛选' }); } }); groups.push({ id: groupNumber, members: memberInfos, keep, discarded: memberInfos.filter((info) => !keep || info.index !== keep.index), avgSimilarity: averageSimilarity(memberInfos, pairScores) }); groupNumber++; }); return { groups, retained, discarded }; } function uniqueZipName(originalName, usedNames) { const sanitized = String(originalName || 'file.txt').replace(/[\\/:*?"<>|]+/g, '_'); const dot = sanitized.lastIndexOf('.'); const base = dot > 0 ? sanitized.slice(0, dot) : sanitized; const ext = dot > 0 ? sanitized.slice(dot) : ''; let candidate = sanitized || 'file.txt'; let counter = 2; while (usedNames.has(candidate.toLowerCase())) { candidate = `${base}_${counter}${ext}`; counter++; } usedNames.add(candidate.toLowerCase()); return candidate; } function buildReportRows(result) { const rows = []; result.groups.forEach((group) => { group.members.forEach((info) => { const kept = group.keep && info.index === group.keep.index; rows.push({ group_id: group.id, status: kept ? '保留' : '筛选', filename: info.name, normalized_name: info.normalizedName, group_size: group.members.length, avg_similarity: group.avgSimilarity.toFixed(2), size: info.size, encoding: info.encoding, chars_no_punc: info.metrics.char_count_no_punc, words: info.metrics.word_count_segmented, sentences: info.metrics.sentence_count, avg_sentence_length: info.metrics.avg_sentence_length.toFixed(2), digit_ratio: (info.metrics.digit_ratio * 100).toFixed(2) + '%', html_tag_ratio: (info.metrics.html_tag_ratio * 100).toFixed(2) + '%', quality_score: info.metrics.quality_score.toFixed(2) }); }); }); return rows; } function rowsToCsv(rows) { const headers = [ 'group_id', 'status', 'filename', 'normalized_name', 'group_size', 'avg_similarity', 'size', 'encoding', 'chars_no_punc', 'words', 'sentences', 'avg_sentence_length', 'digit_ratio', 'html_tag_ratio', 'quality_score' ]; const lines = [headers.join(',')]; rows.forEach((row) => { lines.push(headers.map((key) => escapeCsv(row[key])).join(',')); }); return '\ufeff' + lines.join('\n'); } function buildJsonReport(result) { return JSON.stringify({ generatedAt: new Date().toISOString(), options: result.options, summary: result.summary, groups: result.groups.map((group) => ({ id: group.id, avgSimilarity: Number(group.avgSimilarity.toFixed(2)), kept: group.keep ? group.keep.name : null, members: group.members.map((info) => ({ filename: info.name, status: group.keep && info.index === group.keep.index ? 'keep' : 'discard', metrics: { charsNoPunc: info.metrics.char_count_no_punc, words: info.metrics.word_count_segmented, sentences: info.metrics.sentence_count, avgSentenceLength: Number(info.metrics.avg_sentence_length.toFixed(2)), digitRatio: Number((info.metrics.digit_ratio * 100).toFixed(2)), htmlTagRatio: Number((info.metrics.html_tag_ratio * 100).toFixed(2)), qualityScore: Number(info.metrics.quality_score.toFixed(2)) } })) })) }, null, 2); } function renderEmptyResult() { latestResult = null; setProgress(0, '等待处理。请先选择文件并设置参数。'); els.resultPlaceholder.style.display = 'block'; els.resultContent.style.display = 'none'; els.groupsEmpty.style.display = 'block'; els.groupsTable.style.display = 'none'; els.groupsBody.innerHTML = ''; els.groupsMore.textContent = ''; els.discardEmpty.style.display = 'block'; els.discardTable.style.display = 'none'; els.discardBody.innerHTML = ''; els.discardMore.textContent = ''; els.downloadZip.disabled = true; els.downloadCsv.disabled = true; els.downloadJson.disabled = true; } function renderResults(result, mode) { const options = result.options; const similarGroups = result.groups.filter((group) => group.members.length > 1); const ungrouped = result.groups.filter((group) => group.members.length === 1).length; const previewLimit = options.previewLimit; els.resultPlaceholder.style.display = 'none'; els.resultContent.style.display = 'block'; els.resTotal.textContent = result.summary.totalFiles; els.resGroups.textContent = similarGroups.length; els.resKeep.textContent = result.retained.length; els.resDrop.textContent = result.discarded.length; els.resTime.textContent = `${(result.summary.elapsedMs / 1000).toFixed(2)}s`; els.resultPills.innerHTML = ''; [ `算法：${els.algorithm.options[els.algorithm.selectedIndex].text}`, `阈值：${options.threshold}%`, `保留：${metricLabels[options.retention] || '自定义指标'}`, `单文件组：${ungrouped}` ].forEach((text) => { const pill = document.createElement('span'); pill.className = 'tf-pill'; pill.textContent = text; els.resultPills.appendChild(pill); }); els.downloadZip.disabled = mode === 'preview' || result.retained.length === 0; els.downloadCsv.disabled = false; els.downloadJson.disabled = false; const shownGroups = result.groups.slice(0, previewLimit); els.groupsBody.innerHTML = ''; if (shownGroups.length) { shownGroups.forEach((group) => { const tr = document.createElement('tr'); const keepName = group.keep ? group.keep.name : '无保留文件'; const cells = [ group.id, keepName, group.members.length, `${group.avgSimilarity.toFixed(1)}%`, metricLabels[options.retention] || options.retention ]; cells.forEach((value, idx) => { const td = document.createElement('td'); td.textContent = value; if (idx === 1) td.className = 'tf-mono'; tr.appendChild(td); }); els.groupsBody.appendChild(tr); }); els.groupsEmpty.style.display = 'none'; els.groupsTable.style.display = 'block'; els.groupsMore.textContent = result.groups.length > previewLimit ? `还有 ${result.groups.length - previewLimit} 个分组未在页面展示，可在报告中查看。` : ''; } else { els.groupsEmpty.style.display = 'block'; els.groupsTable.style.display = 'none'; els.groupsMore.textContent = ''; } const shownDiscarded = result.discarded.slice(0, previewLimit); els.discardBody.innerHTML = ''; if (shownDiscarded.length) { shownDiscarded.forEach((item) => { const tr = document.createElement('tr'); const nameTd = document.createElement('td'); nameTd.textContent = item.info.name; nameTd.className = 'tf-mono'; const groupTd = document.createElement('td'); groupTd.textContent = item.groupId; const statusTd = document.createElement('td'); const badge = document.createElement('span'); badge.className = 'tf-badge-drop'; badge.textContent = item.reason; statusTd.appendChild(badge); tr.append(nameTd, groupTd, statusTd); els.discardBody.appendChild(tr); }); els.discardEmpty.style.display = 'none'; els.discardTable.style.display = 'block'; els.discardMore.textContent = result.discarded.length > previewLimit ? `还有 ${result.discarded.length - previewLimit} 个筛选文件未在页面展示，可在报告中查看。` : ''; } else { els.discardEmpty.style.display = 'block'; els.discardTable.style.display = 'none'; els.discardMore.textContent = ''; } } async function runProcessing(mode) { if (busy) return; if (!selectedFiles.length) { appendLog('请先选择文件或加载示例数据。'); switchTab('tf-tab-files'); return; } if (selectedFiles.length < 2) { appendLog('文件数量不足，至少需要 2 个文件才能进行相似度筛选。'); return; } const options = getOptions(); const startTime = performance.now(); cancelRequested = false; setBusy(true); latestResult = null; els.log.textContent = ''; switchTab('tf-tab-results'); setProgress(2, '开始读取文件内容...'); appendLog(`准备处理 ${selectedFiles.length} 个文件。`); try { const filesInfo = []; for (let i = 0; i < selectedFiles.length; i++) { if (cancelRequested) throw new Error('处理已取消'); const info = await readAndAnalyzeFile(selectedFiles[i], options, i); filesInfo.push(info); setProgress(5 + (i + 1) / selectedFiles.length * 35, `正在读取：${info.name}`); if (i % 8 === 0) await sleepFrame(); } enrichQualityScores(filesInfo); appendLog('文件内容统计完成。'); setProgress(43, '开始计算文件名相似度...'); const groupBuild = options.groupMode === 'representative' ? await buildRepresentativeGroups(filesInfo, options) : await buildConnectedGroups(filesInfo, options); if (cancelRequested) throw new Error('处理已取消'); setProgress(83, '正在按保留规则筛选...'); const decided = decideRetention(filesInfo, groupBuild.groups, groupBuild.pairScores, options); const elapsedMs = performance.now() - startTime; const reportRows = buildReportRows(decided); const result = { ...decided, options, reportRows, csv: rowsToCsv(reportRows), json: '', summary: { totalFiles: selectedFiles.length, retainedFiles: decided.retained.length, discardedFiles: decided.discarded.length, similarGroups: decided.groups.filter((group) => group.members.length > 1).length, elapsedMs } }; result.json = buildJsonReport(result); latestResult = result; setProgress(100, mode === 'preview' ? '分组预览完成。' : '筛选完成，可以下载结果。'); appendLog(`处理完成：保留 ${result.retained.length} 个文件，筛选 ${result.discarded.length} 个文件。`); renderResults(result, mode); } catch (error) { setProgress(0, error.message === '处理已取消' ? '处理已取消。' : '处理失败。'); appendLog(error.message || '处理失败。'); } finally { setBusy(false); } } async function downloadZip() { if (!latestResult || !latestResult.retained.length) return; if (!window.JSZip) { appendLog('JSZip 组件未加载，暂时无法打包下载。'); return; } els.downloadZip.disabled = true; appendLog('正在生成 ZIP 文件...'); const zip = new JSZip(); const usedNames = new Set(); latestResult.retained.forEach((item) => { const outputName = uniqueZipName(item.info.name, usedNames); zip.file(outputName, item.info.file); }); if (latestResult.options.includeReport) { zip.file('筛选报告.csv', latestResult.csv); zip.file('筛选报告.json', latestResult.json); } try { const blob = await zip.generateAsync({ type: 'blob' }, (metadata) => { setProgress(metadata.percent, `正在打包 ZIP：${metadata.percent.toFixed(1)}%`); }); let name = latestResult.options.zipName || '文本文件名相似度筛选结果.zip'; if (!/\.zip$/i.test(name)) name += '.zip'; downloadBlob(blob, name); setProgress(100, 'ZIP 已生成。'); appendLog('ZIP 下载已触发。'); } catch (error) { appendLog(`ZIP 生成失败：${error.message || error}`); } finally { els.downloadZip.disabled = false; } } function downloadCsv() { if (!latestResult) return; downloadBlob(new Blob([latestResult.csv], { type: 'text/csv;charset=utf-8' }), '文本文件名相似度筛选报告.csv'); } function downloadJson() { if (!latestResult) return; downloadBlob(new Blob([latestResult.json], { type: 'application/json;charset=utf-8' }), '文本文件名相似度筛选报告.json'); } els.tabs.forEach((tab) => tab.addEventListener('click', () => switchTab(tab.dataset.tab))); els.selectFiles.addEventListener('click', () => els.fileInput.click()); els.dropzone.addEventListener('click', () => els.fileInput.click()); els.dropzone.addEventListener('keydown', (event) => { if (event.key === 'Enter' || event.key === ' ') { event.preventDefault(); els.fileInput.click(); } }); els.fileInput.addEventListener('change', () => setFiles(els.fileInput.files)); els.clearFiles.addEventListener('click', () => { selectedFiles = []; els.fileInput.value = ''; renderFilePreview(); renderEmptyResult(); appendLog('已清空文件列表。'); }); els.toSettings.addEventListener('click', () => switchTab('tf-tab-settings')); els.backFiles.addEventListener('click', () => switchTab('tf-tab-files')); els.goSettings.addEventListener('click', () => switchTab('tf-tab-settings')); els.threshold.addEventListener('input', () => { els.thresholdValue.textContent = els.threshold.value; }); els.previewGroups.addEventListener('click', () => runProcessing('preview')); els.start.addEventListener('click', () => runProcessing('process')); els.cancel.addEventListener('click', () => { cancelRequested = true; appendLog('正在尝试取消处理...'); }); els.downloadZip.addEventListener('click', downloadZip); els.downloadCsv.addEventListener('click', downloadCsv); els.downloadJson.addEventListener('click', downloadJson); $$('.tf-sample-btn').forEach((button) => { button.addEventListener('click', () => loadSample(button.dataset.sample)); }); ['dragenter', 'dragover'].forEach((eventName) => { els.dropzone.addEventListener(eventName, (event) => { event.preventDefault(); event.stopPropagation(); els.dropzone.classList.add('dragover'); }); }); ['dragleave', 'drop'].forEach((eventName) => { els.dropzone.addEventListener(eventName, (event) => { event.preventDefault(); event.stopPropagation(); els.dropzone.classList.remove('dragover'); }); }); els.dropzone.addEventListener('drop', (event) => { const files = event.dataTransfer ? event.dataTransfer.files : []; setFiles(files); }); renderFilePreview(); renderEmptyResult(); })();

안내

소프트웨어 사용 설명

파일 선택 또는 예제 불러오기: “파일 선택”을 클릭해 .txt, .html, .htm 등의 텍스트 파일을 일괄 선택할 수 있으며, 먼저 예제 데이터로 테스트할 수도 있습니다. 페이지에서는 처음 20개 파일만 미리보기로 표시되지만, 처리 시에는 모든 파일을 계산합니다.
유사도 그룹 설정:
- 유사도 임계값: 값이 높을수록 파일명이 더 비슷해야 같은 그룹에 포함됩니다.
- 유사도 알고리즘: 종합 알고리즘, Levenshtein 편집 거리, 연속 일치 비율, Jaccard, 문자 빈도 코사인을 선택할 수 있습니다.
- 그룹화 방식: 유사 링크 그룹화는 버전이 연속적으로 변경되는 파일에 적합하며, 대표 파일 그룹화는 기준 이름을 중심으로 파일을 정리하는 데 적합합니다.
보존 기준 선택: 종합 콘텐츠 품질 점수, 일반 텍스트 문자 수, 단어 수, 문장 수, 평균 문장 길이, 숫자 비율, HTML 태그 비율 또는 파일 크기에 따라 그룹 내 보존 파일을 결정할 수 있습니다.
읽기 및 출력 구성: 텍스트 인코딩, ZIP 파일명, 미리보기 행 수를 설정하고, 확장자, 대소문자, 복사본 표시, 버전 번호 표시를 무시할지 여부와 ZIP에 CSV 및 JSON 보고서를 추가할지 여부를 선택할 수 있습니다.
필터링 시작: “필터링 시작”을 클릭하면 도구가 파일을 읽고, 본문을 추출하고, 파일명 유사도를 계산하며, 그룹을 생성한 뒤 규칙에 따라 파일을 보존합니다.
확인 및 다운로드: 처리가 완료되면 그룹 미리보기, 필터링된 파일 미리보기 및 처리 로그를 확인할 수 있으며, “보존 파일 ZIP 다운로드”를 클릭하면 결과를 받을 수 있습니다. 결과에 같은 이름의 파일이 있으면 파일명 뒤에 숫자를 추가해 구분합니다.

자주 묻는 질문

답변: 기본 임계값부터 테스트해 보는 것을 권장합니다. 임계값이 높으면 이름이 가까운 파일만 그룹화되고, 임계값이 낮으면 이름 차이가 큰 파일도 같은 그룹에 들어갈 수 있습니다. 먼저 “그룹 미리보기”로 효과를 확인한 뒤 정식으로 필터링할 수 있습니다.

답변: Levenshtein은 주로 파일명의 편집 거리를 측정하며, 이름 변경이 작은 파일에 적합합니다. 종합 알고리즘은 편집 거리, 연속 일치, 문자 집합 및 문자 빈도를 결합하므로 중국어, 영어, 번호 및 복사본 표시가 섞인 파일명에 더 유연합니다.

답: 페이지 표시를 깔끔하게 유지하고 작업을 원활하게 하기 위한 것입니다. 미리보기 수는 처리 범위에 영향을 주지 않으며, 일괄 선택한 파일은 모두 유사도 계산 및 ZIP 패키징에 포함됩니다.

답: 보관되는 파일은 가능한 한 원래 파일명을 유지합니다. ZIP 안에 같은 이름의 파일이 있으면 시스템이 원래 파일명 뒤에 숫자를 추가합니다. 예: 文章_2.txt, 덮어쓰기를 방지합니다.

답: HTML 파일은 먼저 보이는 본문을 추출하고 스크립트, 스타일 등의 내용을 제거한 뒤 문자 수, 단어 수, 문장 수 등의 지표를 집계합니다. 보고서에는 HTML 태그 비율도 기록되어 페이지 콘텐츠 밀도를 판단하는 데 도움이 됩니다.

답: 아니요. 파일 읽기, 콘텐츠 통계, 유사도 그룹화, ZIP 패키징은 모두 로컬 페이지에서 완료되며, 서버는 파일 내용을 수신하지 않습니다.

답: 아니요. 원본 파일은 이동, 이름 변경 또는 삭제되지 않습니다. 필터링은 다운로드 결과 패키지에 포함될 파일만 결정하며, 보관되지 않은 파일은 보고서와 페이지 미리보기에 나열됩니다.

텍스트 파일명 유사도 필터링 도구

도구를 불러오는 중입니다. 잠시 기다려 주세요...

도구 사용량

안내

소프트웨어 사용 설명

자주 묻는 질문

질문: 유사도 임계값은 어느 정도로 설정하는 것이 좋나요?

질문: 종합 알고리즘과 Levenshtein은 어떤 차이가 있나요?

질문: 왜 페이지에서는 처음 20개 파일만 미리보기로 표시되나요?

질문: 파일명이 중복되면 다운로드 결과는 어떻게 처리되나요?

질문: HTML 파일은 소스 코드 기준인가요, 본문 기준인가요?

질문: 파일이 서버에 업로드되나요?

질문: 필터링된 파일은 삭제되나요?

관련 도구

스마트 텍스트 정렬 도구

XLSX 파일 키워드 필터링 도구

OFD 압축 도구

문단·문장 통계 도구

텍스트 서식 지정 도구

CEB/PDF 변환 도구

Excel 내용 일괄 바꾸기 도구

TXT/CSV 빈 줄 삭제 도구

PDF 일괄 워터마크 추가 도구

온라인 글 자동 조판 도구