ブラウザ実行モード: データはブラウザ内で処理され、サーバーにはアップロードされません。
速度と安定性: 処理速度はデバイスとブラウザに依存します。大量のバッチ作業では、デスクトップ版の方が安定する場合があります。
ツールを読み込み中です。お待ちください...
ツールを読み込み中です。お待ちください...
オンラインツールを読み込めない、または実行できない場合は、デスクトップツールをお試しください。 https://tools.yikeaigc.com/
ツール使用状況
旧バージョンに戻す
先にパラメータを設定してから、テキストの重複を削除
テキスト貼り付け、TXT ファイルの一括選択、行単位の重複削除、空行削除、大文字小文字の無視、順序保持または再並べ替え、よく使う設定の保存に対応。
ローカル処理
一括 TXT
ZIPダウンロード
設定保存可
入力方法を選択
簡単な内容は直接貼り付けできます。元のファイル名を保持、または一括処理する場合は TXT ファイルを選択してください。
サンプルデータ
ヒント:先にデータを読み込むか入力してから、パラメータページで重複削除ルールを確認してください。
選択済みファイル
TXTファイルが未選択です。
重複削除ルール設定
先にパラメータを設定してから処理をクリックしてください。よく使う設定は保存でき、次回自動復元されます。
各行の先頭と末尾の空白を削除し、同じ内容の行を認識しやすくします。
空白行を削除します。オフの場合、空行も重複削除の対象となり1行だけ残ります。
Apple、APPLE、apple を同じ行内容として判定します。
連続する複数のスペースやタブを1つのスペースとして比較します。コピーしたデータの整理に適しています。
UTF-8 BOM などの隠し文字を消去し、先頭行の異常を減らします。
最初に出現した位置を保持します。オフにするとテキストルールで再ソートします。
一括ファイルモードでは既定で元のファイル名で出力します。複数ファイルが同名の場合、ZIP 内で自動的に (1)、(2) が付きます。
処理結果
統計や先頭数件のプレビューを確認し、単一ファイルまたは ZIP をダウンロードできます。
0%
0
元の行数
0
重複削除後の行数
0
削除行数
0%
重複削除率
結果プレビュー
未処理です。「ルール設定」で重複削除を開始してください。
手順
ソフトウェア使用方法
- 入力方法を選択:テキスト内容を直接貼り付けることも、1つまたは複数のTXTファイルを選択して一括処理することもできます。一括ファイルモードでは元のファイル名が保持され、同名の場合は自動的に数字が追加されて区別されます。
- サンプルデータを使用:人名リスト、メールアドレス、キーワードリスト、または混合データのボタンをクリックしてサンプルを読み込み、先に重複削除の効果を試せます。
- 重複削除ルールを設定:
- 前後の空白を削除:各行の先頭と末尾の空白文字を削除します。
- 空行を削除:空白行を自動的に削除します。オフにすると空行も重複判定の対象になります。
- 大文字・小文字を無視:Apple、APPLE、appleを同じ内容として判定します。
- 連続する空白を統合:複数の連続する空白またはタブを1つの空白として比較します。
- 元の順序を保持:内容が最初に出現した位置に従って出力します。オフにするとテキストルールに基づいて並べ替えできます。
- ファイルエンコードを選択:TXTファイルの状況に応じてUTF-8、GB18030/GBK/GB2312、Big5、またはISO-8859-1を選択します。中国語が文字化けする場合は、エンコードを切り替えて再試行できます。
- 処理を開始:設定完了後、「重複削除処理を開始」をクリックすると、ツールが統計情報と結果プレビューを生成します。
- 結果をダウンロード:単一の結果は直接ダウンロードできます。複数のTXTファイルを処理した後は、「すべての結果をダウンロード」をクリックしてZIP圧縮ファイルを取得できます。
よくある質問
A:ツールはデフォルトで行単位で重複内容を判定し、同じ行の内容が複数回出現した場合は1つだけ残します。大文字・小文字の無視、前後の空白削除、連続する空白の統合などのルールを有効にして、実際のデータにより合った判定方法にすることもできます。
A:TXTファイルを一括処理した後も、できるだけ元のファイル名を保持します。複数のファイル名が同じ場合、結果が上書きされないように、システムがファイル名の後ろに数字を追加します。例:data.txt、data (1).txt。
回答:英語キーワード、メールアドレス、アカウント、コードリストなどのデータに適しています。たとえば User@Example.com と user@example.com は、大文字・小文字を無視すると重複内容として扱われます。
回答:元の順序を保持すると、内容が最初に出現した位置の順に出力され、名簿、記録、手作業で整理したデータに適しています。並べ替えて出力すると、重複排除後の内容を再配置し、キーワードリスト、単語集、順序を統一する必要があるデータに適しています。
回答:文字化けは通常、ファイルの文字エンコーディングが一致していないことが原因です。中国語のTXTファイルはGB18030/GBK/GB2312を選択してみてください。一般的なUTF-8ファイルはUTF-8を選択すれば問題ありません。
回答:いいえ。テキストの読み込み、重複排除、統計、プレビュー、パッケージ化はすべてローカルで行われ、ファイル内容がサーバーに送信されることはありません。