重複行削除・行並べ替え
テキストを貼り付けると、重複行の削除、重複している行や1回だけ出現する行の抽出、空行の削除、各行の前後の空白の除去、行の並べ替えを、入力と同時に行う重複行削除・行並べ替えツールです。大文字と小文字、前後の空白、全角と半角を区別しない比較にも対応します。並べ替えは、あいうえお・ABC順、数値順、文字数順、出現回数の多い順、逆順、ランダムから選べます。入力行数、出力行数、削除した空行数、条件で除いた行数を表示し、結果をそのままコピーできます。入力した内容は端末の外に送信されません。
ツール
処理結果
- 入力行数
- 0
- 出力行数
- 0
- 削除した空行数
- 0
- 条件で除いた行数
- 0
仕様
本ツールの仕様は以下の通りです:
- 処理順序: (1)改行で行に分ける、(2)各行の前後の空白を除去する、(3)空行を削除する、(4)「出力する行」の条件で行を絞り込む、(5)並べ替える、(6)LFでつないで出力する、の順に処理します。オフにしたオプションの手順は飛ばします。空行の削除は絞り込みより先に行うため、空行を削除する設定では、空行を重複行や出現回数として数えません
- 行の数え方: 改行(CRLF、CR、LF)で行に分けます。テキストの最後が改行で終わるときは、最後の改行を1つだけ除いてから分けます。そのため、2行のテキストの最後に改行が1つあっても2行のままで、最後に改行が2つ続くときは、末尾に空行が1行あるものとして数えます。空行や空白だけの行も1行と数えます。テキストが空のときは0行です。U+2028とU+2029は改行として扱わず、通常の文字として扱います
- 空白の定義: 空白として扱うのは、半角スペース、全角スペース、タブの3種類です。ノーブレークスペースやゼロ幅スペースなど、それ以外の空白類は通常の文字として扱います。空行は、何もない行と空白だけの行です。「空行を削除する」は、「各行の前後の空白を除去する」がオフでも、空白だけの行を空行として削除します
- 出力する行: 「重複を削除(1行ずつ残す)」(初期値)は、同じ内容の行のうち最初に出てきた行だけを残します。「重複している行だけ」は、2回以上出てくる行を、最初に出てきた位置に1行ずつ出力します。「1回だけ出現する行だけ」は、1回しか出てこない行だけを出力します。「すべての行(重複もそのまま)」は、絞り込まずにすべての行を出力します。絞り込んだ行は、元の順番のまま並べ替えに渡します
- 同じ内容の判定: 行の内容が完全に一致するときに同じ行とみなします。「大文字と小文字を区別しない」をオンにすると、大文字と小文字を持つ文字(英字、ギリシャ文字、キリル文字など)の大文字と小文字を同じとみなします。「重複判定で前後の空白を無視する」をオン(初期値)にすると、行の前後の空白を除いた内容で比べます。「各行の前後の空白を除去する」がオンのときは、すでに空白を除いているため、この設定はオンのまま変更できません。「全角と半角を区別しない」をオンにすると、Unicodeの互換正規化(NFKC)をかけた内容で比べ、ABCとABC、アとアなどを同じとみなします。結合文字(アクセント記号など)が33個以上続く行は、処理時間を抑えるため、この正規化をせずに比べます。半角の濁点など、互換分解で結合文字になる文字も、結合文字として数えます。どの設定でも、出力には最初に出てきた行の元の表記を残します。「すべての行」を選んでいるときは、この3つの設定は使えず、行の内容が完全に一致するときだけ同じ行とみなします。ひらがなとカタカナは、どの設定でも別の文字として比べます
- 並べ替え: 「しない(元の順番)」(初期値)、「あいうえお・ABC順(昇順)」、「あいうえお・ABC順(降順)」、「数値順(小さい順)」、「数値順(大きい順)」、「文字数の少ない順」、「文字数の多い順」、「出現回数の多い順」、「逆順(下から上へ)」、「ランダム(シャッフル)」から選びます。並べ替えは「出力する行」で絞り込んだ後の行に対して行い、行の内容は変えません。比べた結果が同じ行は、絞り込んだ後の元の順番を保ちます。「大文字と小文字を区別しない」と「全角と半角を区別しない」は同じ内容の判定だけに使い、並べ替えには影響しません
- あいうえお・ABC順: ブラウザの日本語の照合順序(Intl.Collator)で比べます。行の中の数字の並びは数の大きさで比べるため、file2はfile10より前になります。file01とfile1のように同じ順位と判定された行は、元の順番を保ちます。降順は昇順と反対の順に並べますが、同じ順位の行の順番は反対にしません。大文字と小文字の順、漢字の順、濁点や半濁点の付いた仮名の順は、ブラウザの照合順序に従うため、ブラウザや環境によって異なる場合があります。空行を削除しない設定では、何もない行は昇順で先頭、降順で末尾に並びます。結合文字が33個以上続く行は、処理時間を抑えるため、33個目以降の結合文字を無視して比べます
- 数値順: 各行の先頭にある数値を1つ読み取って比べ、数値の後ろの文字は無視します(3 applesは3、-2.5kgは-2.5)。読み取る前に互換正規化(NFKC)をかけるため、全角の数字、プラス、ハイフンマイナス、カンマ、ピリオドも読み取れます。マイナス記号(U+2212)もマイナスとして扱います。行頭の空白は読み飛ばします。符号(+または-)は数字の直前に1つだけ置けます。桁区切りのカンマは、1〜3桁の数字の後にカンマと3桁の数字が続く形(1,000や12,345,678)だけを読み取り、それ以外のカンマの手前で読み取りを止めます(1,2は1)。小数点は、後ろに数字が続くときだけ読み取ります(5.は5、.5は数値として読み取りません)。指数表記は読み取らず、1e3は1として扱います。先頭の0は無視します(007は7)。+7、007、7のように値が同じ行は、元の順番を保ちます。数値を読み取れない行(abc、-、.5、空行など)と、大きすぎて扱えない数値の行は、小さい順でも大きい順でも末尾にまとめ、元の順番を保ちます
- 文字数の数え方: 文字数順では、各行の元の表記の文字数で比べます。文字数カウントツールと同じく、見た目の1文字(書記素)を1文字として数えるため、結合文字の付いた文字や、複数の絵文字をつなげた家族の絵文字なども1文字です。ブラウザが書記素の区切りに対応していない場合は、コードポイント単位で数えます。全角と半角の正規化はしません。文字数が同じ行は、元の順番を保ちます
- 出現回数の数え方: 出現回数の多い順では、空行の削除の後、「出力する行」で絞り込む前の行のうち、同じ内容と判定される行の数を出現回数として比べます。重複を削除する設定でも、削除される前の出現回数で並べます。「すべての行」を選んでいるときは、行の内容が完全に一致する行の数を数えます。出現回数が同じ行は、元の順番を保ちます。出現回数は画面に表示しません
- 逆順とランダム: 「逆順(下から上へ)」は、比べずに、絞り込んだ後の行の順番を反対にします。「ランダム(シャッフル)」は、すべての並び順が同じ確率になる方法で並べ替えます。ランダムを選んだとき、または「もう一度シャッフル」ボタンを押したときに、新しい並びになります。テキストやほかのオプションを変えても同じ乱数の種を使うため、末尾に行を書き足したり、行の中の文字を直したり、設定を切り替えたりしても、それまでの行どうしの並び順は変わりません。途中に行を挿入したり削除したりすると、それより後ろの行は並び直します。乱数の種は保存せず、ページを再読み込みすると変わります
- 件数の定義: 「入力行数」は上の数え方による行数、「出力行数」は並べ替えた後の行数、「削除した空行数」は空行の削除で除いた行数(空行を削除しない設定では0)、「条件で除いた行数」は空行の削除の後に残った行のうち「出力する行」の条件で出力しなかった行数です。条件で除いた行数には、「重複を削除」では2回目以降に出てきた行、「重複している行だけ」では1回だけ出てくる行と2回目以降に出てきた行、「1回だけ出現する行だけ」では2回以上出てくる行のすべてが含まれ、「すべての行」では0です。入力行数は、出力行数、削除した空行数、条件で除いた行数の合計と常に一致します。並べ替えでは行数は変わりません
- 改行と末尾改行: 入力の改行コードはCRLF、CR、LFのどれでも扱えます。出力の改行はLFにそろえ、CRは残しません。出力の最後に改行は付けません。ただし、空行を残す設定で最後の行が空行のときは、その空行も1行として出力するため、出力は改行で終わります
- 設定の保存: 入力したテキストと選んだオプションは保存しません。ページを再読み込みすると初期値に戻ります
- 上限: 入力できるのは200,000文字、50,000行までです。文字数はJavaScriptの文字列の長さ(UTF-16)で数えるため、絵文字などは1文字で2文字分以上になります。上限を超えると処理せず、件数を「-」で表示し、コピーできなくなります(入力は切り捨てません)。文字数と行数の両方が上限を超えるときは、文字数の上限を表示します
- 処理方式: ブラウザ内で処理し、入力内容はサーバーに送信しません
使い方
本ツールの使い方は以下の通りです:
- 「テキスト」欄に、整理したいテキスト(メールアドレスやキーワードの一覧、CSVの1列など)を入力するか貼り付けます。
- 入力すると自動で更新されるため、ボタンを押す必要はありません。下部の「処理結果」に、処理後のテキストと、入力行数、出力行数、削除した空行数、条件で除いた行数が表示されます。
- 「オプション」の「出力する行」で、重複を削除するか、重複している行だけを出すか、1回だけ出現する行だけを出すか、すべての行を出すかを選びます。「並べ替え」で、あいうえお・ABC順、数値順、文字数順、出現回数の多い順、逆順、ランダムから並べ方を選びます。
- 必要に応じて、各行の前後の空白の除去、空行の削除、大文字と小文字を区別しないか、重複判定で前後の空白を無視するか、全角と半角を区別しないかを切り替えます。選ぶとすぐに処理結果に反映されます。初期値では、出力する行は「重複を削除(1行ずつ残す)」、並べ替えは「しない(元の順番)」で、前後の空白の除去、空行の削除、重複判定で前後の空白を無視する設定がオンです。
- 長いテキストを貼り付けた直後は「計算中...」と表示されることがあります。少し待つと結果が更新されます。
- 必要に応じて以下を選択することができます。
- 「もう一度シャッフル」ボタン
- 並べ替えで「ランダム(シャッフル)」を選んだときに表示されます。押すたびに新しい並びに並べ替えます。
- 「結果をコピー」ボタン
- 処理後のテキストをクリップボードにコピーできます。件数はコピーに含まれません。コピーできると、アイコンがチェックマークに変わります。
- 「オプションをリセット」ボタン
- 出力する行、並べ替え、各オプションをすべて初期値に戻します。入力したテキストはそのまま残ります。
- 「リセットする」ボタン
- 入力したテキストを消去します。出力する行、並べ替え、各オプションの選択はそのまま残ります。
- 「もう一度シャッフル」ボタン
※ 空行の削除は、出力する行の絞り込みより先に行います。
※ 「すべての行(重複もそのまま)」を選んでいるときは、大文字と小文字、前後の空白、全角と半角の設定は使えません。
※ 並べ替えで比べた結果が同じ行は、元の順番を保ちます。
※ 出力の改行はLFにそろえ、最後に改行は付けません。
※ あいうえお・ABC順の順序はブラウザの照合順序に従うため、環境によって異なる場合があります。
※ 入力したテキストと設定は保存されず、ページを再読み込みすると初期値に戻ります。
※ 入力できるのは200,000文字、50,000行までです。
※ 入力した内容はブラウザ内で処理され、サーバーには送信されません。