文字化けしたテキストをUnicodeで確認する方法｜化け方のパターンと見えない文字の見分け方
メールで届いた文書を開いたら、「縺薙ｓ縺ｫ縺｡縺ｯ」のような読めない文字が並んでいた。あるいは、見た目はふつうなのに、検索してもなぜか引っかからない。そんな場面に出くわしたことはありませんか。
こういうとき、画面の文字をにらんでいても原因はなかなか見えてきません。文字の中身を番号で見てみると、何が起きているのかがぐっと分かりやすくなります。この記事では、そのやり方と、番号の読み方のコツを紹介します。
文字には一つずつ番号がついている
パソコンの中では、文字は番号で扱われています。「あ」にも「A」にも、それぞれ決まった番号があります。世界中の文字にまとめて番号をふった表のことを、Unicodeと呼びます。
この番号を「\u3042」のような形で書いたものを、\uXXXX形式といいます。うしろの4桁が文字の番号です。たとえば「あ」は3042、「A」は0041です。「こんにちは」なら、\u3053\u3093\u306b\u3061\u306f のように5つの番号が並びます。
見た目が同じでも、番号がちがえばパソコンにとっては別の文字です。逆にいえば、番号を見れば見た目にだまされずに済みます。文字化けを調べるときに、これがいちばん役に立ちます。
やり方はかんたんです
気になる文字列をUnicode変換のタブに貼り付けて、番号に直すだけです。入力した文字はサーバーに送られず、あなたのブラウザの中で変換されます。社内の文書や個人的なメールの一部でも、気軽に試せます。
- 文字化けしている部分や、様子がおかしい部分をコピーします。
- Unicode変換のタブを開き、入力欄に貼り付けます。
- 変換すると、1文字ずつ\uXXXX形式の番号になって表示されます。
- 出てきた番号を、次の章で紹介するパターンと見くらべます。
コツは、全文ではなく、怪しい部分だけを短く切り出すことです。長い文章をまるごと変換すると、番号がずらりと並んで目が疲れます。おかしいと感じる前後の数文字で十分です。
番号から分かること
ひし形の記号が出ている
黒いひし形の中に「?」が入ったような記号が出ていたら、番号を見てみてください。\ufffd になっていれば、それは読めなかった文字の代わりに置かれた記号です。
気をつけたいのは、この記号に置きかわった時点で、元の文字の情報はもう残っていないことです。そのテキストをいくらいじっても元には戻りません。元のファイルやメールまでさかのぼって、開き直す必要があります。
「縺」や「繧」がたくさん出てくる
「縺」「繧」のような見慣れない漢字と、半角カタカナが混ざっている。これは、UTF-8で書かれた日本語を、Shift_JISという別の決まりで読んでしまったときによく出る形です。
UTF-8もShift_JISも、文字をファイルに保存するときの書き方のルールです。書いたときと読んだときのルールが食いちがうと、同じデータがまったく別の文字に見えてしまいます。
このとき番号を見ると、ふつうの漢字やカタカナの番号が並んでいるだけです。文字そのものは、まちがった別の文字として読まれてしまっています。直すなら、化けたテキストではなく元のファイルを、読み込むときのルールを変えて開き直すのが近道です。エディタによっては、文字コードを選んで開き直す設定があります。
ã や æ のような飾りつきのアルファベットが並ぶ
日本語のはずの場所に、ã や æ、ç のような飾りのついたアルファベットが並ぶこともあります。番号でいえば \u00e3 などがくり返し出てくる形です。これは、UTF-8の日本語を西ヨーロッパ向けの決まりで読んだときに起こりやすい化け方です。こちらも、元のファイルを正しいルールで開き直すのが基本です。
番号はふつうなのに四角が出る
四角い記号が出ていても、番号を見るとちゃんとした文字のことがあります。この場合、データは無事です。表示に使っているフォントが、その文字の形を持っていないだけです。別のアプリやフォントで開くと、きちんと表示されることがあります。
見た目はふつうなのに検索で見つからない
文字化けとは少しちがいますが、困ることの多いケースです。見た目は同じなのに、番号のちがう文字がまぎれていることがあります。よく見かけるものをまとめておきます。
- \u200b は幅のない空白です。画面には何も見えません。
- \u00a0 は改行されにくい特別な空白です。ふつうの半角スペースは \u0020 です。
- \ufeff はファイルの先頭に置かれる目印の文字で、BOMとも呼ばれます。文の途中にまぎれると邪魔になります。
- 「〜」には \u301c と \uff5e があり、見た目がよく似ています。
- 全角の「Ａ」は \uff21、半角の「A」は \u0041 です。
コピーした文字で検索しても見つからないときは、このあたりを疑ってみてください。番号に直せば、見えない文字もはっきり姿をあらわします。
濁点が離れている
「が」に見えるのに、番号が \u304b と \u3099 の2つに分かれていることがあります。「か」と濁点が、別々の文字として記録されている状態です。Macでつけたファイル名をほかのパソコンに持っていったときなどに見かけます。見た目はほぼ同じでも、検索や並べかえで別物として扱われることがあります。
調べるときに気をつけたいこと
Unicode変換で分かるのは、いまのテキストがどの文字になっているか、までです。どのルールで化けたのかを自動で当ててくれるわけではありません。番号のパターンを手がかりに、あなたが見当をつけることになります。
それから、化けたテキストをそのまま上書き保存するのは少し待ってください。化けた状態で保存し直すと、元に戻す手がかりがなくなることがあります。原因が分かるまでは、元のファイルをコピーしてとっておくと安心です。
まとめ
文字化けは、画面の見た目だけで判断しようとすると迷いやすいものです。番号に直してみると、読めなかった文字なのか、ルールの食いちがいなのか、フォントの問題なのかが見えてきます。
ひし形の \ufffd なら元のデータまでさかのぼる。ふつうの漢字やアルファベットの番号が並んでいるなら、ファイルを開き直す。番号が正しいなら、フォントを疑う。この3つを覚えておくだけでも、次に文字化けに出会ったとき、落ち着いて原因を探せるはずです。