Unicode 版美乳テーブルを探せ

美乳テーブルとは

「美乳テーブル」という物がある。
「EUC-JP の文章を Shift_JIS だと誤認識されない様に、EUC-JP 固有のバイト値を文章先頭付近に埋め込んでおく」という物。 具体的に、Shift_JIS には 0xFD と 0xFE が現れず、EUC-JP にはそれが現れるので、その値を含む文字コードを書いておこうという事で、その文字の集合に付いた名前。 “美” = 0xC8FE、“乳” = 0xC6FD。

各文字エンコーディングの事情

但し、これは EUC-JP での話。 一応、文章の先頭付近に日本語の文字を書いておくのは、他の文字エンコーディングでも認識のヒントにはなるけど。
逆に「Shift_JIS の文章を EUC-JP だと誤認識されない様にする」には、EUC-JP にはないバイト値の 0x80〜0xA0 を書けばいいんだろうけど、これは沢山ありそうだから、慎重に選んだ文字を特別に書く必要はなさそうだ。
ISO-2022-JP はその仕組み上、ブラウザが誤認識して文字化けする心配はほぼなくて、だからブラウザの表示メニューのエンコード指定には「ISO-2022-JP」という項目がない物もある(「日本語(自動判別)」で済む)。
「Shift_JIS」と「EUC-JP」を指定可能という事は、この 2 つは誤認識する可能性があるから、手で指示しなきゃならない状況があり得るという事。

それでは本題

じゃあ、Unicode が普及しつつある現在、Unicode 版の美乳テーブル的な文字はあるのか、と。
UTF-16 なら、いくらでも Unicode 固有のバイト値があるだろうから、これは問題にしない。 そもそも、UTF-16 で HTML 文章を書く人は、マークアップに使う ASCII 互換文字が倍の 2 バイトになっちゃうから、あまりいないと思う。
想定しているのは UTF-8 で、Shift_JIS にも EUC-JP にも誤認識されない 0x80 以上のバイト値を含む文字を書くのが目的。 且つ、BOM(U+FEFF、UTF-8 で 0xEF 0xBB 0xBF)にも頼らないで。

探索

日本語の文字コードを表現するのに、既存の文字エンコーディングだと

という範囲の文字を使う。 んー、特に Shift_JIS の下位バイトは広範だ。
唯一共通して空いているのは 0xFF だけど、Unicode は U+10FFFF までで UTF-8 だと 0xF4 0x8F 0xBF 0xBF だから、そこまでは届かない。
とすると EUC-JP で未使用の小さい側、0x80〜0xA0 を使うしかない。 Shift_JIS の上位バイトには 0x80 と 0xA0 は現れないから、この 2 つのどちらかが連続で現れるバイトシーケンスならいけるかも。

その文字は

その基準で文字を探してみて、イイ文字を発見。
〠 U+3020、UTF-8 で 0xE3 0x80 0xA0。
郵政民営化で(?)使われなくなりつつあるマークだから(??)、文字化け防止キャラとして存在意義を与えてあげたい。 という事で、個人的 UTF-8 用エンコーディング誤認識防止文字は、〠。

因みに

これ、私は勝手に「郵便太郎」と呼んでいたけど、正式には「顔郵便マーク」というそうで、更には「ナンバー君」という名前もあるらしい。
へー。

折角文字として存在している 〠 に注目して書いた記事で、効能は後付けの冗談半分(でも半分は本気)。

付録

EUC-JP 固有のバイト値を含む文字

Shift_JIS にはなくて EUC-JP 固有のバイト値を持つ文字。
その値は 0xFD と 0xFE で、93 区全部と 94 区全部、全区の 93 点と 94 点。

JIS X 0208 に加えて NEC 特殊文字を含んだ Windows 日本語文字セット(CP51932)。 「美乳テーブル」といえば、普通はこれ。
次に挙げる 8 文字は、Windows 日本語文字セットに特有の NEC 特殊文字、所謂機種依存文字。

• 末尾 0xFD
  • 彧(EUC:F9FD)
  • 燾(EUC:FAFD)
  • 鄧(EUC:FBFD)
  • ＇(EUC:FCFD)
• 末尾 0xFE
  • 德(EUC:F9FE)
  • 犱(EUC:FAFE)
  • 釚(EUC:FBFE)
  • ＂(EUC:FCFE)

JIS X 0212。
SS3(0x8F)を付けた 3 バイト。

JIS X 0213 の EUC-JP-2004。

第 2 面は SS3(0x8F)を付けた 3 バイト。

Shift_JIS 固有のバイト値を含む文字

EUC-JP にはなくて Shift_JIS 固有のバイト値を持つ文字。
その値は 0x80〜0xA0 で、1 区〜62 区全部、それ以上の区は奇数区の 64 点〜94 点と偶数区の 1 点〜2 点。

範囲が広いので表は省略。 第一水準(47 区まで)は全て含まれる。

UTF-8 固有のバイトシーケンスを含む文字

Shift_JIS にも EUC-JP にもなくて UTF-8 固有のバイトシーケンスを持つ文字。
その値は 0x80 か 0xA0 で、どちらかが 2 つ連続する文字(混在可)。