全体主義社会の弊害ですね。
「普通」を至上とし、「普通でないもの」を排除しようとするという構造は、近代に限らず人類社会の普遍的な特徴ですが、日本のような全体主義的な社会であると特に顕著であるといえます。

「見た目」というのは、一般的でわかりやすい「差異」です。

「いす」という言葉を考えてみましょう。「い」「す」という文字/音は単体では何の意味も持ちません。「い」と「す」を連ねて表した場合にのみ「椅子」という意味を表彰する意味になります。しかし、「椅子」を表す要素が「い」「す」である必然性はありません。「い」あるいは「す」が別の文字と置き換わる、もしくは、別の言葉と入れ替わったとしても問題はありません。
例えば、「いす」と「いぬ」が入れ替わり、「いす」が「犬」、「いぬ」が「椅子」という意味を表すようになったところで問題はありません。実際に、こおろぎ/すずむし、ちくわ/はんぺんのように意味が入れ替わった日本語はあります。

文字/言葉が単体ではなく関係性によるものであるということ。そしてそれらは入れ替え可能であるということ。
私たち人間も、おなじです。単体では意味を持たず、関係性によって変わります。

あなたは、見た目にコンプレックスを持っているという点で「普通ではない」。あなたが、「普通」の、つまり見た目にコンプレックスを持っていない人物と一緒にいるとき、「普通でない」あなたは「普通」の人に対して「劣っている/差異がある」と言えます。
別の場合を考えてみましょう。あなたとおなじく、見た目にコンプレックスを持っている人物とあなたが一緒にいるとしましょう。その場合、見た目にコンプレックスを持っているというのが「普通」であるので、その点で「差異」はありません。

まあ、弱い部分があるくらいのほうが人間らしくていいですよ。
マスクだけで足りないのなら、眼鏡とかサングラスを着けたらどうですか。
他人が怖いのなら、逆に他人を怖がらせる見た目にしてしまうというのもありですね。擬態は弱小生物の基本です。