彼のスマホに知らない女の連絡先が増えていきます

その気持ちよくわかります。
だけどそれが当たり前で、特にやましいことなくしている男性がいるのも確かですよね。
なので、何が普通なのか、色々意見があると思いますが、私も質問者さんと同様に嫌です。
外国人かどうか関係なく、私が嫌と思う事を彼がするのを許していたら先に進めませんしね。
恋愛にはいろいろな価値観があっていいとは思いますが、それは私には関係がありませんし、今回質問されているようなことは、二人で話し合うような問題だと思います。

ですので、質問者さんも、嫌なことは嫌だとはっきり彼に伝えた方が良いと思います。

私は、彼が私の嫌なことをしないという男性が好きです。
そして、そこに安心を感じて一緒にいたいとか、愛とか抱かれたいとか、幸せを感じます。

友達いないから…女の子との連絡先を交換したよっていうのは私の恋愛観の中ではNGです。

質問者さんも同様では？と思います。
頑張ってくださいね

友達だったら普通だと思おうけど違うの？
友達になれば、異性同性関係なく連絡先交換すると思います。

外国人の方でもあなたと結婚していないなら独身だったら、複数の女性と連絡するのは普通かなと思います。
でも、結婚後に女性と連絡を取るのであればそれは叱らないといけないと思います。
そういうのはよく見てきましたので、おそらくスタンダードかなと思います。
もし現状を許せないなら、質問者様が外国人に限定しないで真面目な日本人男性と交流というのも手かなと思います。
ですが文脈からするとだいぶん好きなのかなと思いましたので、やはり彼氏さんと話し合われるのが一番ですよね。
結局、誰もお二人の間に入れないので、話し合って線引きを決めてはどうですか？

僕はそういうことはもちろんしないですよ？
どっちかというと浮気だとも思っています。

しかし、無宗教の方や自由な国出身者の独身者の場合は社会が浮気とは認めません。よりいい女性と付き合うのは当たり前の世界です。それは男女逆になってもしかりなのです。

その人の性格によりますよ。
上の人が言うような方もいれば、そうでない方もいますし、問題は貴方の気持ちをはっきり伝えれるかどうかで、その内容を彼がどう理解するかだと思いますよ。
もしはっきり嫌だと伝えて、理解できないなら今後もいろんな女友達ができると思います。

外国人と一概にいってもいろいろいるので個性と思った方が良いかなと思います。
国民性による違いもある程度はあると思いますが…
日本人だって、彼女がいても奥さんがいても他の女性と連絡先を交換する人はいくらでもいますよね？

嫌なら嫌とはっきり言えばいいと思います。
普通はどうかなんて考えずにあなたの気持ち次第でしょうし、嫌なら我慢すべきではないと思います。
ただ、アプリで積極的に知らぬ女性とコンタクトをとっているとしたら、抗議というか考えたほうがいいかもしれないですね。