ダブルワーク（副業）　源泉は不要なのか？

ダブルワーク（副業）をしている方の源泉所得税についてです。

2か所以上から給与の支払を受けている人のうち、年末調整されなかった給与が20万円以下であれば、確定申告が不要となります。

この場合、
「副業のほう（年末調整されていない会社のほう）の月々の給料から、税金が差し引かれることはない。」
と考える人もいるのではないかと思いますが、この点について、検証してみたいと思います。