「『慎んで』お詫び申し上げます」？

「慎む」は、行動を控えめにする、度が過ぎないようにする、の意味で使います。

相手を敬う、かしこまるという意味の時は「謹む」です。