(1)对税务机关作出逾期不缴纳罚款加处罚款的决定不服的，向作出行政处罚决定的税务机关申请行政复议。因此选项A、B错误。
(2)申请人对税务机关作出逾期不缴纳罚款加处罚款的决定不服的，应当先缴纳罚款和加处罚款，再申请行政复议。因此选项C正确。
(3)对已处罚款和加处罚款都不服的，一并向作出行政处罚决定的税务机关的上一级税务机关申请行政复议。因此选项D错误。