Ⅰ项正确，中国人民银行对人民币债券发行利率进行管理。
Ⅱ项正确，国家外汇管理局负责对与人民币债券发行和偿还有关的外汇专用账户及相关购汇、结汇进行管理。财政部及国家有关外债、外资管理部门，按照国务院分工对发债所筹资金发收的贷款和投资进行管理。
Ⅲ项正确，中国人民银行负责对与人民币债券发行和偿还有关的人民币账户和人民币跨境支付进行管理。
Ⅳ项正确，在中国境内申请发行人民币债券的国际开发机构应向财政部等窗口单位递交债券发行申请，由窗口单位会同中国人民银行、国家发改委、中国证监会等部门审核后，报国务院同意。
故本题选B。