持卡人不能要求银行退回罚息和违约金，因为信用卡逾期是一定会产生罚息和违约金的，除非有不可抗力因素导致信用卡逾期，比如遭遇意外事故没有及时偿还信用卡。如果没有任何特殊情况，信用卡逾期后还会留下不良的
信用卡逾期还请可以自银行要回罚息，银行鉴于持卡人的主动表现以及之前的良好信用记录，往往会同意延期还款，并会同持卡人商定双方能接受的还款计划，延迟期限、利息折扣、每月还款额等。
这样主动联系银行，并经过银行同意延期还款的情况下，就不会被记不良记录，但需要注意的是，以后保证要按约定还款。
答:可以要回罚息。因为你己经将信用卡逾期的借款还清了，跟银行要回罚息是可以的。但银行也会按规定退回银行罚息的。