持卡人不能要求银行退回罚息和违约金，因为信用卡逾期是一定会产生罚息和违约金的，除非有不可抗力因素导致信用卡逾期，比如遭遇意外事故没有及时偿还信用卡。如果没有任何特殊情况，信用卡逾期后还会留下不良的