퇴사후 가산금?

지금은 퇴사한 전 직장에서 부가세 신고를 했었습니다. 그당시 사장님이 경리인 저한테 거래처에 발행할 세금계산서 금액, 발행날짜, 상대방 메일주소 이런 내역을 주시면 발행했었습니다. 그런데 사장님이 한 업체 세금계산서 발행을 누락하는 일이 벌어졌고 해당 세금계산서 발행 때문에 회계사무실하고 의논하시더군요. 뒤늦게 전자로 발행하면 상대방 거래처도 지연수취가산세가 있어 문제가 된다하니 회계사무실에서 종이계산서 발행을 알려주셨습니다. 종이로 하면 저희쪽만 법인이 종이계산서 발행한것에 대한 가산세를 물면 된다고요. 그래서 종이계산서를 발행하고 사장님께 인감도장 날인을 받아 해당 거래처에 보냈습니다. 그리고 그 종이계산서를 포함하고 회계사무실에서 불러주는 종이계산서 발행에 대한 벌금금액대로 입력하여 부가세신고를 하였습니다. 그런데 납부하기 전 사장님이 벌금 부분을 빼고 그냥 신고하라고 하셔서 그렇게 신고했고,회계사무실에도 말씀드렸습니다. 회계사무실에서 세무서에서 알게 되면 문제가 될 것이라 걱정하셨고 저도 걱정했으나 시킨일을 안할 수가 없어 벌금없이 부가세신고를 하였습니다. 지금 퇴사한 후에 세무서에서 해당 내용에 대해 가산세를 알려줬는데 사장님이 제 과실이라고 말하고 있는데 제가 가산세 포함하여 신고했던 내역이나 이런 자료가 없는데 제 과실로 인정되어버릴 수도 있나요? 현재 퇴직금을 못받아 노동부에 진정넣은 상태인데 이걸 빌미로 할 것 같아서 걱정입니다.