아르바이트 손해배상

제가 3개월간 아르바이트를 하다가 그만두게됐습니다
개인 식업장이었고 이력서,보건증,근로계약서도 쓰지않았으며 어떠한 서류작성도 하지않았습니다.

어제 일이터졌는데요,
사장님께서 입고,재고표를 확인하시다가
입고에 아무것도없는데 몇일뒤 재고표엔 수량이 적혀있다 라는 이유로 저에게 손해를 끼쳤다며 물어내라고하십니다
저는 가져오신물건들을 깜빡하고 안적었을뿐
명백히 물건을 정리했고 팔았습니다.
입고표에 적지않았던 날엔(2/10)
저 말고도 한명의 새로운 알바생이있었고 또 한명의
베테랑 알바생이있어 총 세명이 일하던 날이였습니다.
사장님께서 가져오신 물건들을
베테랑알바생이 입고받아 사장님께 카톡으로만 입고정리를 보내놓았는데
표에는 안적어놓은걸 확인안했다는게 제 잘못이라네요
확인해보니 그런날이 종종있다면서
수량이 맞지않는거 물어내고 그만두라고하십니다.
이거 제가 다 물어드려야되는건가요?
매출표랑 재고표 다 따져보면 제가 가게에 손실낸것은 없을겁니다.
이런대화를하다가 저에게 말귀를못알아먹냐는말과
여러 상처가되는말을하셔서 당장 내일부터 일을못가겠다고
했는데 사회생활그딴식으로쳐말아먹냐며 또 심한말을 하십니다
끝에는 나오던말던알아서하고 지켜보겠다는 말과함께
전화를 끊으셨는데
제가 오늘 아르바이트를 안나가게되면
법적으로 뭐가 걸리나요?
위의 내용중에 법적으로 제가 처벌받는일이 있을까요?
힘든만큼 자세히 구체적으로 알려주셨으면 좋겠습니다