정당한 사유 없는 직무 변경

현 직장에서 운전직으로 5년째 근무 중입니다.
최근 사무직원이 퇴사할 예정이라 사무직원을 채용하고 있습니다.
그런데 지원자가 많지 않고 적합한 사람(대표자 마음에 드는 사람)이 없는 상황입니다.
사람이 잘 구해지지 않을 것 같자 대표자분께서  사무업무를 맡으라고 합니다.
채용공고때 운전직으로 모집을하였고 사무업무는 서류작성, 회계, 사대보험,  차량배차 관리 등 다방면의 업무를  해야
하기때문에 제가 감당할 수 없는 자리라 불가능 할 것 같다고 말씀드렸습니다. 
그리고 제가 사무직 업무를 맡으면 신규직원을 좀더 수월하게 뽑고자 사무직이 아닌 운전직으로 뽑으려고 합니다.
운전직 직원에게 강제로 사무 업무를 맡으라고하고 다시 운전직을 뽑는 것이 맞는 것인지 모르겠습니다.
근로계약서상에는 업무가 운전직이라고 명시되어 있지는 않고 포괄적으로ㅇㅇㅇ사업 업무를 한다고 되어 있습니다.
급여는 지자체에서 위탁받아 운영하는 사업이라 사무직으로 옮길 경우 예산 및 규정에따라 보존될지 깍일지 알 수 없는 상황
입니다
이런 경우  업무를 맡지 않겠다고 주장해도 괜찮은건지, 아니면 해고의 원인이 되는지 궁금합니다.
 그리고 제가 대처 할 수 있는 방법이 있다면 함께 알려 주시면 감사하겠습니다.