单位以原岗位撤消为由，调整我去新岗位工作，本人不愿服从，公司有权开除吗？

可以辞退。
如你所说，公司调整岗位符合法律规定（已经很人性化了），你应当服从。不服从公司可以辞退，但应当支付经济补偿金。
如果公司严格执行规章制度，你离岗如果是未经批准的，那是旷工，达到一定天数，公司可以以严重违反用人单位规章制度辞退，是不需要补偿的。
法律依据：

这些规定当然属于违法行为，如果付诸实施，有些甚至还可以涉嫌触犯刑律。
调整员工的工作岗位应当符合法律规定，如果调整原因不属于法定单方面可以变更合同的内容，合同双倍必须经过协商达成一致，否则强行变更合同调整工作岗位就没有法律依据：，单位因对方不同意调整工作岗位而将该员工解除的行为，就构成了违法解除劳动合同。
如果用人单位是生产经营需要的调岗，且调岗具有合理性，不存在侮辱或惩罚性质，工资待遇不降低，与劳动合同约定的岗位之间存在相关性，则调岗有效；你作为劳动者应该遵守。
当然，调整岗位的合理性需要用人单位举证；反之，用人单位是基于迫使劳动者离职而调整岗位，劳动者是可以拒绝的。用人单位以劳动者不服从安排为由解除劳动合同，就属于违法解除；你可以申请劳动仲裁要求支付赔偿金，工作1年支付2个月本人工资；
一般情况下，调岗不是用人单位的常规操作，用人单位仅在工作安排需要时会对劳动者进行调岗。
但某些特殊领域的用人单位，因其职业特殊性，需要定期对劳动者进行调岗。例如本案中的A银行，其规章制度中明确了部分职位的劳动者必须轮岗轮调。
前述特殊领域的用人单位如果把轮岗轮调作为一项常规操作在规章制度中进行规定的，劳动者应当遵守
如果劳动者认为轮岗轮调制度不合理，完全可以辞职。但本案中的陈某2000年即入职A银行，是A银行的老员工，在工作的8年期间，陈某多次在各支行间进行轮岗轮调，始终未提出过异议，应认定陈某不仅知晓A银行轮岗轮调的特殊规章制度，且愿意服从该项规章制度。
而最后一次轮岗时，陈某无正当理由拒绝服从轮岗安排，且通过消极怠工、扰乱工作场所秩序的方式来表达异议，显然违反了A银行的规章制度，A银行有权与其解除劳动合同。
第三十六条至第四十三条规定了解除劳动合同的情形。
在法律法规允许的范围内，用人单位拥有自主经营管理权，其为了生产经营的需要，通过公平合理的方式向劳动者提出合法合理的调岗，劳动者应该积极配合，否则公司可以依据法律法规解除双方的劳动合同。
本案中，甲公司为了生产经营的需要，将班车服务和日常用车外包并对自有车辆进行处置，撤销了本公司司机班部门，其原有驾驶员分别进行了转岗或协商一致解除了劳动合同。在这种情形下，甲公司与被告的原劳动合同已无法继续履行，
甲公司安排被告两种新的岗位选择，该安排既不违反合同约定，也不违反法律强制规定，更不具有惩罚或者胁迫性质，员工有义务服从。
原、被告双方协商多次仍就变更劳动合同的内容无法达成协议的情况下，甲公司同意向被告支付经济补偿金59113元，并额外支付一个月工资的代通知金2363元，解除与被告之间的劳动合同，同时征询了工会意见，得到了肯定答复，完全符合《劳动合同法》第四十条第三项“用人单位可以解除劳动合同”的法定情形。