要回孩子监护权的方式有在监护人怠于履行监护职责,或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人,导致被监护人处于危困状态等情形时,可以向人民法院申请撤销其监护人资格。此时法院会按照最有利于被监护人的原则依法指定监护人。法律依据:《民法典》第三十六条监护人有下列情形之一的,人民法院根据有关个人或者组织的申请,撤销其监护人资格,安排必要的临时监护措施,并按照最有利于被监护人的原则依法指定监护人:(一)实施严重损害被监护人身心健康的行为;(二)怠于履行监护职责,或者无法履行监护职责且拒绝将监护职责部分或者全部委托给他人,导致被监护人处于危困状态;(三)实施严重侵害被监护人合法权益的其他行为。《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释(一)》第六十二条无民事行为能力人的配偶有民法典第三十六条第一款规定行为,其他有监护资格的人可以要求撤销其监护资格,并依法指定新的监护人;变更后的监护人代理无民事行为能力一方提起离婚诉讼的,人民法院应予受理。