Ich würde es genauso machen wie du es geschrieben hast. Geh auf Abstand und übergebe die Betreuung an einen Berufsbetreuer.
Du bist deiner Mutter gegenüber zu nichts verpflichtet. Und du hast vollkommen recht wenn du sagst, dass du an deine Kinder denken musst.