Bastian, è una situazione tristissima, mi dispiace.
Ho un famiglia un caso simile (non mia madre) ma ormai molto più avanzato.
L'istituto sarebbe migliore per certi versi, ma c'è immagino un trauma iniziale maggiore. La badante crea un trauma iniziale minore (rimanere in casa propria è importante) ma ha altri effetti collaterali: minore attenzione nella cura della persona, cresta sulle spese personali ecc.
Secondo me il parere più qualificato è quello del medico, se ha esperienza di questi casi, ma concretamente la scelta è tra una specifica badante e uno specifico istituto, cioè la qualità della badante, o dell'istituto, forse è più importante della scelta, in sé, tra badante e istituto.
Se opti per l'istituto, conviene tentare un ingresso graduale, con delle visite iniziali di poche ore, se possibile (ma non credo che sia possibile) anche dei soggiorni iniziali di uno solo pernotto o due, e aumentare gradualmente.
Si tratta comunque di una scelta drammatica, auguro a te e a tua madre di vivere la situazione nel modo meno traumatico possibile.