Boa tarde Luciano!
Meu caro Luciano, você
não pode "cortar" o r² devido serem dois termos dentro da raiz.
Quanto a segunda dúvida -->


Aí que está sua dúvida -->
Lembra que o m não pode ficar negativo?Para o m não ficar negativo, devemos multiplicar a expressão por (-1).. quando uma expressão é multiplicada por (-1), invertem-se todos os sinais. Daí, o resultado correto é:

.
Comente qualquer dúvida
Não deixe de participar do Fórum, ok?
Ótimo final de semana
Até mais.