Olá!
Olha, tem um errinho na sua resolução. É o seguinte: quando vamos resolver uma equação do segundo grau, devemos sempre igualar à zero. Por outro lado, note que na igualdade do exercício, temos dois no lugar de zero. Assim, o para resolver, trabalhe com a seguinte igualdade:
.
Daí, vem que:
Bem, se não há erro em contas, terá que trabalhar no conjunto dos Números
Complexos.
Veja este site:
https://www.wolframalpha.com/input/?i=x^2-3x%2B5%3D0
Espero ter ajudado um pouco....