Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
Уравнение x^2 - 3x + 11 = 0 полное квадратное и решается через вычисления дискримината. D = b^2 - 4ac = (-3)^2 - 4 * 1 * 11 = 9 - 44 = -35. Мы получили отрицательный дискриминант, а значит уравнение не имеет действительных корней.