Aby równanie miało dwa różne rozwiązania powinno zachodzić

$\Delta >0$  

Stąd

${\left(-3m\right)}^2-4\cdot 1\cdot \left(2m^2+1\right)>0$  

$9m^2-8m^2-4>0$  

$m^2-4>0$  

$\left(m-2\right)\left(m+2\right)>0$  

Zatem

$\underline{m\in \left(-\infty ,-2\right)\cup \left(2,+\infty \right)}\left(\ast \right)$  

---

Oba rozwiązania równania mają być mniejsze od 3.

I Sposób. Zauważmy, że parabola będąca wykresem wyrażenia po lewej stronie równania ma ramiona skierowane do góry. Oznacza to, że aby rozwiązania były mniejsze niż 3 parabola powinna przecinać dwa razy oś na lewo od x=3. Stąd możemy przyjąć, że wierzchołek również powinien być na lewo od tego miejsca, czyli

$p<3$  

$\frac{-\left(-3m\right)}{2}<3$  

$\frac{3m}{2}<3\mid \cdot 2$  

$3m<6\mid :3$  

$\underline{m<2}$  

To zapewnia nas, że mniejszy z pierwiastków jest mniejszy niż 3. Aby drugi również był mniejszy prawe ramie paraboli powinno być już nad osią x za x=3. Jeśli przyjmiemy

$f\left(x\right)=x^2-3mx+2m^2+1$  

To stąd

$f\left(3\right)>0$  

$3^2-3m\cdot 3+2m^2+1>0$  

$9-9m+2m^2+1>0$  

$2m^2-9m+10>0$  

${\Delta }_m={\left(-9\right)}^2-4\cdot 2\cdot 10=81-81=1,\sqrt{{\Delta }_m}=1$  

$m=\frac{9-1}{4}=2\vee m=\frac{9+1}{4}=\frac{5}{2}$  

Zatem 

$\underline{m\in \left(-\infty ,2\right)\cup \left(\frac{5}{2},+\infty \right)}$  

Uwzględniając założenie ( * ) i oba warunki otrzymujemy

$\underline{\underline{m\in \left(-\infty ,-2\right)}}$  

---

II Sposób. Zapiszmy, że oba rozwiązania są mniejsze od 3, mamy

$x_1<3\wedge x_2<3$

$x_1-3<0\wedge x_2-3<0$   

Stąd

$\left(x_1-3\right)\left(x_2-3\right)>0\wedge x_1-3+x_2-3<0$  

$x_1{x}_2-3\left(x_1+x_2\right)+9>0\wedge x_1+x_2<6$  

Korzystając ze wzorów Viète’a na sumę i iloczyn pierwiastków otrzymujemy

$\frac{c}{a}-3\left(\frac{-b}{a}\right)+9>0\wedge \frac{-b}{a}<6$  

$2m^2+1-3\cdot 3m+9>0\wedge 3m<6$  

$\left(1\right)2m^2-9m+10>0\wedge \left(2\right)m<2$  

Wiemy już, że rozwiązaniem jednej nierówności (1) jest zbiór

$m\in \left(-\infty ,2\right)\cup \left(\frac{5}{2},+\infty \right)$  

oraz drugiej (2)

$m\in \left(-\infty ,2\right)$  

Stąd

$\underline{m\in \left(-\infty ,2\right)}$  

Uwzględniając założenie ( * )

$\underline{\underline{m\in \left(-\infty ,-2\right)}}$