Aby równanie miało dwa różne rozwiązania powinno zachodzić 

$\Delta >0$

Stąd

${\left(-3m\right)}^2-4\cdot 1\cdot \left(2m^2+1\right)>0$

$9m^2-8m^2-4>0$

$m^2-4>0$

Ze wzoru skróconego mnożenia na różnicę kwadratów wyrażeń, mamy

$\left(m-2\right)\left(m+2\right)>0$

Zatem

$\underline{m\in (-\infty ,-2)\cup (2,+\infty )}\left(\ast \right)$

Oba rozwiązania równania mają być mniejsze od $3$.

---

Zauważmy, że parabola będąca wykresem wyrażenia po lewej stronie nierówności ma ramiona skierowane do góry. Oznacza to, że aby rozwiązania były mniejsze niż $3$, parabola powinna przecinać dwa razy oś $OX$ na lewo od $x=3$ . Stąd możemy przyjąć, że wierzchołek również powinien być na lewo od tego miejsca, czyli

$p<3$

$\frac{-\left(-3m\right)}{2}<3$

$\frac{3m}{2}<3|\cdot 2$

$3m<6|:3$

$m<2$

$\underline{m\in (-\infty ,2)}$

To zapewnia nas, że mniejszy z pierwiastków jest mniejszy niż $3$. Aby drugi również był mniejszy prawe ramie paraboli powinno być już nad osią $x$ dla $x=3$. Jeśli przyjmiemy

$f\left(x\right)=x^2-3mx+2m^2+1$

To stąd

$f\left(3\right)>0$

$3^2-3m\cdot 3+2m^2+1>0$

$9-9m+2m^2+1>0$

$2m^2-9m+10>0$

Obliczmy

${\Delta }_m={\left(-9\right)}^2-4\cdot 2\cdot 10=81-80=1,\sqrt{{\Delta }_m}=1$

$m=\frac{9-1}{4}=2\text{lub}m=\frac{9+1}{4}=\frac{5}{2}$

Zatem 

$\underline{m\in (-\infty ,2)\cup \left(\frac{5}{2},+\infty \right)}$

---

Uwzględniając założenie $\left(\ast \right)$ i oba warunki, otrzymujemy

$\underline{\underline{m\in \left(-\infty ,2\right)}}$