Mamy dane równanie:

$x^2-2mx+m^2+m+1=0$  

To równanie ma dwa różne rozwiązania jeśli zachodzi warunek:

$\Delta >0$  

zatem:

$\Delta ={\left(-2m\right)}^2-4\cdot 1\cdot \left(m^2+m+1\right)=4m^2-4m^2-4m-4=-4m-4$  

więc:

$-4m-4>0$  

$-4\cdot \left(m+1\right)>0$  

$m+1<0$  

$m<-1$  

$m\in \left(-\infty ,-1\right)$  

---

Z wzorów Viete' a wiemy, że:

$x_1\cdot x_2=m^2+m+1$  

$x_1^2+x_2^2={\left(x_1+x_2\right)}^2-2x_1\cdot x_2={\left(2m\right)}^2-2\cdot \left(m^2+m+1\right)=4m^2-2m^2-2m-2=2m^2-2m-2$  

Sprawdźmy dla jakich wartości parametru m spełniony jest warunek:

$x_1\cdot x_2\le m+3\le x_1^2+x_2^2$  

zatem:

$1\text{)}{m}^2+m+1\le m+3$  

$m^2+1\le 3$  

$m^2-2\le 0$  

$\left(m-\sqrt{2}\right)\left(m+\sqrt{2}\right)\le 0$  

więc:

$m\in ⟨-\sqrt{2},\sqrt{2}⟩$  

$2\text{)}m+3\le 2m^2-2m-2$  

$2m^2-3m-5\ge 0$  

$\Delta ={\left(-3\right)}^2-4\cdot 2\cdot \left(-5\right)=9+40=49$  

$\sqrt{\Delta }=7$  

$m_1=\frac{3-7}{2\cdot 2}=\frac{-4}{4}=-1$  

$m_2=\frac{3+7}{2\cdot 2}=\frac{10}{4}$  

więc:

$m\in (-\infty ,-1⟩\cup ⟨\frac{10}{4},+\infty )$  

---

Zatem zbierając wszystkie warunki:

$m\in \left(-\infty ,-1\right)\cap ⟨-\sqrt{2},\sqrt{2}⟩\cap \left[(-\infty ,-1⟩\cup ⟨\frac{10}{4},+\infty )\right]$  

więc:

$m\in ⟨-\sqrt{2},-1)$