$\text{a)}$  

Rysunek pomocniczy:

$7^2=8^2+x^2-2\cdot 8\cdot x\cdot \cos {60}^{\circ }$  

$49=64+x^2-16x\cdot \frac{1}{2}$  

$49=64+x^2-8x\mid -49$  

$0=x^2-8x+15$  

$\Delta ={\left(-8\right)}^2-4\cdot 1\cdot 15=64-60=4$  

$x_1=\frac{8-2}{2}=\frac{6}{2}=3$  

$x_2=\frac{8+2}{2}=\frac{10}{2}=5$  

Zatem otrzymujemy:

$\left|AB\right|=3\text{lub}\left|AB\right|=5$  

---

$\text{b)}$  

Rysunek pomocniczy:

$5^2=8^2+x^2-2\cdot 8\cdot x\cdot \cos {45}^{\circ }$  

$25=64+x^2-16x\cdot \frac{\sqrt{2}}{2}$  

$25=64+x^2-8\sqrt{2}x\mid -25$  

$0=x^2-8\sqrt{2}x+39$  

$\Delta ={\left(-8\sqrt{2}\right)}^2-4\cdot 1\cdot 39=128-156<0$  

Zatem równanie na ma rozwiązań, czyli nie istnieje trójkąt ABC spełniający warunki zadania.