a)

Obliczmy, na ile sposobów możemy ustawić 6 książek tak, aby książki A i B nie stały obok siebie:

1. Zauważmy, że 6 książek możemy postawić ustawić na 6! sposobów.

2. Odrzucamy przypadki, w których książki A i B stoją obok siebie (na 5 sposób możemy wybrać miejsca książek A i B jeśli te będą stały obok siebie przy czym książki te możemy zamieniać "między sobą" miejscami oraz pozostałe 4 książki przy wybranych miejscach dla A i B możemy ustawić na 4! sposobów)

Wobec tego od wszystkich możliwych ustawień 6 książek odejmujemy liczbę ustawień w których książki A i B stoją obok siebie i dostajemy liczbę sposobów ustawień książek spełniających warunki zadania:

$6!-5\cdot 2\cdot 4!=720-240=480$  

---

b) 

Obliczmy, na ile sposobów możemy ustawić te 6 książek tak aby między książkami A i B stały dwie inne książki:

(na 3 sposoby możemy wybrać ustalone miejsca książek A i B jeśli między nimi będą stały dwie inne książki, przy czym książki te możemy zamieniać "między sobą" miejscami oraz pozostałe 4 książki przy wybranych miejscach dla A i B możemy ustawić na 4! sposobów)

$3\cdot 2\cdot 4!=6\cdot 24=144$