$$\cos a=\sqrt{1-\sin^2 a}=\sqrt{1-\frac{9}{25}}=\sqrt{\frac{16}{25}}=\frac{4}{5}.$$
Так как $$\sin b=\frac{8}{17}$$ и $$0<b<\frac{\pi}{2},$$ то угол $$b$$ лежит в I четверти, значит $$\cos b>0$$:
$$\cos b=\sqrt{1-\sin^2 b}=\sqrt{1-\frac{64}{289}}=\sqrt{\frac{225}{289}}=\frac{15}{17}.$$
Теперь используем формулы суммы и разности косинусов:
$$\cos(a+b)=\cos a\cos b-\sin a\sin b,$$
$$\cos(a-b)=\cos a\cos b+\sin a\sin b.$$
Вычислим:
$$\cos(a+b)=\frac{4}{5}\cdot\frac{15}{17}-\left(-\frac{3}{5}\right)\cdot\frac{8}{17} =\frac{60}{85}+\frac{24}{85} =\frac{84}{85}.$$
$$\cos(a-b)=\frac{4}{5}\cdot\frac{15}{17}+\left(-\frac{3}{5}\right)\cdot\frac{8}{17} =\frac{60}{85}-\frac{24}{85} =\frac{36}{85}.$$
Ответ
$$\cos(a+b)=\frac{84}{85},\qquad \cos(a-b)=\frac{36}{85}.$$