(a) -3
\((2\vec{a}-\vec{b}).\{(\vec{a}\times \vec{b})\times(\vec{a}+2\vec{b})\}\)
\((\vec{a}\times \vec{b})\times(\vec{a}+2\vec{b})\)
\(=(\vec{a}\times \vec{b})\times \vec{a}+2\,(\vec{a}\times\vec{b})\times\vec{b}\)
\(=(\vec{a}.\vec{a})\vec{b}-(\vec{b}.\vec{a})\vec{a}+2(\vec{a}.\vec{b})\vec{b}-(\vec{b}.\vec{b})\vec{a}\)
\(=|\vec{a}|^ 2\,\vec{b}-(\vec{a}.\vec{b})\vec{a}+2(\vec{a}.\vec{b})\vec{b}-|\vec{b}|^ 2\,\vec{a}\)
\(=\vec{b}-(\vec{a}.\vec{b})\vec{a}+2(\vec{a}.\vec{b})\vec{b}-\vec{a}\)
\((2\vec{a}-\vec{b}).\{\vec{b}-(\vec{a}.\vec{b})\vec{a}+2(\vec{a}.\vec{b})\vec{b}-\vec{a}\}\)
\(2\,\vec{a}.\vec{b}-2(\vec{a}.\vec{b})\,\vec{a}.\vec{a}+4(\vec{a}.\vec{b})(\vec{a}.\vec{b})-\vec{a}.(2\vec{a})\)
\(-\{\vec{b}.\vec{b}-(\vec{a}.\vec{b})(\vec{a}.\vec{b})+2(\vec{a}.\vec{b})(b.\vec{b})-\vec{a}.\vec{b}\}\)
Let
a - b = α
= 2α - 2α + 4α2 - 2 - (1 - α2 + 2α - α)
= 4α2 - 2 - (1 - α2 + α)
= 4α2 - 2 - 1 + α2 - x
= (5α2 - α - 3) = -3
\(\vec{a}.\vec{b}=\frac{2}{7}.\frac{3}{\sqrt{10}}-\frac{6}{7}\times \frac{1}{\sqrt{10}}\)
\(=\frac{6}{7\sqrt{10}}-\frac{6}{7\sqrt{10}}=0\)