Correct option is (C) \(|\vec a \times \vec b |^2\)
\([\vec a + \vec b \,\,\,\,\vec b\,\,\,\, \vec a \times \vec b]\)
\(= (\vec a + \vec b).(\vec b \times (\vec a \times \vec b))\)
\(= (\vec a + \vec b).((\vec b.\vec b)\vec a - (\vec b.\vec a)\vec b)\)
\(= (\vec b.\vec b).((\vec a + \vec b).\vec a)- (\vec b .\vec a)((\vec a + \vec b).\vec b)\)
\(= (\vec b.\vec b).(\vec a .\vec a + \vec b. \vec a)- (\vec b .\vec a)(\vec a .\vec b + \vec b.\vec b)\)
\(= (\vec b.\vec b)(\vec a .\vec a)+ (\vec b.\vec b)(\vec b . \vec a) - (\vec b . \vec a)(\vec a.\vec b)- (\vec b .\vec b) (\vec b .\vec a)\)
\(= |\vec b|^2 \,\,|\vec a|^2 - (\vec a. \vec b)^2 \) \((\because \vec a. \vec b = \vec b . \vec a)\)
\(= |\vec b|^2 \,\,|\vec a|^2 - (|\vec a| \,|\vec b|\,cos\theta)^2 \)
\( = |\vec a|^2 \,|\vec b|^2 - |\vec a|^2 \,|\vec b|^2 cos ^2 \theta\)
\(= |\vec a|^2 \,|\vec b|^2 (1 - cos^2\theta)\)
\(= |\vec a|^2\, |\vec b|^2 \, sin^2\theta\)
\(= (|\vec a| \,|\vec b|\, sin\theta )^2\)
= \(|\vec a \times \vec b |^2\)
