В качестве основного вооружения на Т-62А использовалась 100-мм нарезная пушка 2А24. Для удаления стреляных гильз использовался специальный механизм заимствованный с танка «Объект 140». Наводка и стабилизация орудия производились с помощью стабилизатора «Комета». Механизм автоматически удалял гильзы через люк в корме башни. Возимый боекомплект составлял 43 выстрела: 16 выстрелов размещались в передних баках-стеллажах, 21 — в укладке около моторно-трансмиссионного отделения, 2 — в среднем баке-стеллаже, по одному выстрелу у левого и правого борта, ещё 2 по правому борту башни[6][1][5].
Дополнительно в Т-62А были установлены два 7,62-мм пулемёта СГМТ. Общий возимый боекомплект составлял 2500 патронов, в боевом отделении размещались 12 ручных гранат Ф-1, автомат АК с 300 патронами и сигнальный пистолет с 18 выстрелами