Родился в 1921 году в д. Дорофеево Судогодского уезда Владимирской губернии.
Призван в Красную Армию в 1940 году Судогодским РВК. Участвовал в Великой Отечественной войне с января 1944 года, служил в 32-м отдельном Томашовском Краснознамённом танковом полку 16-й гвардейской кавалерийской дивизии 7-го гвардейского кавалерийского корпуса. Полк был сформирован в 1942 году в г. Костерёво. К.К. Захаров принимал участие в боях на 1-м Белорусском фронте на территории Польши и Германии.
Награды: медаль «За отвагу» (28.04.1944, 02.08.1944), орден Отечественной войны II степени (08.02.1945, 06.04.1985), орден Красного Знамени (20.03.1945), орден Отечественной войны I степени (15.06.1945), медали «За победу над Германией в Великой Отечественной войне 1941-1945 гг.» (09.05.1945), «За взятие Берлина» (09.06.1945), «За боевые заслуги» (15.11.1950), орден Красной Звезды (30.12.1956), медаль «За освобождение Варшавы» (30.12.1956).
Из наградного листа командира взвода средних танков 32-го отдельного танкового Томашовского Краснознамённого полка 16-й гвардейской кавалерийской дивизии 7-го гвардейского кавалерийского корпуса младшего лейтенанта Захарова Константина Карповича от 11 мая 1945 года:
«Во время боевых действий полка при наступлении на Берлин с 16 апреля по 1 мая 1945 г. тов. Захаров показал образцы мужества и отваги. В бою 20апреля в районе Брунов, когда противник задержал продвижение кавалерии вперёд, тов. Захаров получил боевую задачу уничтожить противника и обеспечить продвижение кавалерии. Умело используя местность, несмотря на сильное огневое сопротивление противника и наличие танков, смело повёл танки взвода на врага и завязал бой. В результате боя уничтожен 1 танк, 1 бронетранспортёр и до 20 солдат противника, своих потерь взвод не имел, продвижение кавалерии было обеспечено.
В бою в районе Горлицпервым на танке ворвался в населённый пункт и обеспечил овладение им и дальнейшее продвижение вперёд.
В бою 26 апреля в районе Бранденбург смело вёл танки в бой и обеспечил форсирование кавалерией Зило-канал и занятие плацдармов на южном берегу Зило-канал.
В бою 27 апреля, когда противник два раза контратаковал наши части, пытаясь оттеснить с плацдарма, тов. Захаров, умело используя танки взвода, огнём с места отбил контратаки противника, чем сохранил плацдармы за нашими войсками.
В бою 29 апреля в районе г. Бранденбург, тов. Захаров первым вывел свой взвод на окраину города и овладел тюрьмой, где освобождено до 3000 политзаключённых разных национальностей.
За умелое руководство взводом в бою и проявленную личную храбрость и отвагу, достоин правительственной награды ордена Красное Знамя».
Приказом по 7-му гвардейскому кавалерийскому корпусу от 16 июня 1945 года К.К. Захаров награждён орденом Отечественной войны I степени.
Об эпизоде освобождения узников из тюрьмы Бранденбург-Гёрден29 (по другой версии – 27) апреля 1945 года пишет историк казачества Г.Л. Воскобойников:
«27 апреля к заместителю командира 16-й гвардейской кавдивизии полковнику Д.Т. Яценко обратился пожилой немец и сказал, что неподалеку находится тюрьма с политическими узниками, подготовленная к взрыву. Немец провел к тюрьме танкистов 32-го танкового полка кавдивизии. Передовой танк под командованием старшего лейтенанта К.К. Захарова с ходу врезался в ворота, за ним остальные танки. Саперы разминировали тюрьму. Около 3,5 тыс. узников-антифашистов из различных стран были освобождены. В числе узников тюрьмы находился Эрих Хонеккер, арестованный фашистами в декабре 1935 года, впоследствии один из руководителей Германской Демократической Республики, с 1971 года – Генеральный секретарь ЦК Социалистической Единой партии Германии».
В 1980 году К.К. Захаров входил в состав делегации, приглашённой Комитетом борцов антифашистского сопротивления в ГДР.
Крайний слева – командир взвода 32-го танкового полка, младший лейтенант Захаров Константин Карпович, в центре – старший лейтенант П.Н. Криковлюк, справа – старшина И.М. Королев на фоне танка, взломавшего ворота тюрьмы Бранденбург-Гёрден. Ратенов, май 1945 года.