Деятельность Котина в области военной техники началась сразу после окончания в 1932 г. Военно-технической академии имени Ф.Э.Дзержинского. До Академии, куда он был направлен в 1930 г., Жозеф Яковлевич учился в Харьковском политехническом институте.

В период 1932-1937 гг. Ж.Я. Котин работал в составе научно-исследовательского отдела Военной академии механизации и моторизации РККА, являлся начальником проектно-конструкторского сектора, а затем начальником отделения. Весной 1937 г. Котин получил назначение на должность начальника СКБ-2 Ленинградского Кировского завода. К тому времени Кировский завод серийно изготавливал средние танки Т-28. Это были достаточно сложные и совершенные, по состоянию на середину 30-х годов, боевые машины. Приход Ж.Я.Котина в КБ завода несколько изменил направленность работы бюро. Были выполнены поверочные расчеты конструкции танка Т-28, позволившие повысить его надежность и улучшить некоторые характеристики. Одновременно бюро нацеливалось на перспективное проектирование танков в соответствии с задачами, выдвинутыми на первый план в связи с появлением новых, более эффективных средств поражения. Бои в Испании, а затем военные конфликты с Японией в районе озера Хасан и на реке Халхин-Гол подтвердили необходимость значительного повышения уровня броневой защиты современных танков, пересмотра концепции танкостроения первой половины 30-х годов.
Талантливые молодые конструкторы, выдвинутые Котиным на ключевые посты в бюро, занялись разработкой принципиально новых узлов, начали осуществлять расчеты танковых конструкций. Уже в 1937 г. на заводе была начата работа по созданию одного из первых в мировой практике тяжелых танков с противоснарядным бронированием. В августе 1938 г. Комитет Обороны СССР принял постановление о системе танкового вооружения Красной Армии. Заводам промышленности было дано задание к июлю 1939 г. создать образцы новых танков.
В 1938 г. на Кировском заводе интенсивно разрабатывался проект тяжелого танка прорыва массой 55 т., с установкой одной 76-мм и двух 45-мм пушек в трех башнях. В конце года макет и чертежи танка, названного СМК (Сергей Миронович Киров), рассматривались членами правительства. Было дано указание снять одну башню и за счет сэкономленной массы дополнительно усилить броневую защиту танка. К тому времени в СКБ-2 в дополнение к танку СМК разрабатывался проект однобашенного танка, названного KB (Клим Ворошилов). Повышению технического уровня танков способствовала разработка экспериментальных узлов и систем, таких как индивидуальная торсионная подвеска, опорные катки с внутренней амортизацией, планетарный бортредуктор и др. Работы под общим руководством Ж.Я.Котина выполняли группы конструкторов, где ведущими по машинам были А.С.Ермолаев (по СМК) и Н.Л.Духов (по KB). Причем первую компоновку однобашенного танка в рамках дипломного проекта выполняли слушатели Военной академии. Первый образец танка KB был изготовлен в сентябре 1939 г. и вместе с СМК и рядом других машин отправлен на Карельский перешеек для участия в прорыве линии Маннергейма. Толстобронные танки показали в этой операции неоспоримые преимущества, причем танк KB, снабженный новым дизельным двигателем типа В-2, оказался более подвижным и менее уязвимым, чем танк СМК.
19 декабря 1939 г. тяжелый танк KB, как и новый средний танк Т-34, был принят решением правительства на вооружение Красной Армии. Серийное производство KB было начато вместо танка Т-28. Вместе с тем, в боях на линии Маннергейма выявилась настоятельная необходимость применения еще более мощного орудия, чем 76-мм танковая пушка Л-II танка КВ. Поэтому для подавления вражеских дотов в начале 1940 г. была срочно разработана уста-новка 152-мм гаубицы M-10 в башне увеличенного размера. Четыре образца нового танка КВ-2 в начале 1940 г. были изготовлены и проверены на завершающем этапе боев. Они показали высокую боевую эффективность и полную неуязвимость от огня противотанковой артиллерии противника.
СКБ-2, продолжая под руководством Котина работу по совершенствованию тяжелого танка, разработало в 1940 г. еще более мощный танк – изделие 220. На нем была установлена 85-мм танковая пушка, применена планетарная трансмиссия. В 1940-1941 гг. в СКБ-2 разрабатывался вариант легкого танка с противоснарядным бронированием Т-50. К этому периоду относятся работы в области создания литых башен, выполненные на Ижорском заводе. Были развернуты работы и по созданию других тяжелых танков и самоходных артиллерийских установок: танка КВ-3, САУ с 152-мм пушкой Бр-2 и др. Однако до начала войны эти работы завершены не были. Довоенный период деятельности Котина в целом можно охарактеризовать как направленный на становление советского тяжелого танкостроения, намного опередившего эту область производства как в фашистской Германии, так и в странах-союзниках по антигитлеровской коалиции времен второй мировой войны. За создание и освоение производства тяжелых танков Ж.Я.Котину в 1941 г., было присвоено звание Героя Социалистического Труда и присуждена Государственная премия.
Началась Великая Отечественная война. Уже 24-25 июня 1941 г. Политбюро ЦК ВКП(б) приняло ряд мер, направленных на расширение выпуска танков. Государственный Комитет Обороны постановлением №1 от 1 июля 1941 г. принял решительные меры по налаживанию выпуска танков, и в первую очередь KB и Т-34. Однако в условиях начавшейся блокады Ленинграда снабжение производства тяжелых танков необходимыми материалами, и в первую очередь металлом, было нарушено. В это время Жозеф Яковлевич в ранге главного конструктора наркомата и заместителя наркома танковой промышленности занимался налаживанием производства танков на Урале. Туда в октябре 1941 г. была эвакуирована значительная группа конструкторов из Ленинграда. Основной базой производства тяжелых танков в стране становился ЧТЗ, который с октября 1941 г. именовался «Челябинский Кировский завод». Кроме работы по совершенствованию тяжелого танка, возникли неотложные задачи по упрощению его конструкции, снижению трудоемкости, поиску заменителей дефицитных материалов. Одновременно надо было обеспечивать повышение надежности серийного танка и вести поисковые, перспективные разработки.
В конце 1941 г. – 1942 г. были изготовлены новые образцы танка с установкой нескольких орудий в невращающейся башне (КВ-7), в башне ставились огнеметное вооружение (КВ-8) и гаубица калибра 122 мм (КВ-9). На серийный танк KB была поставлена более мощная пушка 76-мм калибра ЗИС-5, литая башня, на лобовые листы корпуса наваривалась дополнительная броня. Весной 1942 г. началась разработка нового танка KB-13, который, будучи выполненным в массе среднего (порядка 30 т.), должен был обладать свойствами тяжелого.
Для повышения надежности танка KB к середине 1942 г. в него было внесено много изменений. С сентября облегченный танк КВ-1C был запущен в серийное производство. Во второй половине 1942 г. на ЧКЗ было развернуто проектирование перспективного тяжелого танка ИС (Иосиф Сталин) с повышенными параметрами по сравнению с опытным танком KB-13, предполагалась установка новой более мощной танковой пушки. В конце октября Ж.Я.Котину было поручено организовать проектирование самоходной установки, предназначенной для сопровождения и огневой поддержки средних танков Т-34. Для этой цели в КБ завода Уралмаш была образована группа конструкторов, которая совместно с конструкторами-артиллеристами под руководством Ф.Ф.Петрова на базе Т-34 осуществила разработку конструкции самоходной установки с 122-мм гаубицей М-30, получившей индекс СУ-122. Ее производство началось в конце 1942 г. на том же заводе.
Вслед за СУ-122 было принято решение о проектировании тяжелой САУ с 152-мм мощным орудием (первоначально обозначалась машина KB-14). Работа выполнялась в исключительно сжатые сроки. Рабочее проектирование началось 3 января 1943 г., а 25 января первый образец САУ был собран. В ней использовалось шасси КB-1C, в рубку была поставлена мощная корпусная пушка-гаубица MЛ-20, приспособленная для артсамохода конструкторами под руководством Ф.Ф.Петрова. СУ-152 сыграла значительную роль в уничтожении немецких танков «Тигр», «Пантера» и САУ «Фердинанд», примененных в крупном масштабе в боях 1943 г. За эту работу Ж.Я.Котину вместе с С.Н.Махониным, Л.С.Трояновым, Ф.Ф.Петровым и С.П.Гуренко постановлением СНК СССР от 22 марта 1943 г. была присуждена Государственная премия.
Бои на советско-германском фронте летом 1943 г. выявили необходимость дальнейшего повышения параметров тяжелых танков. В этой обстановке было принято решение запустить в производство на ЧКЗ вместо танка KB-1C его модификацию КВ-85 с мощной пушкой Д-5 конструкции Ф.Ф.Петрова. В конце лета 1943 г. Ж.Я.Котин становится главным конструктором и начальником опытного завода №100, а главным конструктором ЧКЗ – H.Л.Духов. С этого времени работа конструкторов завода №100 под руководством Котина была направлена исключительно на создание перспективных тяжелых машин. Вслед за танком ИС были разработаны и поставлены на производство на ЧКЗ в конце 1943 г. артсамоход ИСУ-152 (вместо СУ-152) и танк ИС-2 с мощной 122-мм пушкой Д-25 конструкции Ф.Ф.Петрова. За разработку нового образца тяжелого танка постановлением СНК СССР от 26 января 1946 г. Ж.Я.Котину, а также Н.Ф.Шашмурину, Г.Н.Рыбину, Н.Г.Каструлину и др. была присуждена Государственная премия. Далее велись работы по созданию танков ИС-3, ИС-6, ИС-7, мощных артсамоходов ИСУ-122, ИСУ-122-2, ИСУ-152-1, ИСУ-130, ИСУ-122БМ и др.
Машины, разработанные в годы Великой Отечественной войны и в первый послевоенный период на Кировском и на опытном заводе, руководимом генерал-майором, а затем генераллейтенантом инженерно-танковой службы Ж.Я.Котиным, воплощали в себе много оригинальных идей и конструктивных решений. К их числу можно отнести планетарные трансмиссии и новые типы механизмов поворота, амортизаторы, встроенные в балансиры ходовой части, эжекционную систему охлаждения, механизм досылания снаряда и заряда, пучковые торсионы и ряд других узлов и устройств. Была, в частности, предпринята попытка создать электрическую трансмиссию для тяжелого танка (изделие 253).
В тяжелые годы войны со стороны Ж.Я.Котина особенно ярко проявились наряду с высоким чувством ответственности и долга, требовательностью и строгостью, такие черты, как чуткое отношение к сотрудникам, стремление максимально облегчить тяготы военного быта, поддержать моральный дух и физические силы сотрудников.
Привычной, специфической особенностью работы коллектива КБ, возглавляемого Котиным, было высокое напряжение сил всех сотрудников – конструкторов, расчетчиков, исследователей и испытателей. Центральной фигурой при решении поставленных задач Котин считал конструктора. При решении особо сложных вопросов задания давались параллельно двумтрем исполнителям. В случае неудач Жозеф Яковлевич всегда старался морально поддержать конструктора. При решении принципиально новых вопросов каждый конструктор, независимо от выполняемой в КБ работы, мог вносить свои идеи и предложения.
В деятельности Ж.Я.Котина просматривается предпочтительное отношение к отдельным видам техники, в частности – к тяжелым танкам, стремление максимально насытить эти машины новыми конструктивными решениями. Когда приказом по Минтрансмашу от 19 марта 1949 г. Ж.Я.Котина назначили директором вновь образованного Всесоюзного научно-исследовательского института (ВНИИ-100) его деятельность осталась попрежнему нацелена в первую очередь на конструирование новых танков. Научно-исследовательской работе, направленной на решение общеотраслевых задач, в институте отводилось второстепенное место. В 1951 г. ВНИИ-100 был освобожден от конструирования серийных образцов и конструкторского обеспечения производства завода. В связи с этим Ж.Я.Котин сосредоточил свою деятельность на руководстве ОКБТ выделившемся из состава института. Работа по созданию новых танков T-10 и ПТ-76 и БТР-50П была завершена. В дальнейшем под его руководством были разработаны мощные ракетные и артиллерийские установки.
Наряду с работами в области военных гусеничных машин Котин в первые послевоенные годы возглавил работу по созданию трелевочного трактора KT-12, а в начале 60-х годов – колесного трактора большой мощности «Кировец».
Отличительной чертой деятельности Ж.Я.Котина на посту главного конструктора завода, а в период с 1968 по 1972 гг. – заместителя министра, являлся постоянный творческий поиск, стремление увидеть новое, перспективное даже там, где оно в явной форме еще не просматривается. Это относилось и к применению ГТД, разработке систем стабилизации, управления УРС и к ряду других работ.
Жозефу Яковлевичу Котину были присвоены ученые степени и звания доктора технических наук, профессора, Заслуженного деятеля науки и техники РСФСР, он возглавлял в течение нескольких лет кафедру в Ленинградском политехническом институте. С 1965 г. он носил воинское звание генерал-полковника-инженера. Был четырежды удостоен звания Лауреата государственной премии СССР, награжден шестнадцатью орденами и многими медалями СССР.
Ж.Я.Котин много сил отдавал государственной, партийной и общественно-политической деятельности. Он дважды избирался депутатом Верховного Совета СССР.
 Жозеф Яковлевич обладал энергичным и общительным характером, пользовался большим уважением и авторитетом подчиненных. Он воспитал большой коллектив специалистов высокой квалификации. Из сподвижников Ж.Я.Котина вышла значительная плеяда крупных деятелей отрасли, таких как Г.С.Ефимов, П.А.Ефимов, П.П.Исаков, Н.С.Попов, Н.М.Синев, В.С.Старовойтов. В памяти всех, кто соприкасался с Ж.Я.Котиным, он оставил глубокий след как талантливый инженер, крупный организатор промышленности.