Яков Григорьевич Таубин выходец из бедной семьи. Учился в Одесском институте технологии зерна и муки (не закончил). В начале 30-х годов увлёкся идеей создания автоматического гранатомёта. В 1933 году для реализации своего замысла был направлен Главным военно-мобилизационным управлением на Ковровский инструментальный завод № 2. Позже группа специалистов во главе с Таубиным продолжила работу в Москве, где весной 1934 года было организовано самостоятельное конструкторское бюро — ОКБ-16 Наркомата вооружения, где в период с 1935 по 1938 гг. под руководством Таубина был разработан первый в мире пехотный автоматический гранатомёт.
Гранатомёт Таубина имел калибр 40,6 мм и использовал боеприпасы, созданные на базе штатной винтовочной гранаты системы М. Г. Дьяконова. Это оружие имело магазинное питание и допускало стрельбу одиночными выстрелами и очередями, прямым огнём или по навесной траектории. Первоначально гранатомёт устанавливлся на треножный станок, позднее на лёгкий пехотный колёсный станок по типу станка для пулемёта «Максим».
Идея автоматического гранатомёта нашла противников в лице начальника Артиллерийского управления РККА Кулика и некоторых других военных руководителей. В 1937—1938 гг. на сравнительных испытаниях миномётов и гранатомётов ротного звена гранатомёт Таубина был отвергнут, предпочтение было отдано 50-мм миномёту обр. 1938 г. конструкции Б. И. Шавырина, который и был принят на вооружение. В ноябре 1938 года были проведены морские испытания гранатомётной системы Таубина на бронекатере типа «Д» Днепровской военной флотилии. По их результатам управление вооружения ВМФ заказало в январе 1939 года небольшую серию, но вскоре отказалось от этого заказа. В ограниченных количествах гранатомёт Таубина довольно успешно применялся Красной Армией в зимней войне Финляндией, однако вскоре все работы по автоматическому гранатомёту были прекращены.
Кроме этого Таубиным совместно с ведущим конструктором ОКБ М. Н. Бабуриным были разработаны:
23-мм авиационная пушка МП-6 («мотор — пушка», она же ПТБ-23, «пушка Таубина-Бабурина», доработана впоследствии его преемником А. Э. Нудельманом);
23-мм пехотная противотанково-зенитная;
23-мм танковая ПТ-23ТБ («пушка танковая 23-мм системы Таубина-Бабурина»);
12,7-мм авиационный пулемет АН-12,7.
20 мая 1940 года «за успешное освоение новых образцов вооружения» был награждён орденом Ленина.
23-мм пушка и пулемет не были доведены до нужных характеристик в отпущенный КБ срок, что послужило одной из причин последовавших репрессий. 16 мая 1941 года Таубин с несколькими сотрудниками был арестован по обвинению в «участии в антисоветском заговоре», в «консервировании недоработанных образцов вооружения и в запуске в валовое производство технически несовершенных систем: 23-миллиметровой авиапушки, 12,7-мм пулемёта и других». 28 октября 1941 года расстрелян в посёлке Барбыш в Куйбышевской области. Реабилитирован 20 декабря 1955 года.