Леонид Борисович Коган родился 14 ноября 1924 года в городе Екатеринославе (сейчас – Днепр, Украина). С 6 лет учился игре на скрипке в Днепропетровском музыкальном училище.
В 1933 году семья переехала в Москву, и Леонид обучался в музыкальной школе при Московской консерватории. В 1948 году он окончил это учебное заведение (в 1953-м – аспирантуру). Еще в 1941 году он дебютировал с симфоническим оркестром Московской филармонии, а с 1944-го являлся её солистом.
Первый громкий успех в музыкальной карьере пришел к Леониду Когану в 1947 году, когда он стал лауреатом проходившего в Праге Всемирного фестиваля молодежи и студентов. В 1951 он получил первую премию конкурса королевы Елизаветы в Брюсселе. Эти победы принесли Леониду Когану международную известность. Он выступал в Париже, Лондоне, странах Южной Америки Греции, Италии и др. В 1957 году Коган дал концерт в нью-йоркском Карнеги-холле.
Конечно же, прославленный скрипач много выступал в Москве и Ленинграде. Совместно с филармоническими оркестрами исполнял произведения Моцарта, Баха, Вивальди. Сольно исполнял Генделя, Брамса, Франка и.т.д.
За виртуозную игру иностранная пресса прозвала Когана «советским Паганини». Символично, что когда в СССР решили снять биографический фильм о знаменитом итальянце, исполнить скрипичные партии пригласили именно Когана. Впрочем, он и сам нередко обращался к творчеству Паганини в своих выступлениях. Например, в 1949 исполнил все 24 каприса за один вечер, выступая в Малом зале Московской консерватории.
Параллельно с концертной деятельностью, Леонид Борисович с 1952 года занимался и преподаванием в Московской консерватории, с 1969 года стал заведующим кафедрой скрипки. Также он преподавал в Институте Кёртис (Филадельфия), на летних музыкальных курсах в Охриде (Югославия), в Ницце (Франция), Сиене (Италия) и др., был членом жюри ряда международных конкурсов.
За свою концертно-исполнительскую деятельность Коган был удостоен множества почетных званий и государственных наград. Заслуженный артист и Народный артист РСФСР, Народный артист СССР, лауреат Ленинской премии – Леонид Борисович был награжден орденами Ленина, Трудового Красного Знамени и медалями. В 1982 году он стал почетным членом расположенной в Риме академии Санта-Чечилия, в состав которой входят многие всемирно-известные композиторы и исполнители.
Дети Леонида Когана тоже посвятили себя музыке. Дочь Наталья стала пианисткой и неоднократно аккомпанировала отцу. Сын Павел тоже стал скрипачом и дирижером.
Леонид Борисович Коган скончался 17 декабря 1982 года от сердечного приступа по дороге из Москвы в Ярославль, где должен был выступать вместе с сыном. Похоронен на Новодевичьем кладбище столицы.