Овсей Наумович Штейнберг родился в Вильне в семье Менахима-Мендла Штейнберга. Окончил раввинское училище в Вильне. Был раввином в Белостоке и Вильне; старшим учителем еврейского и халдейского языков при Виленском раввинском училище. Позже — инспектор Виленского Еврейского учительского института, общественный раввин Вильны. Штейнберг был сторонником Хаскалы(светского образования) в России, его проповеди на иврите вызывали интерес в местных кружках евреев-маскилим. Штейнберг по образцу работ Вильгельма Гезениуса составил грамматику древнееврейского языка (Вильна, 1871) и «Еврейский и халдейский этимологический словарь к книгам Ветхого Завета» (т. 1-2, Вильна, 1878—1881). Овсей Наумович перевёл на русский язык Пятикнижие Моисеево (Вильна, 1899, 1901, 1902, 1903, 1912), Книгу Иисуса Навина (Вильна, 1902, 1914), Книгу Судей (Вильна, 1904, 1914), 1 и 2 книги Самуила (Вильна, 1904, 1913), и Книгу пророка Исаии (Вильна, 1875, 1906, 1911). Для своих переводов и комментариев Штейнберг пользовался сопоставлением масоретского текста с другими переводами: Септуагинта, Вульгата, самаритянский, Таргум Онкелоса, а также объяснениями Талмуда, Мидрашей и раввинской литературы, исследованиями современных для него ориенталистов и археологов. Переводы Штейнберга близки по языковой форме к русскому тексту Синодального перевода. Штейнберг принадлежал к евреям-талмудистам, по этой причине его перевод, значительно отличается от Синодального перевода особенно при изложении мессианских мест (например, Книга Бытия, главы 3, 15; 49, 10 и другие). Электронная еврейская энциклопедия отмечает: "Штейнберг — автор ряда литературных переводов еврейских поэтов. Успехом пользовался его перевод на немецкий язык поэмы М. И. Лебенсона «Ширей бат Цион» («Песни дочери Сиона»; 1859) и других произведений. Ревнитель чистоты языка, Осей Наумович Штейнберг писал на библейском иврите, отвергая его позднейшие изменения."