Здравствуйте, милая девушка! Ответила уже в клубе, но решила продублировать ответ и здесь — а вдруг кому-то поможет?

То, что вы рассказали, внешне выглядит, как серьезная проблема: жёсткий и где-то даже жестокий муж, несчастная девочка и её мама.
Но это только внешняя сторона.
Давайте попробуем разобраться в чём же, собственно, причина такого поведения вашего мужа.

Как говорят в народе, муж да жена — одна сатана. Откуда взялось это выражение? А всё дело в том, что случайности не случайны и нас друг другу Господь подбирает очень тщательно. То, какой муж внутри, такая у него жена снаружи. И наоборот: какая внутри жена, так снаружи проявляется муж.

Если не лезть в дебри, а просто отталкиваться от той информации, что вы дали, то у вас и вашей девочки очень серьёзные проблемы с душой. 
Девочка не от мужа. Значит, предыдущие отношения не задались. Почему? Вы с первым молодым человеком не смогли построить семью? Что послужило причиной разрыва? Он некрасиво себя повёл и вы не смогли его простить? Или было что-то другое? Проанализируйте предыдущие отношения. Понаблюдайте за своими реакциями на то, что говорил и делал ваш первый избранник, папа вашей дочери.

Второе. А почему дочь жила до 12 лет с бабушкой? Что побудило вас оставить своего ребёнка? Вы хотели построить личную жизнь, а дочерью это было сложно? Проанализируйте и эту строну вопроса.

Потому что пока выходит, что проблема в неверной расстановке приоритетов: благополучная судьба и отношения с мужем стоят на первом месте. Что у вас, что у вашей дочери. 
А когда такое происходит, то женщине будут помогать вернуться на путь истинный. И помощь придёт в виде мужа, который внешне разрушает то, что женщина больше всего хотела бы иметь и что ставит на первое место в своей системе ценностей.
Именно поэтому ваш муж так себя ведёт по отношению к вам обеим.

Что делать?
Конечно, можно уйти. Это самое простое. Но вот вопрос: а что дальше? Поможет ли это решить ваши внутренние проблемы? Сомневаюсь. Если причина не будет устранена, то изменение вашего местоположения  в пространстве никак не повлияет на ситуацию. Вы столкнётесь с теми же проблемами, но уже с другим человеком, если опять захотите попытать счастья и выстроить личную жизнь с очередного чистого листа... 
Да, развод это ввход. Но это крайняя мера. Как хирургическое вмешательство. Как ампутация. Но ведь люди, почему-то, не хотят оставаться без рук и ног и всячески пытаются их сохранить. Но и ампутация не всегда помогает. Сколько случаев, когда человеку отнимают одну ногу, потом другую, а потом он всё равно уходит.
Так и здесь. 
Нужно искать причину. И искать её  в себе. И менять своё  отношение к себе и мужу.  

Как это сделать? Я бы начала с себя. Перестала бы себя жалеть и видеть в себе жертву. Быть жертвой очень хочется, когда мужчина ведёт себя жестко. А с мужем я бы действовала так: в те моменты, когда он ведет себя непотребным образом, изо всех сил пытайтесь увидеть за ним Создателя. Это не муж так себя ведёт, а Господь в его облике пришёл к вам и протягивает руку помощи! Методика «клин клином». Это Отец наш небесный помогает своей любимой дочери! Он любит вас! Разве любящий родитель сделает что-то, что навредит чаду его? Нет, конечно же! Значит, любая ситуация преисполнена Любви Господа к вам. Он знает на что вы способны и испытаний не по силам не даёт!  Помните об этом всегда! Внутри нужно принять помощь Отца, а снаружи аккуратно дать отпор, выставить границы. И желательно с юмором. Смех очень хорошо разрушает агрессию. Вспомните Пеппи Длинный чулок! Вот идеальный пример человека, разрешающего с любовью конфликтные ситуации.
Дальше.
Не знаю ваших отношений, но я бы всегда подмечала у мужа хорошие качества. Всегда говорила бы ему об этом. Не спорила бы с ним.
В те моменты, когда он наскакивает на дочь, я бы попробовала останавливать его и направлять, как Шура в фильме «Мачеха». Очень хороший фильм, кстати. Мудрый. Посмотрите его при случае.
Но все эти действия должны базироваться на вашей внутренней работе по переосмыслению того, что именно является главным, а что второстепенным.

Что сделать для этого? Как начать?
Проанализируйте ваше поведение, мысли, чувства, все ваши реакции в отношениях с отцом девочки. Это очень важно. Потому что мать передаёт неверное мировоззрение своим детям. «Родители кислый виноград едят, а у детей оскомина».
А для того, чтобы понять масштаб бедствия, посмотрите на своих родителей. Как они относятся друг к другу? Какова их судьба? Какое у них мировоззрение?
Мы не знаем, что у нас внутри. Не ведаем, какие законы нарушались нами в прошлых жизнях и нашими родителями. Но там, в книге судеб, всё учтено и записано. И по нашему характеру нам дают близких людей.
Господь смотрит в душу человека, на его потенциал к изменению и даёт помощь либо щадящем режиме, но растянутую во времени, если у человека возможности на минимуме, либо максимально эффективное средство для продуктивных изменений в сжатые сроки.
Судя по тому, что вы описали, ваши шансы на изменения весьма высоки. Господь призрел вас, знает, что вы способны вытащить не только себя, но и детей и изо всех сил старается вам помочь. Поэтому вам дают самое болезненное очищение, но самое результативное — боль от близкого человека. Просто помните всегда, что Создатель во всём — и в муже, и в дочери, и в сыне, и в бабушках-дедушках, и в вас. Помните об этом, помните, что это помощь и увидите, как постепенно мир вокруг вас преобразится! Верю, что вы справитесь! И муж изменится! И ваши отношения станут совершенно другими!