一年前媒人给我弟弟说了个对象订了婚,我弟弟在外地上班不在家,订完婚我弟弟就上外地上班了,他们俩个就电话联系,我弟弟每次给她打电话的时候她都说忙,话说不到两句就吵架,俩个人一点感情都没有,我们就想退婚,让女方返回彩礼钱,可女方的妈说退婚是你们说的,说我们连一个枣胡都拿不到,一分都不会退我们,我们能去告他们吗