恐怕只能先起诉父亲，因为虽然双方都是法定监护人，但是是由父亲承担监护责任的。如有疑问，欢迎追问，如
有，你才是孩子的监护人
没有。父亲具有的是抚养权，但并未规定必须由父亲看管。
这是个人行为，没有责任，要说又责任看怎么对待孩子及父母。
