一般首先由夫妻協商確定。這是因為，作為孩子的父母，夫妻雙方都應當從對孩子有利的角度出發，通過積極地協商和考慮，確定孩子的撫養權歸誰。
協商不成，如果需要訴訟法院，法院會進行如下判斷
（一）兩周歲以下的小孩
兩周歲以下的子女，一般隨母親生活。但母親有下列情形之一的，也可隨父親生活：一是母親患有久治不愈的傳染性疾病或其他嚴重疾病，子女不宜與其共同生活的；二是母親有撫養條件不盡撫養義務，而父親要求子女隨其生活的，并對子女健康成長沒有不利影響的；三是因其他原因，子女確無法隨母方生活的，如母親的經濟能力及生活環境對撫養子女明顯不利的，或母親的品行不端不利于子女成長的，或因違法犯罪被判服刑不可能撫養子女的等等。
（二）兩周歲以上的小孩
夫妻離婚后，對兩周歲以上的未成年子女，法院會根據“有利于孩子健康成長”原則作出判決，這主要是考察父母的經濟狀況、個人品德習性、受教育狀況等。總之，法院會把孩子的撫養權判給最有利于小孩健康成長的一方。
（三）小十周歲以上的小孩怎么判
父母雙方對十周歲以上的未成年子女隨父或隨母生活發生爭執的，應考慮該子女的意見。

您好，如果男方離婚后不支付未成年子女的撫養費，未成年子女可以向法院起訴要求對方支付撫養費。如果離婚時未對子女的撫養費作出約定，法院可根據當地收入水平、子女實際生活所需以及父母的收入水平來確定撫養費數額。如果離婚時已經約定撫養費，但所約定金額不足以維持子女正常生活開銷的，可以起訴增加撫養費。但需要注意的是，子女的贍養義務不以父母是否支付撫養費為條件。缺乏勞動能力或者生活困難的父母，可以要求成年子女支付撫養費。
【相關法條】
《民法典》第1067條：父母不履行撫養義務的，未成年子女或者不能獨立生活的成年子女，有要求父母給付撫養費的權利。
成年子女不履行贍養義務的，缺乏勞動能力或者生活困難的父母，有要求成年子女給付贍養費的權利。
《民法典婚姻家庭編解釋（一）》第41條：尚在校接受高中及其以下學歷教育，或者喪失、部分喪失勞動能力等非因主觀原因而無法維持正常生活的成年子女，可以認定為民法典第一千零六十七條規定的“不能獨立生活的成年子女”。
《民法典婚姻家庭編解釋（一）》第52條：父母雙方可以協議由一方直接撫養子女并由直接撫養方負擔子女全部撫養費。但是，直接撫養方的撫養能力明顯不能保障子女所需費用，影響子女健康成長的，人民法院不予支持。
《民法典婚姻家庭編解釋（一）》第58條：具有下列情形之一，子女要求有負擔能力的父或者母增加撫養費的，人民法院應予支持：
（一）原定撫養費數額不足以維持當地實際生活水平；
（二）因子女患病、上學，實際需要已超過原定數額；
（三）有其他正當理由應當增加。

可以要求要回十多年沒給的撫養費。首先，建議你和你的父親攜帶離婚協議與母親進行協商解決。如果協商未果，可以請求女方所在街道居委會或村委會協助調解。若居委會或村委會調解無效，那么你們可以持離婚協議和其他相關證件，前往女方戶籍所在地的法院提起訴訟。
根據相關法律規定，父母與子女之間的關系不會因父母離婚而消除。離婚后，子女依然屬于父母雙方的子女，父母雙方仍然擁有對子女的撫養和教育權利與義務。離婚后，未直接撫養子女的一方應當承擔必要的生活費和教育費用，費用的多少及期限長短由雙方協商確定，如協商不成，則由法院判決。
關于子女生活費和教育費的協議或判決，并不妨礙子女在必要時向父母任何一方提出超出原定數額的合理要求。如果遇到對方拒絕支付撫養費的情況，可以向居民委員會或村民委員會求助，或者直接向法院提起訴訟，法院將依法判決對方支付相應的扶養費、撫養費或贍養費。
總之，面對不履行撫養義務的情況，可以采取法律手段維護自身權益。希望你能夠積極面對，依法維權。