如何變更小孩探視權? - 手錶

我是一個單親媽媽，去年10月跟小孩的父親分手。由於小孩有讓他的父親認領。所以12月的時候去法院申請監護權變更。
在協調庭時，協議小孩監護權變更由我獨自監護，對方行使探視權可於每月的第2、4週週日早上9點至女方家中帶小孩出去至晚上9點。男方不付任何扶養費用給女方。(基本上是這樣)
現在已經過了1年了，對方來帶小孩的時候常常都很晚才到，約定是9點有時9點半到有時10點到，這件事我們雙方已經吵了很久，今天2月份時警方有來，警方也幫我們協調，最晚等到9點半。後來時間方面就幾乎在9點半前，但這次對方又9點50分才出現，然後說他們10幾分就到了，硬說我們是故意把小孩帶走的。還鬧到警察出現。
而且，這一年來，他從來都沒有提個小孩扶養費的部份，一直是我獨立扶養。
再者，這一年來，他帶小孩回去之後，一直是由他妹妹或弟弟代為照顧，他都說他有在小孩身邊陪他，但小孩剛開始回來的時候，都會大哭，說他爸爸說爸爸很累沒有時間陪他，爸爸要睡覺。
我認為他很不適合把小孩帶回去，因為剛開始不太會表達，所以我們都不瞭解小孩在那邊的情形，現在小孩表達能力變好了。他回來就會說「爸爸不在丫。是姑姑(叔叔)陪我玩，在叔叔家跟姊姊(叔叔的女兒)玩。」
既然不能陪小孩，也不照顧小孩，那為什麼讓他帶小孩回去?而且每次他帶小孩回來之後，小孩的脾氣就會變得很火爆，都要找人打架，甚至還跟老師頂嘴，有一次回來還罵髒話，問他為什麼會說那些，他說不知道那是什麼，只是爸爸跟叔叔都會說。
這樣的情形下，我想請問的是：
1.我可以去申請變更縮短他的探視時間或讓他不能帶小孩回去?勝算大嗎?
2.小孩的扶養費的問題，當初我跟他協議時，他說是我自己要小孩的就要自己負責養，所以他不會給我一毛錢。因為我當時很衝動就同意了!所以他就真的不需要負擔任何小孩的扶養費嗎?
3.如果他真的都沒有扶養過小孩，我可以去變更小孩的姓氏嗎?
請各位大大替我解答以上三個問題，如果有需要瞭解補充的。我會再補上。謝謝大家!!!
Update:
to芝柏錶：謝謝你的回答
但我們並沒有結婚，所以他不是我的前夫。
1.我對於對方來探視小孩從未有拒絕刁難，只是因為他每次都會延誤時間來接小孩或是送小孩回來的時間。所以我們對此很反感。也跟他溝通過，但他認為這沒有什麼大不了的。且他對小孩的教養態度一直都一副無所謂的樣子，所以才會想要去變更時間。
2.由於我們是沒有結婚的，可是他有認領，所以也適用民法第1116-2 條嗎?
3.我在其它的文章上有看到對於未婚的且單獨扶養子女好像還有另外規定(民法第1059-1條)但我對其內容不是很清楚。希望有人能具體一點的解釋。
Update 2:
改姓這件事不用跟他討論，他是不可能同意的。