我父亲在我很小的时候就抛弃了母亲和我，还有弟弟妹妹，带着别的女人出走了？

从你的描述中可以看出，你是一个有责任感且孝顺的人。

孝顺长辈是自己心里的事情，是不以别人的态度或看法或传言而动摇或转移的，所以你该孝顺爷爷的事情还是继续尽你的孝心去做吧！

至于叔叔等人或者别人的看法，甚至爷爷的看法，不要太往心里去。由于你父亲的原因，他们和你生疏些是在所难免的。但毕竟血浓于水，“砸断骨头还连着筋”。当真的有事发生的时候，还是亲戚间会真的帮忙。