Как говорить "Нет"?

Мне всегда было сложно отказывать людям. Потом я более менее с этим справился, но в некоторых ситуациях всё равно иду на поводу. Ситуация. Я работаю в одной бригаде (3 человека) на одном объекте. Есть ещё одна бригада (з человека). К ним мы постоянно ходим поговорить, попить кофе-пиво. В самом коллективе я не уважаемый человек, достаточно часто меня подкалывают, и это расстраивает. То есть я для них никто, и они для меня никто, нам говорить не о чем, я просто присутствую и пью кофе, когда другие разговаривают и бухают. Теперь суть ситуации. В моей бригаде есть человек по имени Сергей. Меня он не уважает, но, надо отдать ему должное, не подкалывает меня. В другой бригаде есть Миша. Он тоже меня не трогает. Недавно я после работы пошёл в магазин. Сергей, Миша и пара человек пили пиво. Миша меня заметил и стал говорить, мол, купи пиво - вместе попьём. Я сразу понял что это развод (Миша мне кто-брат или сват?), и отказал.Я знал что откажу, и буду козлом, а не откажу, и буду лохом которого развели. На следующий день на работе мне начали втирать типа вот мол, зажал какую-то бутылку пива с пацанами попить. Вроде с улыбкой говорили, и в тоже время серьёзно. И вот вчера опять пришёл в магазин.Взял лимонад, вышел постоять. Стояли Сергей, Миша и пара человек. Я подошёл к ним и просто встал рядом, поприсутствовать. Миша неожиданно попросил у меня денег на пиво. В этот раз я не смог отказать, и взял 2 бутылки, постоял с ними и ушёл. И на следующий день меня стали уже подкалывать с намёком "лох которого развели". Сам Миша ничего не говорит, но я не удивлюсь, если за спиной он говорит тоже самое. Мне очень обидно стало, и, чёрт, я вообще постоянно об этой ситуации думаю и злюсь на самого себя. Дело то не в каком-то полтиннике. Обидно потому что попросили, я не отказал, а в ответ вот это! Я не отказал потому, что я работаю с этими людьми. Был бы незнакомый человек - послал бы. Да, они мне не друзья, и уважением я не пользуюсь. Но когда прихожу к ним, в чае-кофе-конфеты-печенья они мне не отказывают. И как я должен был поступить? Как вообще говорить "нет" в подобных случаях со знакомыми?