お断りしていいでしょうし、私もおなじ立場なら断ります。
やぼ用でとか仕事が忙しくてと言う口実です。
まあ電報程度しか出さないかもしれませんが、ご祝儀を送る気持ちがあれば、ご祝儀を送ってもいいですよ。
多分お呼ばれしたから、そのお返しにと言う義務みたいな感じでご招待したのかもしれませんが・・・・。
===補足===
私用の用事でもいいじゃないですか、何か理由をつけて、ゴメンねでいいですよ。
同じ会社の同じ部署にいる訳ではなし、同じ部署にいたとしても、用事があるので済んじゃいますし、済ませます。
それでどうして出てくれないのと言ってグズグズ言う方が、ヤボなんです。
多分グズグズ言ってはこないと思うし、お返しの義務で呼ばれても、女性は出費が1万円以内で終わる訳がないので、気がのらないのなら、ごめんなさいしてしまってもこの場合は許されますよ。