Manche werden es jetzt vielleicht für unmoralisch halten, aber rede doch mal ganz normal (freundschaftlich) mit dem Kollegen, sag ihm doch einfach ganz normal, dass du (zeitweise) das Gefühl hast, dass da da deinerseits mehr ist.
Entweder wird er sagen, meinerseits ist gar nichts, damit wäre das "Problem" ja eigentlich erledigt, oder ihr tretet in irgendeiner Weise in Dialog und die Zeit wird zeigen, ob was (mehr) draus wird oder nicht.

Die "festen moralischen Schranken" machen doch Leute nur krank.