乐祁一到晋国，还未进晋国都城，赵氏家族的现任家主赵简子赵鞅就赶来跟他会见，并招待他喝酒。两人谈得很投机，乐祁把六十面杨木盾牌送给了赵鞅。这还不算，到了晋都新绛之后，乐祁没有住客馆，而是住进了赵鞅家里。

陈寅觉得很不妥，赵鞅是晋国的上军将，而晋国权势最大的是中军帅范鞅（范宣子士匄的儿子），乐祁代表宋景公到晋国来访问，理应先拜谒范鞅，送礼也应以范鞅为主，住宿最好是住在客馆里，不然也应住到范家去。现在乐祁这样做，等于是明摆着投靠了赵氏，这就得罪了范氏。

所以陈寅劝他的主人：“以前我们都是事奉范氏的，如今您却事奉了赵氏，还献了礼物，您这是用那些杨木盾牌来给自己买祸啊，现在事情已经不能挽回啦！不过，您死在晋国，您的子孙在宋国倒是会得志的。”

乐祁在来晋国之前就已经把后事都安排好了，显然已不把自己的生死放在心上了，他显然觉得范氏虽然貌似强大，但范鞅很贪婪，不得人心，在接下来的家族争斗中，范氏不会有好结局，而名声很好的赵氏前程应该是很远大的，投靠赵氏，尤其是因为投靠了赵氏而使自己遭祸的话，将来赵氏得势后肯定会对宋国另眼相看，对祁家也会全力支持，自己牺牲一条命，为国家和家族换得一个美好的未来，也值了。

乐祁的做法果然惹怒了范鞅，他对晋定公说：“乐祁因为国君的命令而越过别国出使我国，到了我国之后还没有正式向我国报告使命，就私下跟人喝酒了，这是不尊敬晋、宋两国的国君，不能不治他的罪！”

于是，乐祁被逮捕，并被囚禁起来。这一囚禁就是三年，赵鞅想要救他出来，对晋定公说：“现在诸侯中只有宋国还在事奉我国，我们很好地迎接他们的使者还怕他们不来呢，反而抓了他们的使者，我们这是自己在断绝与诸侯的关系啊！”

晋定公想想，扣押乐祁确实太不应该，决定释放乐祁。但范鞅不答应，来劝晋定公：“扣押了他三年了，无缘无故把他放回去，宋国一定会背叛晋国。”

但是，晋定公决心已定。

范鞅仍不甘心，私下来见乐祁，想把他儿子骗到晋国来坐牢，对他说：“寡君因为担心不能事奉宋君（言外之意是怕宋国背叛），所以留下了您。您如果要回国的话，姑且让您儿子溷来代替您。”