首先，我们需要知道灵活就业人员办理退休时需要提交个人档案。但是，具体去哪个部门调取档案呢？

根据相关规定，我们可以得知，灵活就业人员应先去社会保险管理部门调取个人档案。这是因为社会保险管理部门是负责管理灵活就业人员的部门，也是灵活就业人员缴纳社会保险的部门。

因此，在办理退休时，灵活就业人员需要先去社会保险管理部门调取个人档案，以便审核其社会保险缴纳情况。