位于河西走廊东部、贴近汉朝的休屠王，以及位于河西走廊西部的浑邪王，两王又各自节制着二十多个部落。休屠王控制着狐奴水（今石羊河）流域，浑邪王则控制着弱水（今黑河-额济纳河）流域，两王各有部众约五万，可用之兵约一万骑。其他匈奴各部则盘踞于河西走廊各条河谷，部众多少各不相同。

右贤王北迁之后，对于休屠王和浑邪王控制力急速下降，伊稚斜单于则顺势将触手伸向河西，意图拉拢控制河西诸部，为此不惜将用于祭祀的祭天金人都交给了休屠王保管。

元狩二年（前121年）春，汉武帝任命霍去病为骠骑将军，命其率领一万骑兵西征。由于这是霍去病第一次独立领军出征，为了确保取胜，汉武帝下诏命霍去病入京面授机宜。

霍去病入京途中，在途径河东郡时，河东太守将霍去病迎到平阳侯国的传舍，然后又派人请来霍仲孺，在他的安排下，自幼便不知道生父是谁的霍去病，这才得以与父亲相认。由于身负皇命，霍去病虽然刚刚才与父亲相认，但也只能在替父亲购买了大量田产房屋和奴婢后匆匆离去，并与父亲约定，待自己凯旋之后再来相见。

在接受了汉武帝的言传身教后，霍去病率兵前往陇西郡，然后自陇西出发，沿狄道向北，顺着洮河进入黄河干流，再由此向东进发，来到黄河岸边。

为了攻打河西走廊，汉武帝早在一年前便派大行李息向东寻找适合大军渡过黄河的渡口，李息沿河一路寻找，最终在黄土高原西端，与青藏高原、内蒙古高原的交汇处，一片水流较为平缓的河谷地带（今兰州西固）停了下来。这里群山环绕、河流平缓，非常适合修筑渡口和军事要塞，李息选定地址后立即上奏汉武帝，汉武帝则从内地征调工匠、士兵，于此修建了一座大型军事要塞和军队渡口，这便是金城要塞。

霍去病率兵抵达金城要塞后，于此渡过黄河，然后再逆黄河西进数十里，接着又沿乌亭逆水（今庄浪河）北上，逐渐悄然接近河西走廊。

到了这里，摆在霍去病面前的有两条路，要么沿河谷一路转向西北，寻找低矮处翻越乌鞘岭，便可直入河西走廊，这条路虽然险峻，但却路程最短，且极为出其不意；要么在抵达乌鞘岭南麓后转向东北，绕过乌鞘岭后再转向西北，自东南方向进入河西走廊，这条路虽然不必翻山越岭，但不仅路途遥远，而且途中还要经过腾格里沙漠南部，更为要命的是，这个方向乃是河西匈奴防御汉军的重点区域，极容易引起匈奴各部的警觉。

极善于长途奔袭的霍去病，自然不会给匈奴人充足的准备时间，他毅然决然的选择了抄近道，打匈奴一个措手不及。

汉军一路沿河谷行进，在穿过乌亭逆水上游的一处山谷后，向北翻越乌鞘岭，便来到了狐奴水（今石羊河）支流松陕水（今古浪河）的源头，而游牧于松陕水流域的匈奴遫濮部，便不幸成为了霍去病进入河西走廊后的第一个打击对象。

翻越乌鞘岭之后，霍去病一面命大军沿河休整，一面派出大量侦骑搜寻附近的匈奴部落，不久便有侦骑回报，发现了仍忙于放牧的遫濮部。

霍去病二话不说，立即整军备战，率领如虎狼一般的汉军骑兵扑向了毫无准备的遫濮部。

遫濮部只是一个中等部落，部众总共也不过万余，虽然他们游牧的地区位于河西走廊东部，距离汉朝边境地区不远，但此地别说汉朝军队了，就连汉人都难得一见，他们哪里知道会有一支汉朝大军已经悄然杀到，立时便被打了个措手不及。

毫无准备的遫濮王面对杀气腾腾的汉军，仅一个照面便被汉军击溃，片刻之后整个部落便再无抵抗能力，遫濮王亦被汉军斩杀，部众四散而逃。

霍去病也不去管那些逃走的匈奴部众，对于那些投降的部众也都予以赦免，只是将遫濮