Podczas pierwszych lat panowania Zygmunt I Stary zajęty był wojną z Moskwą, wywołaną przez Litwę. W 1505 r. zmarł Iwan III i monarcha postanowił wykorzystać sytuację niepewności powstałą w momencie przejmowania władzy przez Wasyla III. Wojnę planowano jeszcze w otoczeniu Aleksandra Jagiellończyka i zamiary te zrealizował Zygmunt i. W kampanii 1508 r. po raz pierwszy wzięły udział zaciężne oddziały polskie pod dowództwem Mikołaja Firleja. Do konfliktu przyłączyli się także Tatarzy, którzy nad Morzem Czarnym utworzyli własne państwo - chanat krymski. Tatarzy zawierali na zmianę krótkotrwałe sojusze na przemian z każdą z walczących stron. Wojna trwała kilka lat i toczyła się ze zmiennym szczęściem. W 1514 r. wojska moskiewskie zajęły Smoleńsk, ale w tym samym roku zostały rozbite przez siły polsko-litewskie w bitwie pod Orszą. Żadna ze stron nie zdołała uzyskać decydującej przewagi, dlatego w 1522 r. zawarto rozejm na zasadzie utrzymania zdobyczy terytorialnych.