Pierwsza wojna światowa była dla społeczeństw Europy traumatycznym wydarzeniem. Na frontach Wielkiej Wojny poległo około ośmiu milionów żołnierzy. Wielu z nich zostało pochowanych w bezimiennych mogiłach. Na zachodzie Europy pojawiła się idea budowy Grobu Nieznanego Żołnierza jako wyraz hołdu i pamięci o tysiącach bezimiennych żołnierzy. Jej inicjatorem był Francuz Fryderyk Simon, którego trzej synowie polegli na wojnie. We Francji Grób Nieznanego Żołnierza umieszczono pod Łukiem Triumfalnym, w Wielkiej Brytanii prochy nieznanego żołnierza złożono w Opactwie Westminsterskim. W Polsce, która po 123 latach zaborów w 1918 r. odzyskała niepodległość również chciano w podobny sposób uczcić bezimiennych obrońców ojczyny. W grudniu 1923 r.,  z inicjatywy prezydenta RP Stanisława Wojciechowskiego, powołano Tymczasowy Komitet Budowy Pomnika Nieznanego Żołnierza. Zdecydowano,  że Grób Nieznanego Żołnierza zostanie umieszczony pod arkadami Pałacu Saskiego w Warszawie. W pałacu mieścił się wtedy Sztab Generalny Wojska Polskiego. W 1923 r. na placu przed pałacem ustawiono pomnik polskiego bohatera narodowego, poległego w Bitwie Narodów pod Lipskiem, księcia Józefa Poniatowskiego. W 1924 r. w drodze losowania wybrano jedno z piętnastu pobojowisk z okresu walk niepodległościowych w latach 1918-1921.  Okazał się nim na Lwów, o który w latach 1918-1919 walczono z Ukraińcami, a rok później odpierano pod miastem najazd bolszewicki. Z cmentarza orląt we Lwowie ekshumowano trzy trumny. 29 października 1925 r. Jadwiga Zarugiewiczowa, matka, której dwóch synów poległo na w walkach za ojczyznę, wybrała jedną z trzech trumien. Po uroczystości pożegnania nieznanego żołnierza we Lwowie, w  asyście wojskowej, specjalnym pociągiem zwłoki zostały przewiezione do Warszawy. W Dzień Zaduszny 2 listopada 1925 r., po mszy w warszawskiej katedrze, złożono trumnę z ciałem nieznanego żołnierza w kolumnadzie Pałacu Saskiego. Na płycie grobu umieszczono napis: „TU LEŻY ŻOŁNIERZ POLSKI POLEGŁY ZA OJCZYZNĘ”. W czasie II wojny światowej Pałac Saski został przez Niemców wysadzony. Ocalał tylko fragment kolumnady pod którą znajdował się grób. Po wyzwoleniu Warszawy w 1945 r. żołnierze Wojska Polskiego zaciągnęli ponownie wartę honorową przed grobem.