Der Brief, in dem die kleine Sisi erstmals erwähnt wird, befindet sich in einem Konvolut, das im Staatsarchiv Sigmaringen, genauer gesagt im Hausarchiv des Hauses Hohenzollern-Sigmaringen, verwahrt wird. Der fragliche Brief stammt vom 28. Dezember 1838 und richtet sich an Carolines Nichte Louise von Baden, der ältesten Tochter ihres verstorbenen Bruders, des Großherzogs Karl von Baden.
In einem Postskriptum ihres auf französisch verfassten Briefes erwähnt die verwitwete bayerische Königin ihre Tochter und ihre Enkelin. In Übersetzung lautet dieser Absatz wie folgt: »Louise lässt Sie tausendmal grüßen, ihre dicke kleine Elise ist ein Jahr alt geworden und ist am Weihnachtsabend gelaufen, inmitten all der Menschen, die mein Appartement bevölkerten, mit einer Sicherheit, die allgemeines Staunen hervorrief.« Louise ist der in der Familie geläufige Namen für Herzogin Ludovika und »Elise« der Kosenamen der kleinen Elisabeth, der später erst durch »Sisi« ersetzt wurde.
Die Quellenlage zu Sisis früher Kindheit ist äußerst dürftig. Dokumentiert ist ihre Geburt am 24. Dezember 1837 durch den Bericht dreier Minister, die den Zuwachs im Hause Wittelsbach zu protokollieren hatten. Darüber hinaus existiert ein Eintrag im Taufbuch der Pfarrei »Zu unserer lieben Frau«. Danach sind keine weiteren Quellen bekannt, bis die kleine Herzogin im Oktober 1841 – kurz vor ihrem vierten Geburtstag – in einem Brief ihrer Taufpatin, der Königin Elisabeth von Preußen, auftaucht, die von ihrem Besuch auf Schloss Possenhofen berichtet und ihr Patenkind Elise als »dickes, appetitliches Ding, recht hübsch“ bezeichnet.
Durch den Quellenfund erfahren wir, dass Sisi ihren ersten Weihnachtsband – der gleichzeitig ihr erster Geburtstag war – bei ihrer Großmutter Caroline verbracht hat, die als Königinwitwe in der kalten Jahreszeit in der Maxburg in München residierte. Die Familie feierte dort anstatt im prunkvollen Herzog-Palais in der Ludwigstraße, wo Ludovika und ihre Kinder eigentlich zu Hause waren. Dies passt zu der Familiensituation in der herzoglichen Familie, denn die Ehe von Sisis Eltern war nicht glücklich. Ihr Vater, Herzog Max in Bayern, hatte keine enge Bindung zu Frau und Kindern, glänzte meist durch Abwesenheit und auch das Verhältnis zu seiner Schwiegermutter war angespannt. »Ich bin eine Null für ihn«, fasste Caroline die Beziehung zu ihrem Schwiegersohn zusammen.
Bemerkenswert ist auch, dass Sisi bereits an ihrem ersten Geburtstag in der Lage war, sicher auf zwei Beinen zu laufen. Als erwachsene Frau wird sie später einen Großteil ihrer Zeit mit sportlicher Betätigung ausfüllen. Die Kaiserin von Österreich entwickelte sich zu einer der besten Reiterinnen Europas. Als sie aus gesundheitlichen Gründen das Reiten aufgeben musste, wurde sie zu einer passionierten Fußgängerin, deren Bergtouren und Gewaltmärsche bei den begleitenden Hofdamen gefürchtet waren.