कृष्णा नदी के दक्षिण छोर पर स्थित उंडावल्ली की गुफाएं, चट्टानों को काटकर की गई वास्तुकला का उत्कृष्ट उदहारण हैं। ये गुफाएं गुंटूर शहर से लगभग 13 मील पूर्वोत्तर की ओर तथा विजयवाड़ा से दक्षिण पश्चिम की ओर 6 किमी दूर हैं। चार मंजिला इन गुफाओं को बलुआ पत्थर के पहाड़ को काटकर बनाया गया है। चौथी-पांचवी शताब्दी में निर्मित इस गुफा का मुख्य आकर्षण दूसरी मंजिल पर बनी भगवान विष्णु की बड़ी प्रतिमा है जो केवल एक ग्रेनाइट पत्थर से बनी है। इसके अलावा यहाँ भगवान त्रिमूर्ति (ब्रह्मा-विष्णु-महेश) के प्रतिमाएं भी है।