根据诗句中的意境和描述，可以推断出被惊扰的人是居住在穿堂内的人。 穿堂指的是两个房间之间的过道，而琵琶声则是一种乐器的声音。 由于琵琶声突然闯入穿堂，跟穿堂内的人造成了冲突和惊扰。 因此，可以说穿堂内的人是感受到了琵琶声的影响，并且应该是受到了惊扰的一方。