El santuario de Brotas se conecta, según la leyenda, a un milagro ocurrido cerca de 1400: una vaca que pastaba habría caído al fondo del barranco en el que hoy se levanta la iglesia; un pastor hallando al animal ya muerto se proponía desollarlo cuando le surgió la Virgen con el Niño y le dijo que en el lugar construyera un templo en veneración de su imagen. Imagen esa que milagrosamente allí talló del hueso de la pierna de la vaca, ya amputado por el pastor; después de la aparición el pastor constató que la vaca estaba viva y con los miembros intactos.

La fama del milagro llevó al lugar innumerables romeros en particular del Alentejo y de la Península de Setúbal. El número de peregrinos que acudían al lugar era tal alto que el culto de la Virgen se desarrollaba en el adro de la iglesia, en un altar exterior construido para el efecto.

El culto de Nuestra Señora de Brotas se expandió rápidamente fuera de Portugal, pues los barcos de los descubrimientos llevaban su imagen.