Madre Úrsula nació en Cetara, su padre fue Girolamo, sienés, a quien mucho tiempo se le ha emparentado con santa Catalina, y su madre fue Vincenza Genuina. Se caracterizó desde joven por un gran fervor religioso que la llevó a buscar ingresar con las clarisas capuchinas del monasterio de Santa Maria di Gerusalemme, solicitud que le fue denegada.
En torno al año 1581 se retiró al eremitorio de Castel Sant'Elmo, ubicado sobre la colina de Vomero, donde ganó fama de santidad y atrajo numerosas discípulas. Tras una experiencia mística, el 3 de mayo de 1582 fue recibida en audiencia por el papa Gregorio XIII en Frascati, a quien el comunicó que había recibido de Dios el encargo de transmitirle un mensaje de reforma para toda la Iglesia. Debido a lo cual fue examinada por una comisión, entre quienes la constituían se encontraban Giulio Antonio Santori y san Felipe Neri, que reconoció su vida virtuosa.
A su regreso a Nápoles, el año 1582, fundó la congregación de las Oblatas de la Inmaculada Concepción de María, religiosas de vida activa dedicadas a la educación de la juventud y, luego de tener una visión (el 2 de febrero de 1617), fundó la congregación de las Romitas de la Inmaculada Concepción de María Virgen, monjas de rigurosa clausura, dedicadas a la oración contemplativa para sostener, con la fuerza de su oración, el trabajo apostólico de las Oblatas. Murió en Nápoles el 20 de octubre de 1618.
Poco antes de morir, madre Úrsula había solicitado que sus religiosas fuesen admitidas a la autoridad y a la dirección espiritual de los clérigos regulares teatinos, sin embargo, los teatinos rechazaron de entrada la petición, porque era contraria a sus constituciones. Fue solo hasta 1663, una vez obtenida la autorización del papa Urbano VIII, que las Oblatas y las Romitas pasaron a estar bajo la jurisdicción de los teatinos, adoptando incluso su nombre.
Las virtudes heróicas de madre Úrsula Benincasa fueron proclamadas el 7 de agosto de 1793 en la basílica romana de San Andrés della Valle por el papa Pío VI, atribuyéndole de ese modo el título de «venerable».