"Плотность" во фразе "матрица плотности" не означает привычной нам плотности, вроде плотности материала. Как, впрочем, и во фразе "волновая функция" очень мало "волн" как таковых.

Это лишь описание особой многомерной математической функции (https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%82%D1%80%D0%B8%D1%86%D0%B0_%D0%BF%D0%BB%D0%BE%D1%82%D0%BD%D0%BE%D1%81%D1%82%D0%B8).