Nextcloud+Onlyoffice
Комментарий MK указал мне правильное направление. В случае Apache 2.4 и выше существуют другие значения по умолчанию и новая директива. Я использую Apache 2.4.6, и мне пришлось добавить следующие директивы, чтобы все заработало:
SSLProxyEngine on
SSLProxyVerify none
SSLProxyCheckPeerCN off
SSLProxyCheckPeerName off
SSLProxyCheckPeerExpire off