ErogameScapeは2019/07/15時点で以下のApacheが動いています。

Server Version: Apache/2.4.34 (Red Hat) OpenSSL/1.0.1e-fips
Server MPM: event

ちゃんとした契機が不明ですが、Apacheの応答がなくなりました。
通常のpsコマンドの状態は
[ap2@erogamescape13 ~]$ ps ax | grep http
 1489 ?        S      0:01 tail -n0 -F /var/log/httpd/error_log
15179 ?        Ss     0:00 /opt/rh/httpd24/root/usr/sbin/httpd
15183 ?        S      0:00 /opt/rh/httpd24/root/usr/sbin/httpd
15184 ?        Sl     0:00 /opt/rh/httpd24/root/usr/sbin/httpd
17530 pts/1    S+     0:00 grep http
なのですが、事象発生時は
[ap2@erogamescape13 ~]$ ps ax | grep http
1489 ?        S      0:01 tail -n0 -F /var/log/httpd/error_log
10096 ?        S      0:00 /opt/rh/httpd24/root/usr/sbin/httpd
26194 pts/1    S+     0:00 grep http
となってhttpdのプロセスが足りませんでした。
Apacheにはcronで定期的にアクセス出来るかを監視していて、アクセス出来なかった場合、具体的にはトップページの80番ポートでアクセスして応答がなかった場合、httpdを再起動することにしています。
そのcronは動いているのですが、httpdの再起動に失敗しているようでした。

試しに手動でhttpdを再起動してもNGでした。
[root@erogamescape13 ~]# /sbin/service httpd24-httpd stop
httpd を停止中:                                            [  OK  ]

[root@erogamescape13 ~]# /sbin/service httpd24-httpd start
httpd を起動中:                                            [  OK  ]

[root@erogamescape13 ~]# ps ax | grep http
1489 ?        S      0:01 tail -n0 -F /var/log/httpd/error_log
10096 ?        S      0:00 /opt/rh/httpd24/root/usr/sbin/httpd
27178 pts/1    S+     0:00 grep http
試しに10096をKILLして再起動すればいいかな…と思ってやってみましたが、httpdのプロセスを殺すことが出来ただけで、httpdの起動はNGでした。
[root@erogamescape13 ~]# kill -KILL 10096

[root@erogamescape13 ~]# ps ax | grep http
1489 ?        S      0:01 tail -n0 -F /var/log/httpd/error_log
27260 pts/1    S+     0:00 grep http

[root@erogamescape13 ~]# /sbin/service httpd24-httpd start
httpd を起動中:                                            [  OK  ]
※OKになっていますが、実際はhttpdは起動していません。

Apacheのerror_logを確認したところ、同じようなメッセージが、ばーっと出ていました。
[root@erogamescape13 ~]# cat /var/log/httpd24/error_log
[Mon Jul 15 08:00:02.469050 2019] [core:emerg] [pid 17663:tid 140413539801056] (28)No space left on device: AH00023: Couldn't create the proxy mutex
[Mon Jul 15 08:00:02.469161 2019] [proxy:crit] [pid 17663:tid 140413539801056] (28)No space left on device: AH02478: failed to create proxy mutex
[Mon Jul 15 08:00:02.469170 2019] [:emerg] [pid 17663:tid 140413539801056] AH00020: Configuration Failed, exiting
[Mon Jul 15 08:05:02.848324 2019] [core:emerg] [pid 19318:tid 140124209342432] (28)No space left on device: AH00023: Couldn't create the proxy mutex
[Mon Jul 15 08:05:02.848454 2019] [proxy:crit] [pid 19318:tid 140124209342432] (28)No space left on device: AH02478: failed to create proxy mutex
[Mon Jul 15 08:05:02.848466 2019] [:emerg] [pid 19318:tid 140124209342432] AH00020: Configuration Failed, exiting
Apacheの状態を監視してNGだったら再起動するスクリプトが起動したタイミング上記メッセージが出ているので、Apacheを起動する際に上記エラーを吐いて失敗しているようです。
エラーメッセージをgoogleで検索すると以下の記事がひっかかりました。


記事によると「セマフォが限界値に達してしまったために新しいセマフォを使ってアプリケーションを起動することができなくなってしまった時にこのエラーが出てくる」そうでした。
ipcs -sでセマフォの確認ができるそうなのでコマンドを実行しました。
[root@erogamescape13 ~]# ipcs -s

------ セマフォ配列 --------
キー     semid      所有者  権限     nsems
0x00000000 0          root       600        1
0x00000000 32769      root       600        1
0x00000000 10944514   apache     600        1
0x00000000 11599875   apache     600        1
0x00000000 11632644   apache     600        1
0x00000000 13205509   apache     600        1
0x00000000 95780870   apache     600        1
0x00000000 95813639   apache     600        1
0x00000000 95846408   apache     600        1
0x00000000 76611593   pgpool     600        6
0x00000000 95944714   apache     600        1
0x00000000 95977483   apache     600        1
以下いっぱい
なんらかの異常でapacheがセマフォを使い切っている模様でした。
apacheが使用しているセマフォを消して、apacheを起動したら、無事起動できました。
[root@erogamescape13 ~]# for i in `ipcs -s | awk '/apache/ {print $2}'`; do (ipcrm -s $i); done
[root@erogamescape13 ~]# ipcs -s

------ セマフォ配列 --------
キー     semid      所有者  権限     nsems
0x00000000 0          root       600        1
0x00000000 32769      root       600        1
0x00000000 76611593   pgpool     600        6

[root@erogamescape13 ~]# /sbin/service httpd24-httpd start
httpd を起動中:                                            [  OK  ]
[root@erogamescape13 ~]# ps ax | grep http
1489 ?        S      0:01 tail -n0 -F /var/log/httpd/error_log
28085 ?        Ss     0:00 /opt/rh/httpd24/root/usr/sbin/httpd
28087 ?        S      0:00 /opt/rh/httpd24/root/usr/sbin/httpd
28088 ?        Sl     0:00 /opt/rh/httpd24/root/usr/sbin/httpd
28360 pts/1    S+     0:00 grep http
この問題が発生したときに備えてApacheを監視するスクリプトにApacheを再起動する前にapacheのセマフォを消すコマンドを追加しました。

Apacheがなぜこのような状態になったのかは分からないです。
契機は、同じサーバーマシンに入っているPostgreSQLを再起動したこと…問題が起こった時に実施したことがそれくらいなのですが、PostgreSQLを再起動したらこの事象が起きるのか、まったくわかりません。