【プレゼンテーション】
ごみ発電プラントの過熱器注水制御における AI技術を用いた高度運転
1．はじめに
近年，国内の製造業界ではIoTやAIへの取り組みが活発化しており，運転の効率化や生産改革をテーマにAI技術の導入が進んでいる。一方，製造現場では少子高齢化や労働人口の減少に伴い，省人化やノウハウの継承が課題となっている。課題解決にはデジタル技術の活用が期待されており，特に熟練オペレータのノウハウ継承や複雑な作業の代替に対して，AI技術の適用に関心が高まっている。
弊社でも上記のようなAIの関心の高まりを受け，プラントメーカである日立造船㈱と共同で，AI技術を活用したプラント制御システムの開発を2017年より着手した。さらに2021年には，ごみ発電プラント「はだのクリーンセンター」ご協力の下，過熱器注水制御を対象とした約3ヵ月（休炉を除く連続期間90日）の実証運転に成功し，良好な結果を得ることができた。また長期運転の成功を経て，AI技術を搭載したAIプラント制御システム「RL-Prophet＊1）」をリリースした。
本稿では，開発したAIプラント制御システムの紹介と併せ，過熱器注水制御への適用事例と今後の展望を紹介する。
2．AIプラント制御システム「RL-Prophet」について
2.1 RL-Prophetの概要
AIプラント制御システムRL-Prophetは，日立製作所が開発した新型強化学習技術を搭載したAI制御システムである。DCSの一般的な制御技術であるPID制御に代わり，リアルタイムでのAIによる高度制御を実現する。RL-Prophetのシステム構成を図1に示す。
RL-Prophetは，DCSからプロセス値（PV値）や制御出力値（MV値），制御設定値（SV値）などのデータを収集し，現在のプラントの状態に応じた制御指令を演算してDCSに返す。なお，図1に記載しているオペレータズコンソールとマルチコントローラは当社のDCS製品「EX-N01」である。
RL-ProphetとPID制御との制御動作の比較イメージを図2に示す。RL-Prophetの狙いは，主にPID制御などの追従型の制御では困難であった，広範な運転状態に対する制御性能の改善である。PID制御はDCSの一般的な制御技術として，説明性や安定性などは十分に評価されている。しかし，プロセスの状態が頻繁に変化するような環境では，最適なパラメータが異なり対応が困難であること，また目標値と現在値との偏差の発生が前提であり理論上制御が遅れるといった課題がある。
それに対し，RL-Prophetは，パラメータを用いた一意的な数式ではなく過去の運転実績からプラントの特性を包括し，その時々の状態に応じた制御指令を出力し，目標値との偏差に依存しない先行的な制御を行う。
RL-Prophetは，過去の運転実績を統計モデルに基づいて整理し，制御量を目標値に収束させるために効率的な制御動作を考え先行的に制御を行う。より詳細には，いくつかのセンサを用いて制御対象の状態を離散的に区切り，それぞれの状態から目標状態に最短で収束する状態遷移パターンを辿るといった制御思想である。
RL-Prophetの主な特長を以下に記載する。
＜特長＞
1）実プラントに影響を与えずにモデル構築が可能
2）より優れた制御へ成長
3）制御システムとの相互監視により安全性を担保
各特長について以下に説明する。
2.2 実プラントに影響を与えずにモデル構築が可能
RL-Prophetは日立製作所が開発した新型強化学習技術を採用しており，過去のプロセスデータのみで初期モデルの構築が可能である。一般的な強化学習とRL-Prophetの強化学習を比較したものを図3に示す。
一般的な強化学習では，実際の環境下で試行錯誤をすることで，取った行動に対して発生する環境の応答から，どのような行動を取れば有効な動作になるのかを学習していく。そのため，プラントの運転においては不安定な動作状態から運転をしなければならず，本番稼働中のプラントで使うには安全性の面で難しい。
それに対し，RL-Prophet搭載の新型強化学習では，過去の運転実績データを用いて一貫した数学的な処理を行うことで準最適な初期モデルを構築する。そのため，学習モデル構築段階でプラントに影響を与えることなく安全に運用を開始することができる。また，一般的な強化学習とは異なり，制御対象が同じであれば目的（報酬を与える条件）が変わっても再学習が不要である。
2.3 より優れた制御へ成長
RL-Prophetは，学習データに含まれない挙動（以下，未学習の挙動）を検知する「未学習判定機能」という機能を有している。これにより，実制御中に未学習の挙動を検知した際，一旦未学習判定として登録し，運転に有効な挙動であれば追加学習によってより優れた学習モデルへと成長させることができる。
なお，不安定な動作状態や定修前の立下げ運転，異常停止など，特別な運転状態を学習してしまうと，それを踏襲した制御動作を取る恐れがあることを考慮し，自動での学習モデル強化は行わず，人間の判断をもって追加で学習する仕様としている。
2.4 制御システムとの相互監視により安全性を担保
RL-Prophetは制御中，前述の未学習判定機能により一定周期連続で未学習の挙動を検知すると，今のプラントの状態は学習済みのプラント状態から乖離していると判断し，運転を既存制御に切り替える。また，常にRL-ProphetとDCSで相互に監視を行うことで，通信が途絶えた場合にも自動で既存制御に切り替わるよう安全を確保している。未学習判定機能とDCSとの相互監視によるフェールセーフのイメージを図4に示す。
上記のような，異常事態に対する運転の自動切換え機能を有することで，実制御を行ううえで必要不可欠なフェールセーフを実現しており，AI制御の導入に対する不安を排除している。
3．制御事例（過熱器注水制御）
弊社は2017年度より日立造船㈱と共同でAI制御の開発を進めており，2018年度からはごみ発電プラント「はだのクリーンセンター」ご協力の下，過熱器注水制御を対象にRL-Prophetの適用検証を実施している。複数回にわたる現地実証を経て2021年度には約3ヵ月（休炉を除く連続期間90日）の実証運転に成功した。本章では，過熱器注水制御のプロセスと既存制御での課題，RL-Prophetの適用方法，結果について紹介する。
3.1 過熱器注水制御のプロセスについて
ごみ発電プラントにおける過熱器注水制御の流れを図5に示す。
ごみ発電プラントにおける過熱器の役割は，ごみ焼却熱を利用し，1～3次過熱器の中を流れる蒸気を高温にし，発電効率を上昇させることである。このとき，蒸気温度が保安上の最大温度を超えず，かつできるだけ高い温度を保持するように注水弁の開度を制御する必要がある。しかし，燃料がごみであるという制約上，ごみ質（ごみの種類や状態）によって燃焼に対する蒸気温度変動の応答時間は不規則であることから，従来のPID制御では制御パラメータにミスマッチが生じて不安定になりやすいという課題があった。この課題を解決し，蒸気温度を安定させることで，売電収入効果の向上を図ることが本実証運転の目的である。
3.2 RL-Prophetの適用
RL-Prophetによる実制御にあたり，過熱器周辺における過去1年間分の運転実績データを提供頂き，実績データの中から複数の信号を用いて学習モデルを構築した。具体的には，複数の信号を用いて，過熱器の状態を数百個の状態に離散化して定義している。この学習モデルを用いて実制御を行う際，複数の信号値から定義される各状態から最終目標状態への収束に対し効率的な状態遷移パターンを演算し，次に向かうべき理想状態を辿っていく。
なお，最終的な制御出力値（MV値）は，上記学習モデルによって導き出した各信号の理想値を元に，熱収支モデルや注水弁特性モデルを介して算出している。
3.3 制御結果
PID制御とRL-Prophet制御の制御結果比較を図6に示す。
図6左側は，PID制御とRL-Prophet制御の典型的な蒸気温度トレンドの一例である。PID制御は比較的長い時間周期で蒸気温度（PV値）が目標温度に対して±約7℃で推移している。これは，PID制御は目標値と現在値の偏差の大きさに応じて補正動作が強くなるため，偏差が小さい間はそれほど補正をかけていないことが起因していると考えられる。
それに対し，RL-Prophetの制御は短い時間周期で細かく蒸気温度の調整が行われ，結果目標温度±約5℃付近で推移している。RL-Prophetでは偏差の大きさに依存せず，過去の経験から取り得ると判断された状態遷移パターンの中から，目標値収束に向けて効率的な状態遷移を毎制御周期で更新し，次の理想状態を細かく設定しなおしていることが影響していると考えられる。
図6右側は，RL-Prophet実証運転と，過去の同程度の期間でのPID制御における，日ごとの蒸気温度平均値のヒストグラムである。蒸気温度平均値の算出は，通常運転時と，過熱器伝熱管に付着した煤を除去するスートブロー運転時とで分けて評価を行った。通常運転時には，トレンド例からもわかるよう蒸気温度変動が抑制され，その結果平均温度が引き上げられている。また，最頻値も目標値と一致するまで改善している。加えて蒸気温度が低下傾向となるスートブロー運転時においても同様に，平均温度が引き上げられ，目標値に近づけられていることがわかる。
以上から，RL-Prophetによる制御では，日ごとのごみ性状の変動によらず，蒸気温度の推移を目標値付近で抑制させる効果があることが確認できた。
4．終わりに
今回，RL-Prophetの概要と過熱器注水制御を対象とした制御事例の紹介を行った。
過熱器注水制御における実証運転の成功を受けて，弊社はRL-Prophetを2023年1月にリリースしたが，今後は化学プラントを中心に一般産業への展開も進めていく予定である。弊社では，プラント操業の高度化を通して顧客価値の向上に貢献するソリューションを提供していく。
注）
＊1）「RL-Prophet」は，日本国内における㈱日立ハイテクソリューションズの登録商標である。
〈参考文献〉
1）吉田卓弥，徳田 勇也，他：，「ごみ発電プラントでの蒸気温度リアルタイムAI制御の長期実証」，『第33回廃棄物資源循環学会研究発表会講演集』，2022年9月20日-22日，pp.339-340