ラズパイ装置群 導入時のドタバタ

数年前のことですが、自社製の装置群を作って製品製造を行うに当たり、ラズパイ（Raspberry Pi）を使うことにしました。
電子基板製品の校正と検査を行う装置群です。

タッチスクリーン、テンキー、バーコードリーダーとの組み合わせで使えば小型でキーボード嫌いのオペレーターにも馴染み易く、新品購入で実現する割には安価に実現出来るだろうと言う考え方でした。ラズパイは趣味程度の使い方しか経験がないことを考えれば、相当チャレンジングだったと思います。

自宅で数か月間ラズパイを使い続け、これなら大きく外すことはないだろうと考えていました。装置開発当初は、「いざとなれば中古のノートPCをLinux にしてラズパイに替えると言う保険もあるから、まずはやってみよう」と言った乗りでした。この取り組みでは、現在約２０台のRaspberry Pi 3B が稼働しています。

ほとんどの装置にはPIC18Fを使った自社製の制御基板があり、USB－シリアル変換ケーブルでラズパイとやりとしながら装置を制御します。１台を除いてGPIOを使わない構造です。

稼働開始直後は頻発するトラブルに見舞われ、ドタバタと対応に追われていました。まさにドタバタで、今でも真の原因について整理しきれない状況です。

現在も時々不具合が発生し、改善を続けてはいますが、同じ装置群が２ラインあって相互に補い合えるシステムになったため、少し余裕が出来ています。

以下、恥ずかしながら、ドタバタの様子を紹介します。

研究室レベルで動作確認

装置の詳細については紹介出来ませんが、装置群を製作し、研究室レベルで数か月間、デバッグと動作確認を行いました。

リリース

そして製造現場に装置を移し、稼働を開始しました。タッチスクリーンで操作説明が出来て威圧的なキーボードが無い為か、簡単な説明だけでオペレーターの方々が使い始めてくれました。

順調な滑り出しに見えました。

アプリ落ち～カーネルパニック

シャットダウンを徹底するより、自宅で試していたように、電源を入れっぱなしにした方が安心だろうと考え、24時間アプリを立ち上げたままにしていましたが、翌朝になるとアプリが落ちていているケースが見られました。

アプリを立ち上げ直して使い続けながら、原因を探っては対策を繰り返しました。（ソフトウェアの不備もありました。）

そのうちにラズパイが起動しない、あるいは起動に失敗するケースが見られるようになり、初めて kernel panic の表示を見てしまいました。

あざ笑うように「また、壊れました」と報告する同僚が現れ始めます。

逆風の中にあっても、Raspberry Pi 以前に培った自らの経験に基づいて、何とか乗り切れるはずだと信じていました。何よりも量産が始まっている中で、後に引けません。（ノートPCをLinux にしてと言う選択肢は無しです。）

UPS

電源（AC.100V）を疑い、無停電電源装置を入れてみましたが、顕著な改善は認められませんでした。5分程度の短時間停電でラインが止まらないようにUPSは必須だと思います。

OverlayFS

当時のOSはJessie でしたが、シャットダウンを行わずに電源OFFしても問題が無いよう OverlayFS によるRAMディスク化を行いました。
私には実現出来ないので、社外の経験者にお願いし、打ち合わせから稼働開始まで２か月程を要しました。

（Buster ではOverlay を有効に出来る機能が標準装備されて一安心）

電源強化

当初は電源をUSBコネクタで供給していましたが、GPIOから供給するなど、試している内に幾分良くなった気がするものの、今ひとつと言った状況が続きます。

OverlayFSと並行し、社外からの助言を得てACアダプタを止め（Raspberry Pi + Touch Screen + 周辺合計で）５０W級（５Ｖ １０Ａ）のスイッチング電源に替えました。これは効果があったように思います。
ご助言感謝です。

増産要求

増産要求があって、同じ装置群を１ライン追加しました。
増産前に準備出来た上に今でも余力があるので、故障時の対応に余裕が出来ました。

SDカード

リリース直前にまとめて購入したＳＤカードを、より信頼性の高いＳＤカードに替えることにしました。あまり高価なカード導入を説得するだけの根拠を示せず、順次ですが KSY さんの「ラズパイ向けＳＤカード」に替え始めました。

これも効果があったと思います。記憶の範囲で「ラズパイ向けＳＤカード」による起動不具合は無いように思います。

ただし、コンセントプラグ半抜け状態で、高頻度に電源ON/OFFを繰り返すような状況でSDカードのデータが壊れたことがあります。

改善用兼予備の装置

ドタバタ続きで後手に回ってしまいましたが、不具合の再現試験やデバッグ用に製造ラインと同型の改善用装置群を準備しました。製造ラインで万一復旧困難な不具合が発生した場合には、これらの装置を代替え機として現場に運んで復旧する「バックアップ体制」を兼ねています。
（ある意味、2.5ライン体制です。）

ここまで来て、一連のドタバタも大分落ち着いてきました。

以上の経過を通じて（SDカード不具合を除けば）Raspberry Pi 3B 本体のハードウェア故障は皆無です。

今も残る課題

接点不良

今でも時々不具合が発生していますが、ワークのテストパッドとコンタクトプローブの接触不良による通信途絶が主な原因のようです。
不具合接点特定を支援するツールを作る、未然交換を実施するなどして順次改善を進めています。

人的保守体制

中小企業では保守に携わる人員の確保とレベルアップが必要だと感じて働きかける一方で、取扱説明書や保守用ツールによって保守作業を容易にする取り組みも進めています。

以上、何らか参考になれば幸いです。
相談出来る同僚が居ない中で仕事をしている為、ご助言などコメント大歓迎です。

宜しくお願いいたします。