AWL Action

朝は元宇品に散歩に行き、帰りにひろしまみなとマルシェに寄ってみる・・・炎天下の下、出店している人たちには脱帽ものです・・やはりお客は少なく営業的には苦しい・・・よしろう農園でしばらく雑談して帰宅、シャワーを浴びたらもう昼食
帰って月下美人を見ると昨晩に咲いていた・・残念見ることができなかった

内部監査支援システム開発

内部監査の指摘では、監査員の力量に左右されて的確な条項に基づく指摘が出来ていないのが実情である・・・今回、力量の不足をAIによって支援するシステムのモデルを構築する・・以下の課題は2点がメインだが、TAMの監査指摘4年分をデータ化し構造化することによって支援の形態が現実的に見えてきた

• AIに情報を渡すが、その情報が漏洩リスクとならないために、固有名詞などを送らせない
• 具体的な支援方法について、イメージが具体的にならない

内部監査システム構築のためのステップ

• STEP 1-1: 事実メモを箇条書きで入力(固有名チェックあり。通らないと進めない)
• STEP 1-2: AIが事実の不足を質問(最大3問×2ラウンド。スキップ可)
• STEP 1-3: 対話結果から事実文を自動文書化 → 監査員が修正・確定
• STEP 2: 条項候補Top-3+境界注記 → 選択または手入力
• STEP 3: ランク選択 → 指摘文案生成 → 修正
• STEP 4: 確定 → 事例DBに蓄積(次回のAI参照例に自動反映)

これまでに構築したもの

• [TAMの審査記録xlsx 4年分をデータ化してサンプルとする] ： audit_case_extract(抽出+三段匿名化: パターン/辞書/ローカルLLM検査)
• [匿名化済み事例DB cases.csv 388件] ：clause_bench(条項マッチング実力測定)
• [実測: ゼロショット85.5%/適合性系93.8% → RAGで88.1%・混同半減] ：検討結果書(二層アーキテクチャ: 規格層=共通/流儀層=組織別)
• [audit_assist_proto(動くプロトタイプ)] ：事実引き出し対話 → 匿名化ゲート → 条項候補 → 人間確定 → 事例蓄積(自己学習)

主要な実測値(仕様書の根拠数字)

• 条項マッチング(Top-3実務粒度): ゼロショット全体85.5% / 適合性系93.8%
• 粒度規約+TAM事例RAG(v2b): 全体88.1%、最大混同ペア(8.1↔6.1.2)半減
• ランク別定型句の対応(388件分析): 改善の機会=「推奨します」、観察事項= 「検討の余地があります」が相互汚染ゼロの完全分離 → 文章生成テンプレートに採用
• 適合性系(観察事項・懸念領域・改善指摘)と意見系(改善の機会・充実点)の 2群構造を確認 → ランクはAIが当てず、2分類推定+監査員選択の設計に

実地試用の状況と次回のTODO

済み: 2022年審査データで10件試用・・「力量ある監査員には良い指標」との評価・・記録済みデータ: confirmed_cases.csv・metrics.jsonl に実データ10件保持
次回確認すること:

• v1.1修正の適用確認(重要): v1.2完了報告にv1.1(過剰検知修正・許可ボタン・ ランク2分類化)の適用言及がない。「建築部」「工務課長」「2件の作業所」が ブロックされないか確認し、未適用ならv1.1指示書を先に適用させる
• 採用率18.2%の原因調査: 体感(「非常によくできている」、明確な条項誤りは1件)と 記録上の採用率18.2%が大きく乖離している。候補カードをクリックせず手入力で 条項を入れる操作習慣だと、候補が正しくても「手入力=不採用」と記録される。 metrics.jsonlの確定条項の生値と候補を突合し、指標定義の問題か候補品質の問題かを 切り分ける(次回セッションでmetrics.jsonlをアップロードすれば分析可能)
• 1.2の意地悪テスト: 最低品質のメモ(「・教育記録を確認 ・不十分」)への AIの質問が、TAMが新人に返す問いと一致するか 試用を10〜20件継続し、指標の推移を観察