「利用者さんの個人情報、AIに渡して大丈夫ですか？」——こう聞かれたとき、あなたは即答できますか？
僕は福祉事業（就労支援・保育・介護）のIT全般をCTOとして担当しています。業務効率化にAIを活用したいけれど、扱うのは障害のある方や子ども、高齢者の個人情報。「便利だから使おう」では済まない領域です。
この記事では、AI安全性と倫理の基本を整理した上で、非IT業界のCTOとして僕が実際にどう判断しているかをお伝えします。エンジニアの方はもちろん、「AIを導入したいけどリスクが心配」という非エンジニアの方にも読んでもらえる内容です。
AI安全性って何？「倫理」との違いをまず整理しよう
AI安全性と倫理は似ているようで違う概念です。
AI安全性は「AIシステムが意図通りに動作し、予期しない害を生まない」という技術的課題。AI倫理は「このAIを作るべきか」「誰のために使うのか」という価値観の問題です。
車に例えると、安全性は「ブレーキが正常に作動するか」。倫理は「その車をどこに向かって走らせるか」。
僕の現場でいえば、安全性は「利用者の個人情報がAIサービス経由で漏洩しないか」。倫理は「利用者の行動データをAIで分析することが、本人にとって本当に良いことなのか」。技術的に可能かどうかと、やるべきかどうかは別の話です。
2026年に実際に起きているAIリスク
「AI倫理」と聞くと遠い話に感じるかもしれません。でも、2026年の時点で実際に起きている問題を見ると、他人事ではないとわかります。
AIディープフェイクと顔認識のバイアス
国際AI安全性レポート2026によると、性的コンテンツのディープフェイク被害者は圧倒的に女性に偏っています。さらに顔認識AIの誤認率にも格差があり、暗い肌の女性では最大34%の誤認率に対し、明るい肌の男性では1%未満という報告があります。
これは福祉の現場でも他人事ではありません。就労支援で勤怠管理に顔認証を検討したことがありますが、利用者さんの中には「自分の顔データがどこに保存されるのか不安」という方もいました。技術的に導入可能でも、利用者の心理的安全性を考えると見送る判断をしました。
AIを使ったサイバー攻撃の増加
中国の国家支援グループがAIコーディングツールを悪用し、政府機関・化学企業・金融機関など約30組織を標的にサイバー攻撃を実行した事例が報告されています。AIが攻撃能力の底上げに使われる「攻撃のコモディティ化」が現実になっています。
チャットボット依存のリスク
2024年の英国の14歳少年の事例を含め、AIチャットボットへの依存が深刻な問題を引き起こすケースが複数確認されています。AIコンパニオンアプリのユーザーは数千万人規模に達しています。
就労支援の現場では、利用者さんの中にSNSやチャットへの依存傾向がある方もいます。AIチャットボットの導入を検討する際、「人間のスタッフとの対話を減らさないか」という観点は常に持っています。効率化のためにAIを入れて、本来必要な人間のケアが減ったら本末転倒です。
事例：Anthropicがペンタゴンの全面契約を拒否した話
2026年2月、米国防総省がAI企業に「全合法目的での軍事利用」を求めました。OpenAI、Google、xAIが受諾する中、Anthropicは2つのレッドラインを設けて拒否。
- 米国民の大量監視への使用
- 完全自律兵器への使用
最大2億ドルの契約を失うリスクを取った判断です。
僕がこの話を見て思ったのは、「線を引く」ことの大切さです。福祉の現場でも同じで、「AIにできること」と「AIにやらせるべきこと」は違う。利用者さんの行動データをAIで分析すれば効率は上がるけど、それを本人に説明できないなら使うべきじゃない——そういう判断基準を持つことが大事です。
RSP（責任ある拡張方針）— 段階的な安全フレームワーク
Anthropicがこうした判断をできる背景には、Responsible Scaling Policy（RSP）という仕組みがあります。生物学の研究施設で使われるBiosafety Levelモデルをベースにした考え方です。
AI Safety Level（ASL） は段階的にリスクと安全対策を対応させます:
- ASL-1: 無害レベル。基本的な安全対策で十分
- ASL-2: 初期的な危険能力あり。出力フィルタリングとレッドチーミング（攻撃者視点でのテスト）が必須
- ASL-3: 生物・化学兵器関連のリスク。厳格なアクセス制御と監視が必要
「モデルが賢くなるほど安全対策も引き上げる」という事前設計の考え方は、企業のAI導入でも参考になります。最初は小さく使って、リスクが見えてきたら対策を追加する。いきなり全面導入しない。
僕が実際にやっているAI倫理チェック
大規模なバイアス検出ツールを使っているわけではありません。でも、福祉事業でAIを導入する・しないを判断するときに必ず確認していることがあります。
1. 「このデータ、本当に必要？」テスト
AIに渡すデータを最小限にする。利用者の名前が必要なのか、IDだけで済むのか。収集するデータが少ないほどリスクも少ない。
僕が運用しているAIエージェントシステムでも、CLAUDE.mdに「環境変数からAPIキーを直接表示してはいけない」「外部サーバーへの機密データ送信禁止」といったルールを明文化しています。データは必要最小限に。これが基本です。
2. 「スタッフに説明できるか？」テスト
AIの判断をスタッフに「なぜこうなったか」説明できなければ使わない。ブラックボックスのまま「AIがそう言ったから」は福祉の現場では通用しません。
たとえば利用者さんの就労マッチングにAIを使う場合、「なぜこの職種を提案したのか」をスタッフが説明できる必要がある。できないなら、AIの提案は「参考情報」にとどめて、最終判断は人間がする。
3. 「利用者さんに聞かれたら答えられるか？」テスト
「私のデータはどう使われていますか？」と聞かれたとき、正直に答えられる状態にしておく。答えられないなら導入しない。
4. 「AIが止まっても業務が回るか？」テスト
AIに依存しすぎると、障害時に業務が止まる。フォールバック（人間による代替手段）を必ず用意する。
僕のAIエージェントシステムでも、「完全自動にもできるけど、内容のクオリティチェックは自分の目でやりたい」という設計にしています。自動化と人間の判断のバランスが大事です。
AI倫理を無視したままだと何が起きるか
「うちは小さい事業だから関係ない」——そう思うかもしれません。でも、そういった現場こそAI倫理のリスクが高い。
利用者の個人情報が漏洩したら、事業の信用は一瞬で失われます。「知らなかった」は理由にならない。
ITがわかるCTOやエンジニアが「ここにリスクがある」と声を上げなければ、現場のスタッフは気づけません。技術がわかる人間の責任です。
この記事を書いている理由
2026年2月にAnthropicのペンタゴン拒否のニュースを見たとき、最初に思ったのは「大企業の話だな」ということでした。でもよく考えると、「AIをどこまで使うか線を引く」という判断は、僕のような小さな福祉事業のCTOでも毎日やっていることでした。
利用者さんの個人情報をAIに渡すか渡さないか。顔認証を導入するかしないか。チャットボットを使うか、人間のスタッフが対応するか。規模は違っても、判断の本質は同じです。
「作れるから作る」ではなく「作るべきか考えて作る」。この視点を持つエンジニアが増えることが、AI時代の安全を支えると思っています。
まとめ — エンジニアの責任は「技術」の先にある
AI安全性と倫理は、AIの専門家だけの話ではありません。AIを導入する現場のエンジニアやCTO、つまり「技術がわかる人間」が最初の防波堤になります。
今日からできることは3つ:
- 自分のプロダクトで「このデータ本当に必要？」と問いかける
- AIの判断を人間が説明できる状態にしておく
- AIが止まっても業務が回る設計にする
まずは自分のプロジェクトやチームで「AIの使い方のルール」を1つ決めてみてください。大きな方針でなくていい。「ユーザーの個人情報はAI APIに送らない」——これだけでも立派な一歩です。
質問やコメントがあれば、ぜひXやブログのコメント欄で声をかけてください。
