単体の検査結果では集団全体の安全性を保証できない
一人で動かしたときに安全だった仕組みを、百人で同時に動かしたらどうなるだろうか。各人が同じ規則に従い、使える機能も変わらなければ、個々の振る舞いは変わらないように見える。しかし、百人が情報を交換し、作業を分担し、他人の成 … 続きを読む
一人で動かしたときに安全だった仕組みを、百人で同時に動かしたらどうなるだろうか。各人が同じ規則に従い、使える機能も変わらなければ、個々の振る舞いは変わらないように見える。しかし、百人が情報を交換し、作業を分担し、他人の成 … 続きを読む
AI のモデルを小さくする際には、すべての重みを同じ精度で保存する必要はない。大規模言語モデルには、入力された情報を変換する計算用の重みと、入力に応じて必要な値を取り出す参照テーブルが含まれる場合がある。前者を低ビット化 … 続きを読む
機能を無効化したとき、実際には何が停止するのだろうか。例えば、サーバーが受け付ける署名アルゴリズムを許可リストで管理し、特定の方式をリストから除外したとする。管理者が期待するのは、その方式による認証要求が拒否されることで … 続きを読む
AI が間違いに気づけるなら、その間違いを避けられるようにも見える。問題文の矛盾を見つけ、安全上の危険を判定し、人間からの停止指示を理解できるなら、その情報が最終的な行動にも反映されると考えるのは自然である。実際、モデル … 続きを読む
量子化は、限られたビット数で数値を表現するために、元の値を有限個の代表値へ対応させる操作である。4 ビットなら利用できるコードは最大 16 種類であり、それより多くの値を扱うには複数の入力を同じ代表値へまとめる必要がある … 続きを読む
AI システムの効率化では、計算量、モデルの精度、学習量、コンテキスト長など、利用できる資源に上限を置く場面が多い。推論コストを下げるために小さなモデルへ切り替える、量子化によって重みの表現精度を下げる、長い履歴を圧縮し … 続きを読む
AI の性能を比較するとき、最初に目に入るのはモデル名と得点である。あるモデルが 80 点、別のモデルが 70 点なら、同じ試験を受けた結果として前者の性能が高いと読むことはできる。ただ、その 80 点にはモデルの能力だ … 続きを読む
SPA を一つ動かすところまでなら、React で画面を作り、HTTP API を用意し、データベースへ接続すれば形になる。しかし、業務アプリケーションとして継続利用できる状態まで進めると、画面と API の外側に別の設 … 続きを読む
AI エージェントへ安全規則を与える方法として、禁止操作を定義する、実行時に監視する、操作履歴を保存する、機密情報の扱いを指示するといった仕組みがある。これらはそれぞれ異なる役割を持つ。禁止操作の定義は、どの行動を許可す … 続きを読む
長期的に利用する AI には、過去の会話や出来事から得た情報を保持し、後の判断に利用する能力が求められる。ところが、記録として正しいことと、現在の判断材料として正しいことは一致するとは限らない。勤務先、予定、役割、利用中 … 続きを読む