近年ガイダンス・ガイドラインで議論されているAIのモデルの構築やその利用にはデータが必要なものが含まれる。教育分野におけるデータには、例えば科目の内容や問題集の問題だけではなく、テスト結果や成績評定情報、児童生徒の日々の様子等を記録した情報、保健室利用記録、教育のデジタル化に伴ったデジタル教材の学習履歴等^*34、個人から取得できるデータが様々存在する。教育分野では、データ取得の同意を得る対象に未成年の児童や生徒が含まれる。そのため、仮に説明を行ったとしても子どもたちがその内容を理解した上で同意できているのか等といった課題があり、特有の配慮が必要とされる^*29。国内においては、2023年に公立学校向けに公開された文部科学省の「教育データの利活用に係る留意事項」^*35に、教育データの利用目的変更時の同意について、未成年者等である本人が判断できる能力を有していない等の場合は、親権者または法定代理人等から同意を得る必要がある^*35としている。

また、近年センシング技術とAIを用いて、画像や音声から表情や行動を分析する事例^*36-38が報告されている。生徒から取得した脳波データをもとにAIアルゴリズムが集中力の度合いを評価し、その結果を教員がリアルタイムで把握できるようにするといった技術の実装が可能になりつつある一方、プライバシーの懸念を受けて試験運用を中止した海外の事例^*39や、脈拍から測定した集中度をリアルタイムにモニタリングするシステムの試験運用に対して、管理強化に対する懸念の声がインターネット上で数多く寄せられた事例^*36,40も報告されており、どこまでデータとして情報を取得してよいかについては統一的な見解が定まっていない。

加えて、提供されたデータが商業的利益のために悪用される可能性^*29や、対話型生成AIで利用されているGPTモデルでは、一度提供したデータをAIの学習から除くことが困難である^*3といったデータの所有権への疑問についても指摘がされている。

3.1節の「データ取得における権利の侵害」で示したように、一部のAIの判定結果は、学習に利用されたデータの傾向を反映する。そのため、学習に使われたデータに偏見が含まれる場合は、判定結果にもその偏見が反映され、またその意図がない場合であっても、データの分布の偏りが差別をもたらす可能性がある^*41。偏りをもつAIが用いることで、性別や年齢、人種、社会経済的背景、所得不平等などの観点から、学生の人権に悪影響を及ぼす可能性がある^*29との指摘がされている。AIの判別結果への信頼性が不足していることによって、進路が決まるような重要な場面等では納得感を得ることが難しい場合があり、海外においては問題になった事例^*36,42も存在する。

これに対して、EUでは、2023年に採択されたAI規則にて、教育において利用されるAIシステムは、人生における教育や職業の進路を決定し、その結果として安定した生活を得る能力に影響を与える可能性があり、AIシステムが不適切に設計されて利用された場合には、教育を受ける権利ないし差別されない権利を侵害し、差別の歴史的パターンを永続させる可能性があるとして、禁止の次に規制が厳しい「ハイリスク」としている^*43,44。加えて、感情等の生理学的特徴を検出するためのAIは信頼性に問題があり、教育機関等に導入した際に重大なリスクがあるため禁止すべきである^*43と規制をかけている。その上で、教育者の利用するAIが正常に作動するのか、公平性、安全性、信頼性を有しているか等を教育者が確認できる^*30ようにガイドラインを公開することで、信頼できるAIの導入に取り組んでいる。

また生成AIでは、回答に誤った内容が真実であるかのように生成される現象（ハルシネーション）^*41が生じることが知られており、初学者は不正確な出力結果を受け入れてしまう可能性があるとの懸念が指摘されている^*3。年齢制限をはじめ、教育分野にて利用する際の適切な活用方法が検討されている。

AIの利活用においては、すべての人々に教育をもたらすとして期待されている一方、AIを構築するためのデータや計算資源、専門性には国際間で格差が存在し、またそれらを利用するためのIT基盤にも国際間、地域間、個人間にて格差が存在する。特に、生成AIのような超大規模なデータとモデルによって精度の向上がもたらされているAIに関しては、学習にかかる計算費用が億円を超えると見積もられており^*41,45,46、教育分野に限らず国内では海外の大手企業が開発したモデルを利用している状況である^*41。

教育上での懸念としては、利用での金銭的な負担に加え、国や多くの企業では独自の生成AIの構築ないし制御が困難になることが指摘^*3されている。日本の「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」でも、「ChatGPT、Bing Chat、Bard等は、約款内容を踏まえて利用を判断すべき『約款による外部サービス』に分類される。これらのサービスは特約を個別に締結することが困難であり、必要なセキュリティ要件を満たしているとは必ずしも言えない現状がある」^*6と上記サービスを提供している企業とのセキュリティの交渉が困難であることが記載されている。

また、3.2節にてデータの偏りによって出力結果にバイアスが生じることについて紹介したが、特にGPTモデル等に学習させるデータや出力結果の是非はその国の価値観や文化を反映する^*41ため、場合によっては、既存モデルに組み込まれた価値観が定着する懸念や、精度等が適さない可能性^*3も指摘されている。

2023年には、対話型生成AIが宿題に利用されることによって記述式の課題への適切な評価が損なわれるとして議論になった^*47。ChatGPTのサービスを提供しているOpenAI社では、人間が書いた文章か、生成AIが作成した文章かを識別する検出器を提供していたが、現在は精度が低いとして利用を停止している^*48。このように、生成AIが作成した文章かどうかを識別することは技術的には難しいとされており、海外では盗用・剽窃チェックツールの誤検出によって学生が不当な評価を受けたとする例が報告されている^*49,50。

一方で、イギリスの職業資格を提供する団体らによって構成された組織（Joint Council for Qualfications）は、2023年3月に資格の提供に携わる評価者や教員にむけて、AIの悪用を想定した評価ガイダンス^*51「評価におけるAIの使用:資格の完全性の保護」^*52を公開した。ガイダンスではAIの悪用の説明や不正行為の防止、AIが悪用されたレポートの検出等が記載されている^*52。

国内においては、文部科学省が公開している「初等中等教育段階における生成AIの利用に関する暫定的なガイドライン」において、長期休み中の文章作成に関わる課題の課し方に対する留意事項を掲載している^*56。また現状を踏まえた評価方法としては、対面での試験や、画面をロックした状況でのオンライン試験等の物理的に使用を禁じる方法、生成AIが使われることを前提として、自身の体験を具体的に交えて説明させる等、生成AIでは自動生成することが難しい課題を出す等の案が提案されている^*53。

UNESCOが公開した「AIと教育：政策作成者に向けたガイダンス」では、教育分野にてAIを使用した際にどの程度効果があるかについては、現状は十分な情報がなく、不明であると指摘されている^*29。この点に関しては、今後実施される大規模な実証によって明らかにされる可能性がある。米国の教育省では、統計的に有意な有効性のある根拠を基にした"Evidence-based"な介入という考え方に力を入れている。米国の教育技術局が2023年3月に公開した、教育・学習・研究・評価に関するAIの機会とリスクについてまとめた^*54「人工知能(AI)と教育・学習の未来: 洞察と推奨事項」^*31においても、教育テクノロジーの導入に関する意思決定は、"Evidence-based"にて行い、導入するAIも根拠の強度に応じた4段階の基準を満たすようになること^*31を指摘している。