生成AIが発達する中で、危険な情報や非倫理的な文章・画像を生成しない安全機能がほとんどのAIには備わっています。一方で、安全機能を解除する「ジェイルブレイク」により規制を回避する方法も発見されています。イーロン・マスク氏が設立したAI企業のxAIが2023年11月に発表した独自の言語モデル「Grok」は、悪意のあるフェイクニュースを制限せずにまとめたりリベラルな回答を繰り返して保守派を怒らせたりと話題になりましたが、生成AIにおける安全規制について、ジェイルブレイクすらほとんど必要なく危険な情報を出力可能だと指摘されています。