* [Blog](https://www2.paloaltonetworks.com/blog) * [Palo Alto Networks](https://www2.paloaltonetworks.com/blog/corporate/) * [視点](https://www2.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja) * 企業がAI活用時に考慮すべきセキュリティリスク... # 企業がAI活用時に考慮すべきセキュリティリスク [](https://www.facebook.com/sharer/sharer.php?u=https%3A%2F%2Fwww2.paloaltonetworks.com%2Fblog%2F2023%2F10%2Fenterprise-risks-of-ai-system%2F%3Flang%3Dja) [](https://twitter.com/share?text=%E4%BC%81%E6%A5%AD%E3%81%8CAI%E6%B4%BB%E7%94%A8%E6%99%82%E3%81%AB%E8%80%83%E6%85%AE%E3%81%99%E3%81%B9%E3%81%8D%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E3%83%AA%E3%82%B9%E3%82%AF&url=https%3A%2F%2Fwww2.paloaltonetworks.com%2Fblog%2F2023%2F10%2Fenterprise-risks-of-ai-system%2F%3Flang%3Dja) [](https://www.linkedin.com/shareArticle?mini=true&url=https%3A%2F%2Fwww2.paloaltonetworks.com%2Fblog%2F2023%2F10%2Fenterprise-risks-of-ai-system%2F%3Flang%3Dja&title=%E4%BC%81%E6%A5%AD%E3%81%8CAI%E6%B4%BB%E7%94%A8%E6%99%82%E3%81%AB%E8%80%83%E6%85%AE%E3%81%99%E3%81%B9%E3%81%8D%E3%82%BB%E3%82%AD%E3%83%A5%E3%83%AA%E3%83%86%E3%82%A3%E3%83%AA%E3%82%B9%E3%82%AF&summary=&source=) [](https://www.paloaltonetworks.com//www.reddit.com/submit?url=https://www2.paloaltonetworks.com/blog/2023/10/enterprise-risks-of-ai-system/?lang=ja&ts=markdown) [](mailto:?subject=企業がAI活用時に考慮すべきセキュリティリスク) Link copied By [Kaoru Hayashi](https://www.paloaltonetworks.com/blog/author/khayashi/?lang=ja&ts=markdown "Posts by Kaoru Hayashi") Oct 09, 2023 1 minutes [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [AI](https://www.paloaltonetworks.com/blog/tag/ai-ja-2/?lang=ja&ts=markdown) [CloudSecurity](https://www.paloaltonetworks.com/blog/tag/cloudsecurity/?lang=ja&ts=markdown) [DigitalTransformation](https://www.paloaltonetworks.com/blog/tag/digitaltransformation/?lang=ja&ts=markdown) [DLP](https://www.paloaltonetworks.com/blog/tag/dlp-ja/?lang=ja&ts=markdown) [DX](https://www.paloaltonetworks.com/blog/tag/dx/?lang=ja&ts=markdown) [GenerativeAI](https://www.paloaltonetworks.com/blog/tag/generativeai/?lang=ja&ts=markdown) [letter from CSO](https://www.paloaltonetworks.com/blog/tag/letter-from-cso/?lang=ja&ts=markdown) [MachineLearning](https://www.paloaltonetworks.com/blog/tag/machinelearning/?lang=ja&ts=markdown) [SecurityOperation](https://www.paloaltonetworks.com/blog/tag/securityoperation/?lang=ja&ts=markdown) [SoftwareSupplyChain](https://www.paloaltonetworks.com/blog/tag/softwaresupplychain/?lang=ja&ts=markdown) ## はじめに ビジネスにおけるAIやデータ活用はDXの文脈の中でこれまでも声高に叫ばれていましたが、利用の手軽さとアウトプット精度の高い生成AIの登場により、その採用企業の数が急速に増加しています。新たな技術を拙速に導入する場合、さまざまなセキュリティ上のリスクが発生する可能性があります。とくに現在の企業のインフラはオンプレミスやクラウド、モバイルやサプライチェーンなどが複雑に絡み合っているため、導入や利用の形態によるリスクの把握とコントロールが必要です。 ## 高まる生成AIへの期待と広がる利用 人工知能(AI)に対する期待と技術開発はこれまで何年も続いてきました。ただし、以前はAIを直接利用するのに数学やプログラミングの知識が必要だったので、多くの人にとって身近な技術とはいきませんでした。ところが近年、自然言語を使って会話するように利用できる生成AIが登場したことで、その利用者数は短期間で爆発的に増加しました。 Googleの提供する検索キーワードの傾向や人気度を調査できる [Google Trends](https://trends.google.com/trends/explore?q=Generative%20AI&hl=ja)によれば、「Generative AI (生成AI)」の検索は急増したあと、そのまま高止まりしていることがわかります(図1)。 ![図1は「Generative AI(生成AI)」の全世界検索トレンドをGoogle Trendsのデータを元にパロアルトネットワークスでグラフを作成した図](https://www.paloaltonetworks.com/blog/wp-content/uploads/2023/10/1generative-aiaigoogle-trends.png) 図1.「Generative AI(生成AI)」の全世界検索トレンド。 Google Trendsのデータを元にパロアルトネットワークスが作成 弊社が[生成AIの利用](https://www.linkedin.com/posts/palo-alto-networks_ugcPost-7098126251621588993-EiuW)についてSNS上で簡易アンケートを実施したところ、回答者の85%が「使用したことがある」と回答しました。ここからも、高い関心を集めているだけでなく、多くの人が実際に利用していることがわかります(図2)。 ![図2 生成AIの利用に関するアンケート結果。頻繁に使っている 36%、使ったことはある 49% をあわせると85%となり生成AIが実際に使われていることがわかる](https://www.paloaltonetworks.com/blog/wp-content/uploads/2023/10/2-ai-36-49.png) 図2. 生成AIの利用に関するアンケート 総務省が2023年7月に公開した「[情報通信白書令和5年版](https://www.soumu.go.jp/johotsusintokei/whitepaper/index.html)」によれば、生成AIの市場規模は2022年は約1.2兆円でしたが、今後は年間成長率35.6%で増加し、2030年には14兆円を超えると予測されています。実際、さまざまな企業や組織から、生成AIを導入し社員や顧客に対して提供するという[プレスリリース](https://prtimes.jp/main/action.php?run=html&page=searchkey&search_word=%E7%94%9F%E6%88%90AI)が数多く出されています。なかでも興味深いのが、新技術の採用にどちらかといえば保守的であると考えられてきた地方自治体などの公的分野が、業務効率化や市民サービス向上のため、生成AIの活用を開始したとアナウンスしはじめていることです。 こうして急速に広がりを見せる生成AIですが、これらのAI技術の利用からサイバーセキュリティリスクは生じないでしょうか。生じるなら、それはどのようなものでしょうか。 ## AI利用の代表的な3つのユースケースとセキュリティリスク AI技術のもたらすサイバーセキュリティリスクを検討するまえに、そもそもAIはどのように利用されることが多いのか、その方法を考えてみます。本稿では代表的な3つのユースケースをとりあげました。 ### 外部AIシステムの利用 AIサービス事業者が提供するシステムにWebやAPI経由でアクセスし、利用するケースです。アカウントを開設すればすぐ利用できて手軽である反面、事前に事業者が用意したデータしか使えないので、必ずしも利用側に特有の状況や意図を汲んだ精度の高いアウトプットが得られない場合があります。 一般的なSaaSと同様、[利用者の責任](https://www.paloaltonetworks.com/blog/prisma-cloud/pitfalls-shared-responsibility-cloud-security/?lang=ja)は主に「アクセスする経路」と「データの保護」にあります。利用するアカウントのIDやパスワードが脆弱であったり、[フィッシング](https://unit42.paloaltonetworks.jp/chatgpt-scam-attacks-increasing/)攻撃によって漏えいすると、そのアカウントが攻撃者に悪用されます。また、データの保護にも多くの注意を払う必要があります。とくに生成AIでは自然言語で会話してデータをやりとりするので、利用者が「この会話は保護すべきデータである」と認識しづらい場合があります。AI事業者によっては、こうした会話で入力した情報を学習データとして再利用することがあるので、入力された個人情報やソースコードなど組織の機密情報がサービスを通じて漏えいするリスクもあります。このため、生成AIとの会話の内容には注意を払う必要があります。 ### 外部AIシステムに独自データを追加 AIサービス事業者が提供する事前学習データに自社固有のデータを加えて[ファインチューニング](https://www.intellilink.co.jp/column/ai/2023/080200.aspx)することで、より精度の高いアウトプットを求める方式です。国内で急速に増えている導入事例はこのケースです。 先の外部AIシステムを利用するケースと似ていますが、いくつかの点で注意が必要です。まず、精度の高いアウトプットを得るには質の高いインプットが必要です。組織固有で質の高いデータを一定量収集すると、機微な情報が一箇所に集まる可能性があります。このため、窃取・破壊・改ざん・漏えいなどのリスクに備える必要があります。 次に、収集データを外部AIシステムにアップロードして利用する場合、その外部でのデータの保護について、利用者の責任範囲を確認する必要があります。IaaS上に設置したストレージにデータをアップロードして保存する必要がある場合、利用者には[より多くのセキュリティ上の責任](https://www.paloaltonetworks.com/blog/prisma-cloud/pitfalls-shared-responsibility-cloud-security/?lang=ja)が課せられます。したがって、システムの構成や設定、監視を徹底する必要があります。 ### 内製AIシステムの利用 AIシステムを内製すれば、アルゴリズムやモデル、データを含め、自組織でシステムを完全にコントロールできます。その反面、必要なセキュリティは先の2つのユースケースより多くなります。 本稿ではデータとシステムの2点を取り上げます。 AIシステムでは、学習データの収集・保管が行われます。このため、窃取・破壊・改ざんのターゲットになりやすいのは先のユースケースと同様です。加えて、顧客や取引先またはインターネットから収集した外部データを利用する場合、不正なデータ(たとえば悪意のあるデータ、倫理や著作権上の問題があるデータ)が含まれるケースが考えられます。このため、自社の基準から外れたデータが含まれないよう、監視する必要があります。 AIシステムを内製する場合、自社か委託先で開発を行います。そのさい、さまざまなオープンソースまたはサードパーティのソフトウェア(自社以外の第三者が書いたコード)を多数、システムで利用することになります。このなかには悪意のあるコードや脆弱性がまぎれこむ可能性があるので、[ソフトウェアサプライチェーン](https://www.paloaltonetworks.jp/prisma/cloud/software-supply-chain-security)を含めた開発環境のセキュリティ対策が必要となります。 ## さいごに 一年前にはさほど話題にのぼらなかった技術を多くの企業・組織が急速に活用しはじめることは、ITの歴史のなかでも稀なことです。今後もさらに多くの事業者が参入し、技術開発が進み、新たなサービスやニーズが生まれ、AIはビジネスに不可欠な存在となっていくことでしょう。 一方で、AIシステムとデータに対するビジネスの依存度が高まると、その停止や破壊から組織が受ける影響も甚大になります。また、生成AIのように誰でも簡単に利用できる技術には利用者のリテラシーが求められるため、教育や技術によるセーフガードが有効です。AIに限らず、リスクを適切にコントロールしながら、技術をうまく活用していくバランスが求められています。 *** ** * ** *** ## Related Blogs ### [Cybersecurity](https://www.paloaltonetworks.com/blog/category/cybersecurity-jp/?lang=ja&ts=markdown), [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [#### Cybersecurity Awareness Month に考える、セキュリティトランスフォーメーションとセキュリティ人材の未来](https://www2.paloaltonetworks.com/blog/2023/10/cybersecurity-awareness-month-jp/?lang=ja) ### [Company \& Culture](https://www.paloaltonetworks.com/blog/category/company-and-culture/?lang=ja&ts=markdown), [Culture and Diversity](https://www.paloaltonetworks.com/blog/category/culture-and-diversity/?lang=ja&ts=markdown), [Secure the Enterprise](https://www.paloaltonetworks.com/blog/category/secure-the-enterprise-2/?lang=ja&ts=markdown), [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [#### 人・プロセス・テクノロジーの活用で実現する組織のトランスフォーメーション](https://www2.paloaltonetworks.com/blog/2022/08/organizational-transformation-via-people-process-technology/?lang=ja) ### [CSO Perspective](https://www.paloaltonetworks.com/blog/category/cso-perspective-ja/?lang=ja&ts=markdown), [Cybersecurity](https://www.paloaltonetworks.com/blog/category/cybersecurity-jp/?lang=ja&ts=markdown), [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [#### サイバー防術のススメ](https://www2.paloaltonetworks.com/blog/2024/03/cyber-bojutsu/?lang=ja) ### [Secure the Enterprise](https://www.paloaltonetworks.com/blog/category/secure-the-enterprise-2/?lang=ja&ts=markdown), [Secure the Future](https://www.paloaltonetworks.com/blog/category/secure-the-future-2/?lang=ja&ts=markdown), [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [#### 2023年の脅威動向ふりかえり](https://www2.paloaltonetworks.com/blog/2023/12/security-landscape-in-2023/?lang=ja) ### [CIO/CISO](https://www.paloaltonetworks.com/blog/category/ciociso-ja/?lang=ja&ts=markdown), [CSO Perspective](https://www.paloaltonetworks.com/blog/category/cso-perspective-ja/?lang=ja&ts=markdown), [Cybersecurity](https://www.paloaltonetworks.com/blog/category/cybersecurity-jp/?lang=ja&ts=markdown), [Secure the Enterprise](https://www.paloaltonetworks.com/blog/category/secure-the-enterprise-2/?lang=ja&ts=markdown), [Secure the Future](https://www.paloaltonetworks.com/blog/category/secure-the-future-2/?lang=ja&ts=markdown), [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [#### 脆弱性悪用攻撃はなぜ減らない?](https://www2.paloaltonetworks.com/blog/2023/09/mitigating-software-vuln-exploit/?lang=ja) ### [Cybersecurity](https://www.paloaltonetworks.com/blog/category/cybersecurity-jp/?lang=ja&ts=markdown), [視点](https://www.paloaltonetworks.com/blog/category/%e8%a6%96%e7%82%b9/?lang=ja&ts=markdown) [#### AIを利用した早期発見能力の構築](https://www2.paloaltonetworks.com/blog/2023/07/necessary-for-anomly-detection/?lang=ja) ### Subscribe to the Blog! Sign up to receive must-read articles, Playbooks of the Week, new feature announcements, and more. ![spinner](https://www2.paloaltonetworks.com/blog/wp-content/themes/panwblog2023/dist/images/ajax-loader.gif) Sign up Please enter a valid email. By submitting this form, you agree to our [Terms of Use](https://www.paloaltonetworks.com/legal-notices/terms-of-use?ts=markdown) and acknowledge our [Privacy Statement](https://www.paloaltonetworks.com/legal-notices/privacy?ts=markdown). Please look for a confirmation email from us. If you don't receive it in the next 10 minutes, please check your spam folder. This site is protected by reCAPTCHA and the Google [Privacy Policy](https://policies.google.com/privacy) and [Terms of Service](https://policies.google.com/terms) apply. {#footer} {#footer} ## Products and Services * [AI-Powered Network Security Platform](https://www.paloaltonetworks.com/network-security?ts=markdown) * [Secure AI by Design](https://www.paloaltonetworks.com/precision-ai-security/secure-ai-by-design?ts=markdown) * [Prisma AIRS](https://www.paloaltonetworks.com/prisma/prisma-ai-runtime-security?ts=markdown) * [AI Access Security](https://www.paloaltonetworks.com/sase/ai-access-security?ts=markdown) * [Cloud Delivered Security Services](https://www.paloaltonetworks.com/network-security/security-subscriptions?ts=markdown) * [Advanced Threat Prevention](https://www.paloaltonetworks.com/network-security/advanced-threat-prevention?ts=markdown) * [Advanced URL Filtering](https://www.paloaltonetworks.com/network-security/advanced-url-filtering?ts=markdown) * [Advanced WildFire](https://www.paloaltonetworks.com/network-security/advanced-wildfire?ts=markdown) * [Advanced DNS Security](https://www.paloaltonetworks.com/network-security/advanced-dns-security?ts=markdown) * [Enterprise Data Loss Prevention](https://www.paloaltonetworks.com/sase/enterprise-data-loss-prevention?ts=markdown) * [Enterprise IoT Security](https://www.paloaltonetworks.com/network-security/enterprise-device-security?ts=markdown) * [Medical IoT Security](https://www.paloaltonetworks.com/network-security/medical-device-security?ts=markdown) * [Industrial OT Security](https://www.paloaltonetworks.com/network-security/medical-device-security?ts=markdown) * [SaaS Security](https://www.paloaltonetworks.com/sase/saas-security?ts=markdown) * [Next-Generation Firewalls](https://www.paloaltonetworks.com/network-security/next-generation-firewall?ts=markdown) * [Hardware Firewalls](https://www.paloaltonetworks.com/network-security/hardware-firewall-innovations?ts=markdown) * [Software Firewalls](https://www.paloaltonetworks.com/network-security/software-firewalls?ts=markdown) * [Strata Cloud Manager](https://www.paloaltonetworks.com/network-security/strata-cloud-manager?ts=markdown) * [SD-WAN for NGFW](https://www.paloaltonetworks.com/network-security/sd-wan-subscription?ts=markdown) * [PAN-OS](https://www.paloaltonetworks.com/network-security/pan-os?ts=markdown) * [Panorama](https://www.paloaltonetworks.com/network-security/panorama?ts=markdown) * [Secure Access Service Edge](https://www.paloaltonetworks.com/sase?ts=markdown) * [Prisma SASE](https://www.paloaltonetworks.com/sase?ts=markdown) * [Application Acceleration](https://www.paloaltonetworks.com/sase/app-acceleration?ts=markdown) * [Autonomous Digital Experience Management](https://www.paloaltonetworks.com/sase/adem?ts=markdown) * [Enterprise DLP](https://www.paloaltonetworks.com/sase/enterprise-data-loss-prevention?ts=markdown) * [Prisma Access](https://www.paloaltonetworks.com/sase/access?ts=markdown) * [Prisma Browser](https://www.paloaltonetworks.com/sase/prisma-browser?ts=markdown) * [Prisma SD-WAN](https://www.paloaltonetworks.com/sase/sd-wan?ts=markdown) * [Remote Browser Isolation](https://www.paloaltonetworks.com/sase/remote-browser-isolation?ts=markdown) * [SaaS Security](https://www.paloaltonetworks.com/sase/saas-security?ts=markdown) * [AI-Driven Security Operations Platform](https://www.paloaltonetworks.com/cortex?ts=markdown) * [Cloud Security](https://www.paloaltonetworks.com/cortex/cloud?ts=markdown) * [Cortex Cloud](https://www.paloaltonetworks.com/cortex/cloud?ts=markdown) * [Application Security](https://www.paloaltonetworks.com/cortex/cloud/application-security?ts=markdown) * [Cloud Posture Security](https://www.paloaltonetworks.com/cortex/cloud/cloud-posture-security?ts=markdown) * [Cloud Runtime Security](https://www.paloaltonetworks.com/cortex/cloud/runtime-security?ts=markdown) * [Prisma Cloud](https://www.paloaltonetworks.com/prisma/cloud?ts=markdown) * [AI-Driven SOC](https://www.paloaltonetworks.com/cortex?ts=markdown) * [Cortex XSIAM](https://www.paloaltonetworks.com/cortex/cortex-xsiam?ts=markdown) * [Cortex XDR](https://www.paloaltonetworks.com/cortex/cortex-xdr?ts=markdown) * [Cortex XSOAR](https://www.paloaltonetworks.com/cortex/cortex-xsoar?ts=markdown) * [Cortex Xpanse](https://www.paloaltonetworks.com/cortex/cortex-xpanse?ts=markdown) * [Unit 42 Managed Detection \& Response](https://www.paloaltonetworks.com/cortex/managed-detection-and-response?ts=markdown) * [Managed XSIAM](https://www.paloaltonetworks.com/cortex/managed-xsiam?ts=markdown) * [Threat Intel and Incident Response Services](https://www.paloaltonetworks.com/unit42?ts=markdown) * [Proactive Assessments](https://www.paloaltonetworks.com/unit42/assess?ts=markdown) * [Incident Response](https://www.paloaltonetworks.com/unit42/respond?ts=markdown) * [Transform Your Security Strategy](https://www.paloaltonetworks.com/unit42/transform?ts=markdown) * [Discover Threat Intelligence](https://www.paloaltonetworks.com/unit42/threat-intelligence-partners?ts=markdown) ## Company * [About Us](https://www.paloaltonetworks.com/about-us?ts=markdown) * [Careers](https://jobs.paloaltonetworks.com/en/) * [Contact Us](https://www.paloaltonetworks.com/company/contact-sales?ts=markdown) * [Corporate Responsibility](https://www.paloaltonetworks.com/about-us/corporate-responsibility?ts=markdown) * [Customers](https://www.paloaltonetworks.com/customers?ts=markdown) * [Investor Relations](https://investors.paloaltonetworks.com/) * [Location](https://www.paloaltonetworks.com/about-us/locations?ts=markdown) * [Newsroom](https://www.paloaltonetworks.com/company/newsroom?ts=markdown) ## Popular Links * [Blog](https://www.paloaltonetworks.com/blog/?ts=markdown) * [Communities](https://www.paloaltonetworks.com/communities?ts=markdown) * [Content Library](https://www.paloaltonetworks.com/resources?ts=markdown) * [Cyberpedia](https://www.paloaltonetworks.com/cyberpedia?ts=markdown) * [Event Center](https://events.paloaltonetworks.com/) * [Manage Email Preferences](https://start.paloaltonetworks.com/preference-center) * [Products A-Z](https://www.paloaltonetworks.com/products/products-a-z?ts=markdown) * [Product Certifications](https://www.paloaltonetworks.com/legal-notices/trust-center/compliance?ts=markdown) * [Report a Vulnerability](https://www.paloaltonetworks.com/security-disclosure?ts=markdown) * [Sitemap](https://www.paloaltonetworks.com/sitemap?ts=markdown) * [Tech Docs](https://docs.paloaltonetworks.com/) * [Unit 42](https://unit42.paloaltonetworks.com/) * [Do Not Sell or Share My Personal Information](https://panwedd.exterro.net/portal/dsar.htm?target=panwedd) ![PAN logo](https://www.paloaltonetworks.com/etc/clientlibs/clean/imgs/pan-logo-dark.svg) * [Privacy](https://www.paloaltonetworks.com/legal-notices/privacy?ts=markdown) * [Trust Center](https://www.paloaltonetworks.com/legal-notices/trust-center?ts=markdown) * [Terms of Use](https://www.paloaltonetworks.com/legal-notices/terms-of-use?ts=markdown) * [Documents](https://www.paloaltonetworks.com/legal?ts=markdown) Copyright © 2026 Palo Alto Networks. All Rights Reserved * [![Youtube](https://www.paloaltonetworks.com/etc/clientlibs/clean/imgs/social/youtube-black.svg)](https://www.youtube.com/user/paloaltonetworks) * [![Podcast](https://www.paloaltonetworks.com/content/dam/pan/en_US/images/icons/podcast.svg)](https://www.paloaltonetworks.com/podcasts/threat-vector?ts=markdown) * [![Facebook](https://www.paloaltonetworks.com/etc/clientlibs/clean/imgs/social/facebook-black.svg)](https://www.facebook.com/PaloAltoNetworks/) * [![LinkedIn](https://www.paloaltonetworks.com/etc/clientlibs/clean/imgs/social/linkedin-black.svg)](https://www.linkedin.com/company/palo-alto-networks) * [![Twitter](https://www.paloaltonetworks.com/etc/clientlibs/clean/imgs/social/twitter-x-black.svg)](https://twitter.com/PaloAltoNtwks) * EN Select your language