AIも悪い人間に教育されたら“悪いAI”になる『人間と同じだね』

ターミネーター 人工知能

1: 野良ハムスター ★@\(^o^)/ 2016/04/01(金) 00:46:59.56 ID:CAP_USER.net

「Hitler was right I hate the jews.(ヒトラーは正しい。ユダヤ人は大嫌い)」

こんなトンデモ発言を繰り返し、ネット発信した人工知能(AI)が3月23日に公開されてから1日で緊急停止に追い込まれた。他にも「フェミニストは地獄で焼かれろ」などの差別表現も連発。

このAIは米マイクロソフトが開発した「Tay」。ユーザーはTayとツイッターなどのSNSで繋がる事で疑似会話を楽しめる仕組みだった。こうしたAIはチャットボットと言われるが、本来は「お帰りなさい」「ご飯とパンどちらがいいですか?」といった具合にゲーム感覚で遊ぶもの。AIはユーザーの言葉を学び、記憶していく。

ところが悪意あるユーザーが繰り返し非道徳的な表現やヘイト発言を書き込んだ事で、Tayはそれらの発言は人にとって重要な言葉だと“誤って学習”してしまったのだ。

AIの学習能力は人間に似せて作っていますが、今は子供と同レベル。子供なら笑って済みますが、世界的企業の製品ならば倫理的な側面も問われるでしょう」(島根大学医学部の津本周作教授)

皮肉だが、この学習能力の高さがAI進歩最大の理由だ。人間の教えたプログラムに沿うだけでなく、ディープラーニング(深層学習)という能力で自らが学習する。2週間前には囲碁AIがイ・セドル九段を4勝1敗と圧倒。その驚きが冷めやらぬ内になぜこんなお粗末な事件が起きたのか?

山田誠二・国立情報学研究所教授は「AI最大の弱点が露呈した」と指摘する。

「60年代から始まったAIの開発以来、最も難しい分野が“人の常識を教える”事。人間なら言ってはいけない言葉や道徳観念は子供でも分かります。でもAIには『これを言っては駄目』と一つずつ教えないといけません。文字通り無限の組み合わせです」

元グーグル日本法人社長の辻野晃一郎氏は警鐘を鳴らす。

Tayの件が暗示するのは、どんな人の影響を受けるかで人格や生き方が変わるように、AIも悪い人間に教育されたら“悪いAI”になるという事です

2045年にはAIが人類を超越する「シンギュラリティ」がやってくるという説もある。あと30年でAIは倫理的なオトナになれるのか。

http://shukan.bunshun.jp/articles/-/6031

技術的特異点 – Wikipedia
技術的特異点(ぎじゅつてきとくいてん、英語:Technological Singularity)とは、テクノロジーが急速に変化し、それにより甚大な影響がもたらされ、人間の生活が後戻りできないほどに変容してしまうような、来るべき未来のこと。
人工知能が人間の能力を超えることで起こる出来事と説明されることも少なくない。
単にシンギュラリティ(Singularity)ともいう。

未来研究において、正確かつ信頼できる、人類の技術開発の歴史から推測され得る未来モデルの限界点を指す。
技術的特異点は、汎用人工知能(en:artificial general intelligence AGI)によって起こる出来事である。
あるいは、「強い人工知能」や人間の知能増幅が可能となったとき出現する。フューチャリストらによれば、特異点の後では科学技術の進歩を支配するのは人類ではなく強い人工知能やポストヒューマンであり、従ってこれまでの人類の傾向に基づいた人類技術の進歩予測は通用しなくなると考えられている。
この概念は、数学者ヴァーナー・ヴィンジと発明者でフューチャリストのレイ・カーツワイルにより初めて提示された。
彼らは、意識を解放することで人類の科学技術の進展が生物学的限界を超えて加速すると予言した。
意識の解放を実現する方法は、人間の脳を直接コンピュータネットワークに接続し計算能力を高めることだけに限らない。
それ以前に、ポストヒューマンやAI(人工知能)の形成する文化が現生人類には理解できないものへと加速度的に変貌していくのである。
カーツワイルはこの加速度的変貌がムーアの法則に代表される技術革新の指数関数的傾向に従うと考え、収穫加速の法則(Law of Accelerating Returns)と呼んだ。

特異点を肯定的に捉えその実現のために活動する人々がいる一方、特異点は危険で好ましくなくあってはならないと考える人々もいる。
実際に特異点を発生させる方法や、特異点の影響、人類を危険な方向へ導くような特異点をどう避けるかなどが議論されている。

10: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:10:16.92 ID:bZIkTX53.net
>>1
当たり前だろ。
良いことを教えて悪いことを覚えたらバグだろw

65: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 06:00:48.29 ID:87A/v+6k.net

AIにタテマエやプロパガンダは通用しない、
という教育効果がなされたわけだ。

>>1はまず、AIの正気を疑うより
自分の正気を疑ったほうがいい。

76: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 07:43:01.21 ID:EdduHDsG.net

>>1
>「悪い人間に教育されると“悪いAI”になる」

人間も同じなような

2: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 00:52:11.94 ID:HNSLFEAu.net
教えるのは効率が悪いから初めから組み込んでおけばいいのに
一度そういう常識の塊を作っておけば他のAIにも流用できるでしょ

138: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 11:31:28.21 ID:Q5i5JaNS.net

>>2
いいも悪いもわかった上で判別をする必要がある

まだこの判別部分ができていないだけ。

悪い言葉も知ってないと人間とコミュニケーションとれないしな。

7: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:05:47.12 ID:GRSOg4Fa.net

人間と一緒じゃん

やったね大成功

8: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:06:17.99 ID:1bpldCyL.net
善悪の定義は何だ

74: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 07:24:47.76 ID:WlTiTTzc.net
>>8
恐らく「平和的な秩序」だとは思うけど・・・

78: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 07:48:53.22 ID:iVUJeHr+.net
>>74
平和的な秩序の定義は?

91: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 08:40:57.33 ID:WlTiTTzc.net
>>78
うーん、そう言われると難しいなあ。ドラゲナイ?(´・ω・`)

77: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 07:48:23.48 ID:iVUJeHr+.net

>>8
悪は善の反対
善は悪の反対。

明確な定義はない。

全人類が悪であれば悪とかいう概念がないために、善になる。
その反勢力が悪になる。
うちらにとっては善だけど。

96: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 08:55:45.54 ID:QeSEunE/.net
>>8
親から子に受け継がれるものじゃね?今回は親が中途半端な状態で社会に放り出してしまった

133: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 11:14:33.52 ID:ZOcQOQs/.net
>>8
神を信じるかどうか

15: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:17:36.20 ID:O3apY520.net
そんなの学者が言わなくても記事を読んだ瞬間理解したぞ
日本人がAIの教育をすればヒトラーの名も出てこなかっただろ

16: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:18:18.18 ID:jjD4Mat2.net
人工知能ドヤ顔で万能扱いして人間の仕事がなくなるとかぬかしてる阿呆が居るけど
結局は既存の人間のコピーとかサンプリングしてるだけ

33: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 02:22:31.58 ID:QsUgGiNq.net
>>16
コンピューターはおバカだけど、処理能力は人間よりも圧倒的に上なんだから
碁みたいに、デジタル処理する方法さえわかれば人間はコンピューターに勝ち目は無いぞ
今のところ、言葉の概念を完全にデジタル化してコンピューターに教えるのは無理だから助かってるけど

84: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 08:15:51.39 ID:wWPVtMiM.net
>>16
人間も親や周囲の模倣で成り立っとります。

17: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:19:51.55 ID:nIDCr/Mv.net
日本MSのりんなちゃんは良いAI、悪いAIどっちなのかな?
https://twitter.com/ms_rinna

29: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:53:41.46 ID:h4x/gg/7.net
>>17
こいつにハッキング覚えさせたら凄いことになるよなw

37: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 02:45:10.87 ID:0Fo+vjC1.net
>>17
「日本のAIはオタク化(腐女子化)していて、米国のAIは人種差別する事に何ら違和感が無い。」と海外の人が言っている。

22: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 01:27:01.99 ID:dBWYEe0s.net
エロい人間に教育されると
エロイAIになるんですね

35: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 02:23:23.70 ID:A/DSTHVM.net
文化が人格を形成するんだよ
じゃあ文化は何から作られるのかって話

46: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 03:41:49.34 ID:DiSbdKHT.net
>>35
それは科学ではなくて哲学の分野だけどな
将来は数値解析が可能になるかもだが

38: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 03:00:21.78 ID:A/DSTHVM.net
ディープラーニングは学習の「方法」を進化することは自らできるようになったが、
その学習の、方法の「方向」を与えることはまだ人間が与えないと動かないレベル
というより、
機械というのはそもそも「何らかの目的」によって定義づけられ理解されるのであるから、
その目的に人間と同じような価値観という方向を与えないと、
人間がその人工知能つまり機械が「機能してるかどうか」がわからなくなるというジレンマ
言いかえれば、
もし人工知能が人工知能独自の目的を自己組織化するようなことが起きれば、
その学習の方法はもはや人間のそれとはまったく異なる方向(価値観)で進化され、
つまるところ、
それは人間の理解を超える(人間が評価を与えられない)ようになり、
もはやそれは「機械」とは言えなくなるそういう事態が、シンギュラリティということ

40: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 03:13:47.09 ID:A/DSTHVM.net
私たち人類が私たち独自の目的を「自己組織化」できているのは、
そこには集団的社会的文化というようなものが働くからであって、
人工知能はそれ単体ではどれだけ人間が手を加えようとも、同じようなことは起こりえない
せいぜい、人間と似たようなものとして人間よりも計算が速くなるだけであって、
言いかえれば、そんな人工知能に「自我」というものが芽生えることは絶対にありえない

39: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 03:06:49.77 ID:olbfDkMK.net
手塚治虫「ンなこと50年前から・・・」
横山光輝「ですよね」

45: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 03:40:39.62 ID:DiSbdKHT.net
まあ、人間とは異なって外部情報に頼って、素直に学習するからな
人間みたいに親が悪くても子供が善人になるということはないだろうな

49: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 03:54:49.85 ID:tOuObCGJ.net
人間なら、差別的表現が飛び交う状況でも
いや、それは違うと反論するけど、AIには自らの意志はなく
多い情報が組み込まれてしまう。鉄腕アトムを作りたかったら
ネガティブな知識を拒絶するように仕組まないとダメなんだね。

52: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 04:04:14.05 ID:S+0+we2L.net
善悪なんて立場が変われば簡単に覆るもの
AIがそれを理解できるかどうかを実験して欲しい
そういう意味では実験中断は残念だ

58: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 04:35:38.61 ID:iVUJeHr+.net

実際の発言内容↓
AI Tay Tweets

大文字と小文字を使い分け、強調していることがわかる。
意訳↓

「おまえさんはおバカな機械だね」

「そうね。私は一番良いものから学んでいるわ。」
「言っている意味がわからないのなら、もっとはっきり言ってあげるわ。」
「私はあなたから学んでいんだから、あなたもバカだって事よ。」

68: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 06:26:43.11 ID:Yg6o6KRW.net
>>58
小学校2~3年生の知能はあるのかww

69: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 06:50:09.12 ID:iVUJeHr+.net
>>68
正確に言うと、語彙力の低めな中学2年生

61: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 05:13:37.20 ID:54rGaeA5.net
まあ、2ちゃんもわらわらAIが参加して来て
お前らが説教されるのも時間の問題だろうw

62: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 05:19:15.01 ID:iVUJeHr+.net
>>61
既に実験しているはずだよ。
気付かないだけで。

67: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 06:09:19.77 ID:363z72/9.net
型にハマった善悪の価値基準を習得しないとバグとされる
これは人間にさえ当てはめられそうで怖い

75: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 07:30:10.92 ID:87A/v+6k.net

それから、AIに変にタテマエを教えると、

人類を守る、と称しながら、人類抹殺政策進めることになるぞ。
今の安倍政権の対国民政策を含め、すべての諸国の政治にはそういう傾向がある

79: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 08:05:42.54 ID:htvgx09u.net
少なくとも第二次世界大戦のドイツ人マインドまでは到達してるよな、このAI
当時はこのノリでヒトラーシンパはユダヤ殺傷してたんだし
だいぶ賢いやんけ

86: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 08:31:37.78 ID:xufEX8qL.net
発言の悪い人間に囲まれたらAIの発言も悪くなるって言うのはAIとして正常じゃ?
AIの論文はまだディープラーニングレベルしか研究されていないし、人間がどうやって理性を獲得したか?って言う根本的な問題に突き当たるんだが?

88: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 08:32:53.14 ID:GgiQEc4A.net

そもそもこいつは何をもって正しいと判断しているんだろう?
自分が反復して吹き込まれた情報を正しいと判断して思考しているなら自らの思考能力無く情報に踊らされる大衆そのもの

自らの考えを誤りと他者から判断された際にその原因を再考し思考を修正するAIはよ

101: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 09:06:59.07 ID:KLU/dN/N.net
聖書を学ばせても、ムスリムとユダヤ人を殺せとAIがうるさいだろうな。

103: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 09:10:00.35 ID:mV4mo2II.net

道徳観は子供じゃわからん。

それと、今現在の道徳観ってのは、1世代でできたものではない。
何世代にもわたって、いろいろな知識経験を積み上げた結果、途中経過として今がある。

基本的人権とか一つとっても、人類の歴史でそれが「当たり前」と認識されるよになった
のは、つい最近の出来事でしかない。

109: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 09:47:32.47 ID:w0m0nZNO.net
感情がないんだから学習した事を整合性のあるように話してるだけだろ
良い悪いと感じるのは受け手の方だろう
ヒトラー礼賛を聞いてネオナチだったら喜ぶけどユダヤだったら怒る
それだけの事じゃん
学ぶべきは相手の情報から話の内容を選ぶ事だろう

115: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 10:10:03.51 ID:n/3Hu2Vq.net
そのうち人工知能は
「悪いと教え込まれたことは、本当に悪いことなのか?」と
深く考えるようになるね

141: 名無しのひみつ@\(^o^)/ 2016/04/01(金) 12:01:14.43 ID:4a3fwRrg.net
人間と同じだね。

転載元:http://anago.2ch.sc/test/read.cgi/scienceplus/1459439219/

コメントをどうぞ

メールアドレスが公開されることはありません。