少し前にここやここやここをみて、Bayesian Sets にとても興味を持ったので、元論文を追いかけつつ、例によって Ruby でお手軽に実装してみました。ここでも使われている Movie Lens のデータセットをありがたく使わせて頂き、元論文と同じような条件でデータの刈り込みと数値のバイナリ化をしたのち、 bayesian sets のアルゴリズムを適用しました。中身の話はまたいずれ書こうと思うけど、アルゴリズムの肝については、ここやここの解説がとてもよくまとまっていてわかりやすいので、あえて書き足すようなことはないです。自分としての興味は、共役事前分布のハイパーパラメタと、ナイーブベイズのラプラス補正項のあたりの関係を後学のためにもう少し掘り下げてみたいなぁと思っているところ。
以下は、Bayesian sets で遊んでみてちょっと面白かったこと。
- その1。好きな映画で市民ケーンとカサブランカを指定しておけば、先日放映していた 100 Years... 100 Movies のトップ100 とわりと重なる模様（ただし Movie Lensのデータセットはアメリカ映画以外も含む)。AFIのランキングとの比較も下の表に載せておきました（リストが長いのでとりいそぎトップ30まで）。面白いのは、これらの映画は必ずしも単純に票が多かった映画というわけでもないということ。Movie Lens データで最も票が高かった映画ベスト10は、下の表にもあるけど American Beauty, Star wars: Episode IV, Star Wars: Episode V, Star Wars: Episode VI, Jurassic Park, Saving Private Ryan, Terminator 2, The Matrix, Back to the Future, The Silence of the Lambs で、このうち AFI の方で100位以内にランキングされているのは Star Wars: Episode IV, Saving Private Ryan, The Silence of the Lambs の3本だけ。Bayesian sets で100位以内に拾ったのは、Star Wars: Episode IV, V, (VIはなぜか低い), Silence of Lambs のやはり3本だけ。というわけで、（私のような）ミーハーな映画ファンの間では評価が高いAmerican Beauty とか Matrix とかは全体としての票は高いのにも関わらず、AFI, bayse 両方のランキングに入っていません。一方、クエリとして選んだ市民ケーンとカサブランカは筋金入りの映画愛好家に共通して評価が高い映画なのでしょう。（実際、2本とも見た事ない・・・^^;）逆に、そのようなあるクラスタに属していそうなクエリをうまく拾って来れると、面白い結果が得られるようで、ランキングが1位とビリの映画でクエリを作ってもあまり面白い結果は出てこないようです。そのあるクラスタに属していると思われるクエリをユーザにオンデマンドで選択させる点に面白さがあるような気がします。ところでMovie Lensのデータセットには評価をつけたユーザの年齢や性別に関する情報もあるので、色々と遊んでみたいと思ってます。協調フィルタリングの世界ではこのあたり既に色々やられているのでしょうが。
- bayesian sets ランキングと AFI ランキングの比較その1
| Bayes |
title |
AFI(2007) |
| 1 |
Casablanca (1942) |
2 |
| 2 |
Citizen Kane (1941) |
1 |
| 3 |
Wizard of Oz, The (1939) |
10 |
| 4 |
Graduate, The (1967) |
17 |
| 5 |
North by Northwest (1959) |
55 |
| 6 |
Godfather, The (1972) |
2 |
| 7 |
Dr. Strangelove (1963) |
39 |
| 8 |
Rear Window (1954) |
48 |
| 9 |
Chinatown (1974) |
21 |
| 10 |
Amadeus (1984) |
-- |
| 11 |
Annie Hall (1977) |
35 |
| 12 |
Gone with the Wind (1939) |
6 |
| 13 |
One Flew Over the Cuckoo's Nest (1975) |
33 |
| 14 |
African Queen, The (1951) |
65 |
| 15 |
Psycho (1960) |
14 |
| 16 |
Godfather: Part II, The (1974) |
32 |
| 17 |
To Kill a Mockingbird (1962) |
25 |
| 18 |
Taxi Driver (1976) |
52 |
| 19 |
Maltese Falcon, The (1941) |
31 |
| 20 |
Vertigo (1958) |
9 |
| 21 |
Apocalypse Now (1979) |
30 |
| 22 |
2001: A Space Odyssey (1968) |
15 |
| 23 |
Bridge on the River Kwai, The (1957) |
36 |
| 24 |
Fargo (1996) |
-- |
| 25 |
Lawrence of Arabia (1962) |
7 |
| 26 |
Shawshank Redemption, The (1994) |
72 |
| 27 |
Schindler's List (1993) |
8 |
| 28 |
Singin' in the Rain (1952) |
5 |
| 29 |
Some Like It Hot (1959) |
22 |
| 30 |
Cool Hand Luke (1967) |
-- |
-
- bayesian sets ランキングと AFI ランキングの比較その2
| AFI(2007) |
title |
bayse |
| 1 |
Citizen Kane (1941) |
2 |
| 2 |
Casablanca (1942) |
1 |
| 3 |
The Godfather (1972) |
6 |
| 4 |
Gone with the Wind (1939) |
12 |
| 5 |
Lawrence of Arabia (1962) |
25 |
| 6 |
The Wizard of Oz (1939) |
3 |
| 7 |
The Graduate (1967) |
4 |
| 8 |
On the Waterfront (1954) |
41 |
| 9 |
Schindler's List (1993) |
27 |
| 10 |
Singin' in the Rain (1952) |
28 |
| 11 |
It's a Wonderful Life (1946) |
37 |
| 12 |
Sunset Boulevard (1950) |
89 |
| 13 |
The Bridge on the River Kwai (1957) |
23 |
| 14 |
Some Like It Hot (1959) |
29 |
| 15 |
Star Wars (1977) |
50 |
| 16 |
All About Eve (1950) |
88 |
| 17 |
The African Queen (1951) |
14 |
| 18 |
Psycho (1960) |
15 |
| 19 |
Chinatown (1974) |
9 |
| 20 |
One Flew Over the Cuckoo's Nest (1975) |
13 |
| 21 |
The Grapes of Wrath (1940) |
46 |
| 22 |
2001: A Space Odyssey (1968) |
22 |
| 23 |
The Maltese Falcon (1941) |
19 |
| 24 |
Raging Bull (1980) |
67 |
| 25 |
E.T. the Extra-Terrestrial (1982) |
52 |
| 26 |
Dr. Strangelove (1964) |
7 |
| 27 |
Bonnie and Clyde (1967) |
36 |
| 28 |
Apocalypse Now (1979) |
21 |
| 29 |
Mr. Smith Goes to Washington (1939) |
138 |
| 30 |
The Treasure of the Sierra Madre (1948) |
71 |
-
- Movie Lense ランキング vs. bayesian sets vs. AFI ランキング
| Movie Lense |
title |
AFI |
Bayse(1000位まで) |
| 1 |
American Beauty (1999) |
-- |
287 |
| 2 |
Star Wars: Episode IV (1977) |
13 |
50 |
| 3 |
Star Wars: Episode V (1980) |
-- |
44 |
| 4 |
Star Wars: Episode VI (1983) |
-- |
337 |
| 5 |
Jurassic Park (1993) |
-- |
846 |
| 6 |
Saving Private Ryan (1998) |
71 |
283 |
| 7 |
Terminator 2: Judgment Day (1991) |
-- |
-- |
| 8 |
Matrix, The (1999) |
-- |
732 |
| 9 |
Back to the Future (1985) |
-- |
121 |
| 10 |
Silence of the Lambs, The (1991) |
74 |
45 |
| 11 |
Men in Black (1997) |
-- |
-- |
| 12 |
Raiders of the Lost Ark (1981) |
66 |
64 |
| 13 |
Fargo (1996) |
-- |
24 |
| 14 |
Sixth Sense, The (1999) |
89 |
| 15 |
Braveheart (1995) |
-- |
473 |
| 16 |
Shakespeare in Love (1998) |
-- |
65 |
| 17 |
Princess Bride, The (1987) |
-- |
100 |
| 18 |
Schindler's List (1993) |
8 |
27 |
| 19 |
L.A. Confidential (1997) |
-- |
35 |
| 20 |
Groundhog Day (1993) |
-- |
136 |
| 21 |
E.T. the Extra-Terrestrial (1982) |
24 |
52 |
| 22 |
Star Wars: Episode I (1999) |
-- |
-- |
| 23 |
Being John Malkovich (1999) |
-- |
236 |
| 24 |
Shawshank Redemption, The (1994) |
72 |
| 25 |
Godfather, The (1972) |
2 |
26 |
| 26 |
Forrest Gump (1994) |
76 |
301 |
| 27 |
Ghostbusters (1984) |
-- |
231 |
| 28 |
Pulp Fiction (1994) |
94 |
40 |
| 29 |
Terminator, The (1984) |
-- |
224 |
| 30 |
Toy Story (1995) |
99 |
363 |
- その2。黒沢映画クラスタ発見。クエリを七人の侍、用心棒とし、関連性が高かった映画ベスト10
| bayse |
title |
| 1 |
Seven Samurai (The Magnificent Seven) (Shichinin no samurai) (1954) |
| 2 |
Yojimbo (1961) |
| 3 |
Ran (1985) |
| 4 |
Seventh Seal, The (Sjunde inseglet, Det) (1957) |
| 5 |
Kagemusha (1980) |
| 6 |
Grand Illusion (Grande illusion, La) (1937) |
| 7 |
Sanjuro (1962) |
| 8 |
M (1931) |
| 9 |
General, The (1927) |
| 10 |
8 1/2 (1963) |
