某研究会

T大駒場の某研究会に参加．目当てはテキスト処理と可視化のチュートリアルだが，技術を広く浅くカバーしており，資料もなかなかの力作．そのうちWeb上でも公開するようなので，興味ある人はぜひ読むべし．
その後の研究討論は，一言で言えば対話的な情報探索や可視化の評価手法をなんとかして確立したいというもので，なかなか興味深い．ただし，TRECやInvoVisの例を紹介していたが，そもそも正解（ground truth）がない問題なので，どれも客観的な評価がおこなえていないそうである．論文を書く時もなんとかして数値化しなければいけないので，研究者はユーザ満足度を調査することが多い．しかし，ユーザ満足度は実はタスクの達成度と異なった結果を示すことが知られているようである．そこでQ&Aタスクの対話版のようなタスクを設定し，満足度と達成度，測定した動作の記録の両面で評価することを考えているようだ．
個人的には，たとえば「お気に入りのキーボードのキーが壊れた」という課題があった時に，「キーそのものを修理する」，「キーの代替を入手する」，「そのキーボードの良い点を受け継いでいる別のキーボードを購入する」などなど，課題を与えられなければ関係しないような選択肢のある情報を，ユーザの意図に応じて探索的に見つけるようなことに興味があるのだが，そうなるとさらに評価は難しそうだ．