こんにちは、hpp(@hpp_ricecake)です。
振り返りをするのが遅れてしまいましたが、2022年の振り返りをやっていこうと思います。 よろしくお願いします。
ちなみに、去年の振り返りはこちらです。
TL;DR
2022年も頑張りました!
特に、初めて国際学会に現地参加したのですが、その経験は非常によい糧になりました。
nice flight pic.twitter.com/gEybumgC7s
— hpp (@hpp_ricecake) July 9, 2022
国際学会を通して知り合った方もおり、よい機会をいただけて感謝です。
また、2022年は研究室の活気がすごく、非常に楽しく研究ができました。
全体として、2022年前半はかなり精神的に落ち込んでしまっていたのですが、後半はかなり元気になり、いろいろなことを楽しめたかなと思います。
月ごとの振り返り
次は、この1年を思い出しがてら、あったことをいろいろ時系列順に書いていきます。 毎年恒例のやつです。
1月
自然言語処理の国内最大の学会である、言語処理学会の論文締め切りがかなりキツかった記憶です。 この時期から結構メンタルをやっていたので、バランスを取るのが大変でした。
ただ、この時の論文執筆の経験はかなり自分の中で生きています。 指導教員以外の方からコメントをもらえるの、自分の視野が広がってかなりヨシでした。
いろいろ共同研究も継続中なので、また面白い話ができるといいですね。
2月
2月はうちの大学の研究費の申請書的なヤツにめちゃくちゃパワーを持っていかれてました。
名古屋大学融合フロンティアフェローシップというやつで、博士課程在籍中に、18万円/月の生活費と、25万円/年の研究費がもらえます。
20万円/月の生活費、100万円/年の研究費がもらえる学振と比較すると若干控えめな金額ではありますが、学振に存在するいろいろな制限(バイトの時間とか)が存在せず、かなり自由に生活できそうなのがメリットです。
この申請書なんですが、A4で5~6枚くらい、研究計画や自分の実績をつらつら書く必要があり、あまり対極的な研究計画を立てた経験がなかったので、かなりMPを削られました。 ただ、この申請書がそのまま学振の申請にも転用できたので、そういう意味では頑張った甲斐があったと思います。
全体としては、大体8時間x20日くらいかけたでしょうか。アタマ壊れるかと思いました。
フェローシップについては、頑張った甲斐があり、無事採択されることができました。 これで博士課程での生活の金銭的な目処がついたので、安心して進学できるよやったね(?)
そのほかには学会発表の準備と、3月に締め切りがある論文の執筆をしていたと思います。
1月から引き続きなので、文章を書きすぎています。
3月
国際学会の論文投稿と、言語処理学会の発表をしていました!
投稿した言語処理学会の論文は以下です↓
自然言語推論と再現器を用いたSplit and Rephrase における生成文の品質向上
あと東京に遊びに行ったりもしていました。
— hpp (@hpp_ricecake) March 26, 2022
それと修士の研究の中間発表の準備もやっていました。
なんか共同研究とか趣味研究をたくさんやっていて、メインの研究をあんまりやっていないような...という気持ちになっているのは内緒です。
4月
中間発表があったり、勉強会を主催したり、学振の申請書の準備をしたりしていました。
修士の中間発表では優秀賞をもらうことができました、嬉しいね(奨学金の返還免除申請とかで有利になるっぽいです)。
また、友人の誘いで行ったVaundyのライブで、どハマりしてしまいました。
どじゃああああああん pic.twitter.com/UdSslYtoeW
— hpp (@hpp_ricecake) April 7, 2022
今も作業用BGM候補の筆頭です。最近だとチェンソーマンのEDとかもやってましたね。 Vaundyから辿って王様ランキングのアニメもみました、よかった。
あと、Organという革製品のブランドのカバンを買いました。
注文してたOrganのカバンが届いた💗 pic.twitter.com/IRovRnItSX
— hpp (@hpp_ricecake) May 4, 2022
はちゃめちゃにお気に入りです、めちゃくちゃいいので是非。
http://www.organ-leather.com/items
5月
学振の申請書を頑張って倒しました!
2022年はこれが一番メンタルやばかったかもしれない、締め切りが近づくにつれてアホほど肌が荒れてウケました。
5月の記憶がほとんどないのは多分気のせいです。
あと多分この月ですが、3月に投稿していた論文の採択通知が来ました! 7月にアメリカのシアトルで開催される学会に現地参加できることになり、モチベーションは上が っていました(この後無限の事務仕事があるとは知らず)。
6月
この月は疲労を癒すために適度に頑張ってました。
綺麗な大学だ pic.twitter.com/yri1bk6ioM
— hpp (@hpp_ricecake) June 7, 2022
ちょい別アングル
— hpp (@hpp_ricecake) June 8, 2022
明日から学祭があるらしい、久しぶりだな pic.twitter.com/33dWnkK75O
それと、趣味研究がめちゃくちゃ捗ってました。
単語をベクトルで表現するWord2Vecを自分で学習してみて、その挙動を観察するなどしていました。
ベクトルの次元数を
— hpp (@hpp_ricecake) June 12, 2022
10, 50, 300, 768
で変化させて、Wikipedia (約2GiB)で5 epoch学習したWord2Vec (Skip-gram)の類似単語検索結果。結果として
・小さい次元数だと結構微妙
・次元を大きくすると徐々に類似度が小さくなる
・次元を大きくするほど訓練が多く必要っぽい(768はunderfittingっぽい) pic.twitter.com/ly2aQZ2PCi
これめちゃくちゃ楽しかったのでどこかにお出ししたいですね。
その他の作業としては、国際学会参加のための準備(学会登録やホテルの確保など)をしていました。 こういう雑務はそんなに嫌いじゃないので、いい息抜きになった気はします。
7月
7月はなんといっても国際学会の現地参加です!
— hpp (@hpp_ricecake) July 11, 2022
良い眺め pic.twitter.com/HPdhjYQAIx
— hpp (@hpp_ricecake) July 10, 2022
— hpp (@hpp_ricecake) July 11, 2022
— hpp (@hpp_ricecake) July 11, 2022
いや〜めちゃくちゃ楽しかったです。 新しい知り合いの方もたくさんできて、とても印象深い思い出になりました。 研究その他人生のモチベーションも飛躍的に向上。
なお、この後流行病に罹って波瀾万丈をするのですが...(詳しくはこちら)(??) 旅先の流行病、面白い経験ではあったので気にしてないのですが、人生で2回以上は経験したくないですね、1回でお腹いっぱいです🥺
8月
8月は帰国疲れもあり、(月初めに論文誌に論文を投稿したのですが、それ以外は)緩やかに生活していました。
特に画像生成モデル・サービスが一気に盛り上がっていた時期ということもあり、自分でもすこし遊んでいました。
Midjoueneyで生成したお気に入り貼っておきます pic.twitter.com/Jjspf208mt
— hpp (@hpp_ricecake) August 14, 2022
こーれ最高です pic.twitter.com/g87jQWq6pK
— hpp (@hpp_ricecake) August 14, 2022
7月の国際学会のおかげで、それまで沈みがちだったメンタルが非常に改善したので、色々捗ったのを覚えています。 それと、気づけばもう3/4年がすぎてしまったという時期だったので、研究も再始動するぜ〜と思いつつ、サーベイをするなどしていました。 メンタルが改善した状況でじっくり論文を読む時間、幸福って感じですごくいいですね。
9月
9月は非常に優秀な後輩氏と共同研究を始めたので、そちらに比重を多くかけていました。
また、僕が長年ファンをやっている地球防衛軍の新作(地球防衛軍6)が発売されたので、かなりガッツリやりました。 今作はストーリーの良さも際立っていて、めちゃくちゃ好きでした。 普段、地球防衛軍はストーリーがオマケ程度な作風のゲームで、良くも悪くもミッション形式の気軽に遊べるゲームという感じだったのですが、それが今作はメタフィクション的な要素も取り入れたストーリーが展開され、はちゃめちゃに興奮しました。 特に前作の●●●を●●●して●●●するミッションとかマジでよかったです。
ほかに、スプラトゥーン3も発売されたので、そちらもやっていました。 メインブキはクアッドホッパーです。よろしくお願いします。サメライドはいつになったら強化されるんでしょうか。
最近(2023年1月現在まで)は原稿その他の作業に集中していたのであまりやっていないのですが、1stシーズンはたしかウデマエがS+12くらいだった気がします。 スプラトゥーン初プレイ勢としてはなかなか頑張ったのではないでしょうか。
ソロでバンカラマッチに潜るのもいいですが、パーティを組んでやるのもめちゃ楽しくていいですね。
それと、5月に申請していた学振に無事採用されました!
学振DC1に採用内定しました、今後とも精進します!!!!
— hpp (@hpp_ricecake) September 28, 2022
面接免除での一発採用は9(採用内定)/64(応募者)=約14%とのことで、かなり選考は厳しかったようなので、外部の方に自分の取り組みや研究計画を評価していただけてめちゃくちゃ嬉しかったです。 今後も頑張るぜ!
10月
10月は研究をしつつ、にじフェスに参加するなどしました!
これはにじフェスで見たまめねこ pic.twitter.com/N1HYAKj7HF
— hpp (@hpp_ricecake) October 4, 2022
にじフェスは株式会社ANYCOLORが運営するVTuberグループ「にじさんじ」主催のお祭りです。 今年は幕張で開催され、VTuberのリアルイベント初参加の自分もめっちゃくちゃ楽しかったです。 あとみんなオシャレしてて良いなになりました。今度は推し(ラトナ・プティ, 先斗寧, 葛葉)イメージの格好で参加してみようと思います。
研究方面だと、著名な研究の再現実装を公開するなどしていました。
対照学習を用いた文埋め込み手法であるSimCSEの再現実装を公開しました。素のPyTorchでシンプルに実装し、注釈/解説コメントを100行くらい書きました。
— Hayato Tsukagoshi (@hayato_tkgs) October 31, 2022
ついでに、4つのモデルを50回ずつfine-tuningして性能評価したのでその結果も記載してあります。
参考になれば幸いです🙏https://t.co/tjnIpqu4wZ
あんまりこういう研究&エンジニアリングな話が出来る人って多くはない印象なので、ここらへん強みにしていきたいですね。
それと輪講資料とかも公開してたみたいです。
事前学習済み言語モデルを統合することで構築される大規模Variational Auto-Encoder (VAE)モデルのOptimusと、その論文について解説した(輪講)資料を公開しました。
— Hayato Tsukagoshi (@hayato_tkgs) October 18, 2022
VAEの目的関数の導出から説明しているので、ぜひVAEの勉強用としてもご覧ください🙏https://t.co/1vMcRlzRCE
あとこれはめちゃくちゃ楽しかったやつで、一つのテーマに基づいて、論文解説をする記事を書かせていただきました。
近年普及している単語埋め込み技術は、単語を「点」でしか表現できず、概念の広がり等を表現できません。
— ステート・オブ・AI ガイド (@stateofai_ja) October 13, 2022
本記事では、単語を「箱」として表現する最新・強力な埋め込み手法「Box Embedding」を基礎から解説しました。
名古屋大学の塚越さん (@hpp_ricecake)による執筆ですhttps://t.co/ogQebbjXvR
Box Embeddingという、単語その他のデータを「ベクトル」ではなく「箱」で表現するという話で、自分の興味にもかなり合致しており、非常にいい経験になりました(あと色んな人に見てもらえて嬉しかったですね)。
11月
11月は、論文誌の査読が帰ってきていたので、その対応をして改訂版の原稿を投稿するなどしていました。
あとswitchのプロコンを手に入れるなどしていました。
また、研究アシスタント業務が思ったより楽しくなってウキウキしたり、デカ言語モデルの事前学習をやったりしていました。
12月
12月も引き続き研究などをやっていました。 それと、研究室のWi-Fi環境がちょっと弱いのが気になっていたので、いい感じのルータを買ってもらって設営しました。
研究室にWi-Fi 6対応ルータを導入してメッシュWi-Fiなネットワークを構築したら安定爆速環境になって大満足
— hpp (@hpp_ricecake) December 14, 2022
ルータを変えたところかなり通信状況が良くなった(大雑把ですが、5Mbps→200Mbps)ので、ルータも大事なんだな...となりました。
また、8月から論文誌に投稿していた論文が採択されました! 論文誌の論文を書くのは初めてだったのですが、自分が今までやってきたことをたくさん書けてかなり楽しかったです。
2022年の後半はかなり文章書きを楽しめていていい感じですね。
また、論文解説記事の寄稿をまたやっていました。
本記事では、歪んだ空間である双曲空間上に単語などを埋め込む「双曲埋め込み」 を解説します。代表的なポワンカレ埋め込みから始め、双曲埋め込みの発展的な手法や強化学習を組み合わせた最新手法について解説します。
— ステート・オブ・AI ガイド (@stateofai_ja) December 28, 2022
名古屋大学の塚越さん (@hpp_ricecake)による執筆ですhttps://t.co/KjfoPigjaC
今回の話もかなり面白く、データを双極空間上に埋め込む双曲埋め込みという手法を題材にした記事なのですが、執筆にともなって多様体関連の知識を自分の中でまとめるいい機会になりました。 大変感謝です。
それ以外には、2023年1月に締め切りがある論文の作業を頑張っていました!
また、大晦日は「にじさんじ」が主催する歌謡祭のライブビューイングに行くなどしました。これもめちゃ楽しかった!
まとめ
以上、2022年の振り返りでした。 2022年は、自分の人生で最もメンタルが揺れた1年だったかもしれません。
いろいろな方の支えで、現在はかなり安定して活動できています。みなさん、ありがとうございます。
2023年は新居への引っ越しや博士課程への進学、その他もろもろがあるので、2023年も色々ありそうな気がします。
2023年も頑張りますので、今後ともどうぞよろしくお願いいたします!