2021年を振り返る

2021/12/31

cover image

こんにちは、hpp(@hpp_ricecake)です。 今年ももう終わりなので、振り返り記事を書きます。振り返りしかしてないです、このブログ。

TL;DR

今年も頑張った！

振り返り

去年も同じ状況になっていたのですが、毎年1/15前後に言語処理学会の締め切りがあるので日程的に結構忙しく、今回は特に時間を取れなかったです。結構ラフに書いていくので、もし気になることがあったひとは是非一緒にお話ししたりご飯を食べたりしましょう。その時にいくらでもお話しします。

今年は名古屋大学の修士1年生として色々やっていました。研究したりバイトしたり、研究したりです。

ちゃんと今年を振り返る前に、去年たてた今年の抱負を思い出してみます。 以下のようなものでした。

  • ちゃんとブログを書く(10本以上)
  • ちゃんと論文を書く(2本以上？)
  • ちゃんと働く(インターンとか探しています)

抱負の達成具合はどんなもんでしょうか。

ちゃんブログを書く

この振り返り記事が今年初めてのブログ記事なので、最初の目標である「ちゃんとブログを書く」は当然クリアしていません。 いや定期的にブログ書く気持ちがあるの本当にすごい、でも僕はブログと同じくらい輪講資料の作成を頑張ったりしているのでブログを頑張っている人と同じくらい偉いです。実は。

文章を書くって難しいですよね、Twitterというマイクロブログを毎日嗜んでいるので...何卒...

ちゃんと論文を書く

論文については、結構頑張ったと思います。

今年はまず、1月中旬に言語処理学会に論文を投稿しました。定義文と単語の対応関係をもとに文埋め込みモデルを訓練できるという話で、内容もやり方もシンプルだったのがすごく気に入っています。ただ、議論をもう少し精緻にしたかったという気持ちがあって、続編とか発展とかいろいろ考えながら手を動かしている最中でもあります。

次に、卒論を2月に提出しました。言語処理学会に投稿した論文の内容をもとに、もう少し実験を増やしたり考察を丁寧にやったりしてみました。

同じ時期に、ACL-IJCNLP 2021という自然言語処理分野におけるトップカンファレンスに論文を投稿しました。全体としては言語処理学会の内容と結構同じです。実験内容を増やすなどしています。 正確には卒論よりACLへの論文投稿のほうが早かったですが、手をつけたのは両方ともほぼ同じタイミングでした。採択率約21%と非常に激しい競争がありましたが、この論文は無事にmain conferenceへの採択となりました。Web上で無料公開されているので、もし興味があればぜひご一読いただけると嬉しいです(DefSent: Sentence Embeddings using Definition Sentences)。

5月には、同じ自然言語処理分野のトップカンファレンスの一つ(ACL, EMNLP, NAACLの3つあります)であるEMNLP 2021に論文を投稿しました。文埋め込みの性質について色々考察した研究でしたが、惜しくも(査読の点数的にも結構惜しかった)不採択となりました。自分の論文執筆能力と実験遂行能力が高ければ、もう少しいい論文になっていたと思うとかなり悔しかったです。

11月には、ACL Rolling Review (ARR) というところへ論文を投稿しました。 こちらはACL系会議の査読を効率化するための仕組みなのですが、いままでと査読のやり方が変わったので、結構とまどいました。この時の論文はまだ査読中ですが、以前と比べて結構分析を頑張りました。 ただ、精神的に不安定になっていたこともあり、クオリティを上げきれなかったなとも思っています。 正直予定詰めすぎてガタがきたなと思っていて、もうちょっとスケジュール考えて研究進めていかないとなという気持ちになっています。

というわけで、卒論は流石に省くとすると、言語処理学会、ACL-IJCNLP 2021, EMNLP 2021, ARR 2021-11 (適当な名づけ)に向けて合計4本の論文を書きました。 完全新規の論文がこの数ではない(言語処理学会とACL-IJCNLP 2021の論文内容はほぼ同じ)なので、まぁちょっとかさ増しされていますが、結構頑張れたんじゃないかと思います。

ただ、論文を書くにあたり、まだまだ自分の能力が足りておらず、指導教員に頼っているのが現状です。 いつか単著でも質の高い論文を成りたいな、と思いつつ、それをするためにはやはり今は適宜指導を頂きながら自分でやれることを地道に増やしていくしかないのかなという気がしています。 自分のことをできるだけ自分でやるには、時間を余裕を持って確保しておいたりスケジュールを厳守したりなど、基本的なことを忠実にこなしていかないといけない気がしていて、自分はそれができていないので、ここらへん大事にしていきたいなと思うこの頃です。

ちゃんと働く

今年の抱負最後の「ちゃんと働く」については、時系列に沿って話した方がいいと思うので下の方に書きますが、結構頑張りました。 3社(リクルート、ピクシブ、メルカリ)で開発系インターンを、1社(NTT)で研究系インターンをさせていただきました(敬称略、通称)。 合計労働期間(?)は6ヶ月ほどになると思います。 また、指導教員の紹介で、現在国のムーンショット研究事業でのリサーチアシスタントもさせていただいています。 結構頑張りました、労働者です。 忍び寄る住民税、社会保険料の足音が聞こえてくるほどに。

今年はかなり頑張った1年だった気がします。 来年も頑張りたいですね。

月ごとの振り返り

次は、この1年を思い出しがてら、あったことをいろいろ時系列順に書いていきます。いいことあるといいね。 さっきより細かい話を書いていきます。

1月

論文書いてた！！！！！！！！！！！！！！ マジで忙しかった言語処理学会と卒論と国際学会の論文重なるのはエグいと思いながらやっていた。 でも楽しかったね。

他に何をやっていたかあんまり覚えていないが、研究室紹介のビデオ作りなどもしたようだ。 なんか無限に締め切りを追っていた気がする。 追われていたんじゃなく俺が追っていました。 お前は締め切りを追えているか？

なんかやらされたんじゃなくて自分で締め切りを増やしたので、そんなに負担を感じてなかった気がするが、もういちどやりたいかと言われると微妙、もうちょっと余裕のあるスケジュールのほうが良い研究できると思ったので。 忙しけりゃいいってもんでもないなと思った1月でした。

2月

国際学会論文を投稿し、1週間後に卒論の締切で、卒論締め切り直前にリクルートの冬季インターンが始まった。 2月上旬から3月中旬までの、5週間のインターンだった。

サーバサイドよりのお仕事で、検索システム移行のもろもろをやる、ということをしていました。 Elasticsearchをまともに触ったんですが、これがかなり面白くてよかった。 ちょろっとした改善とかではなく、検索基盤/システムがどういうふうに作られてるのかな〜というあたりを、社内知識も含めて勉強させてもらえたのですごくいい体験だったと思う。

検索エンジニアとしてのキャリアは非常に楽しそう、となったので、この道を示していただいた人事の方やチームの方にはとても感謝しています。

冬季インターンの枠を超えてやりたかったが(というかその道もありがたいことに打診していただけたが)、ちょっと忙しかったのでインターンで一旦区切りという感じになった。

あとリクルート社内のISUCONにも参加させてもらいました、めちゃくちゃ楽しかったしスコア的には3位だったけど再起動試験失敗で失格です(は？)。負け惜しみです。 いままでISUCON系の何かに出た時は、再起動試験に失敗したことがなかったので、「ついに俺もか...」と感慨深かった(は？)。

さらに、卒論締め切り2週間後に学内の卒研発表があって限界を超えた気がする。クラウドです。AWSじゃないよFFね。

3月

リクルートのインターンをしつつ、3月中旬の言語処理学会の発表準備をしていました。 15分くらいのスライド作成、ここらへんでも自分の未熟さを思い知った気がする。

あと、インターンなので成果発表会があったのだけど、結局時間が足りなくてスライド作成が地獄になったしその成果発表会の直後にテックブログを頑張って書いていたのもなかなかキツかった。 前々から予定立てようね... 書いた記事はこちらです。 Amazon Elasticsearch Serviceへの移行にかかる調査とLocustを用いた負荷試験

ここらへんから、自分はやらないことを決めるのが苦手なんだなと思うようになりました。 よく言えば完璧主義、悪く言えばスケジュール感覚皆無。 人事の方に忙しい話をすることで精神を保っていた気がする。その節はご迷惑をおかけしました...

インターンが終わってからは言語処理学会をすごく楽しんでいた気がする。 同年代の研究者の人と喋ったのも良い経験だった。 自然言語処理は楽しいよねの感情。

月末にACL-IJCNLP 2021に投稿していた論文の査読結果がきたので、author responseというのを書いていた。 一連の査読プロセスを体験するのはこれが初めてだったので非常に良い体験だった。 査読を意識して穴のない研究をしたいね。

そして名古屋大学情報学部コンピュータ科学科を卒業しました、いえい！ 単位を一度も落とさず卒業できたのでよかったです。

それと、JEES・ソフトバンクAI人材育成奨学金というものの奨学生になりました、生活が多少不安だったので、非常に嬉しかったです。 ありがたく参考書を買い漁るのに使わせていただいてます(めちゃくちゃ積読している)。

4月

名古屋大学大学院に入学しました、いままでと全然生活変わらなかったけど。 ほとんど研究しているので。

4月はピクシブでインターンをさせてもらっていました。 小説チームでお世話になっていました。 大学院の講義(週7コマくらい？)をやりつつ週3で働いていたので、結構忙しかったけど楽しかったです。 中身見てても、とっても良いサービスだと思いました、楽しかったです。

また、5月に投稿する論文の準備を並行して進めていました。

それと、「2021夏のITエンジニアインターン情報が集まる魔法のスプレッドシート」の管理を引き継ぎました。 こちらも良い経験になりました、世の中いろんな企業が存在していてすごい。

5月

ACL-IJCNLP 2021に投稿していた論文の採択通知が来ました！ めちゃくちゃ嬉しかった、ベッドではねてました。

また、5月真ん中にEMNLP 2021へ論文を投稿しました。 GW頑張って書いたぜ。 GW中は感染対策をかなり頑張って旅行にもいきました。すごく楽しかったのでまたいきたいですナ...

さらに、中旬からはメルカリでのインターンが始まりました。 MLエンジニアとして検索周りのいろいろに取り組ませていただきました、これもめちゃくちゃ楽しかったです。

データの規模がすごくて、見たことないような大規模データもとに色々させてもらえたので非常に良い経験になりました。 実応用も意識した研究をしたいな〜と思うようになったのはここら辺からです。 インターンは8月中旬までで、がんばろ〜となっていました。

6月

この月はかなりメルカリでのインターンを頑張っていました。

それに加えて、ACL-IJCNLP 2021に採択された論文のpre-recordingを収録していました。 pre-recordingは論文の概要を説明するビデオで、事前収録して学会期間中はいつでも見れるようになっています。 長さは7分程度だったので、そこまで非常に大きな労力ではありませんでしたが、全部英語でおしゃべりしたので思ったより負担が大きかった、みたいな感じでした。

7月

この月はメルカリのインターンをしつつ、メルカリの職域接種でワクチン接種を2回しました。

インターンにもそういった機会があるのは非常に嬉しいなと思いました、福利厚生が整っているのは素晴らしいですね本当に...

また、8月上旬にあるACL-IJCNLP 2021の口頭発表に向けた準備をしていました。 こちらは3分の発表と3分の質疑応答という形だったので、短い時間で発表をまとめる必要があって大変でしたが、気合いでなんとかなりました。

7月はワクチンを2回接種したので、副反応で元気がないときが多かったのですが、やれる範囲で頑張っていた気がします。

8月

メルカリのインターンは8月中旬までだったので、自分のタスクに区切りをつけるために結構色々な実装をしていました。 正直なところ、思ったように成果を出せなかったので、悔いが残りました。 自分の能力不足も感じたので、楽しかったと同時に今後も勉強を頑張りたいなとなりました。

8月後半からはNTTのCS研というところで研究インターンをさせていただきました。 ここでは、いままでやってきたこととはかなり違う研究テーマに取り組み、非常に楽しく作業を進めることができました。 なにより、やりたいこと/やらなければいけないことが全て勉強になったので、とてもよかったです。

1ヶ月という短い期間でしたがある程度成果がでたので、言語処理学会に向けて論文をまとめようという話になりました(その先の国際学会にも投稿しようという流れになっています)。 また、共同研究契約を結ぶことにもなり、「ホー大人の研究の進め方だ」と思いました。 結構面白いテーマなので、今後も頑張っていきたいなと思います(絶賛論文執筆中)。

9月

9月中旬まではNTTのCS研でインターンをしていました。 成果発表もなかなか好評だったのでよかったです。嬉しい！

CS研の方々には非常に親切にしていただいたので、論文化を頑張りたいですね。

また、今月はソフトバンクのハッカソンにも参加しました、5日間でWebアプリを作りました(SDGsがテーマで、かなりフワフワしており、非常に辛かった)。

10月

10月は11月に投稿する論文の執筆と実験を行なっていました。 今回はいままでよりも長い論文を書くことになったので、そのために実験も細かく行いました。

この月は論文執筆に伴って、かなり精神が不安定になった月でもありました。 自分はかなり文章を書くことに苦手意識がある方で、今回はそれが自分を大いに苦しめました。 寝不足で無理に作業しようとして進捗が生まれず、それを補うために夜更かしをするという負のループを生み出してしまい、そのために体と心の不調をきたしました。

これを教訓として、心療内科など相談できる専門家を増やすことと、高ストレス環境下でも睡眠や趣味の時間を維持することをできるだけ目指すように決めました。 苦しい月ではありましたが、さまざまな発見と教訓が得られたので総じて頑張った月だったと思います。

この月は趣味こそ少なくなったものの、結構友達と遊んだので、なんとかメンタルを保つことができたかなという気がします。友達大事。

11月

この月も論文執筆を頑張っていました、効率が悪いよ！ もうちょっと早く論文を書けるようになりたいぜ...(考察とか追加の実験に回す時間が少なくなってしまうので)。

11月中旬に論文を書き終えたのち、しばらく休憩して趣味のコードを書いたり本を読んだりして過ごしていました。

また、11月終わり頃に初めて心療内科を受診して、ADHD傾向が強い(ド典型という訳ではないみたい)との診断を頂いたので、それからコンサータを処方されています。

生来僕は眠気がかなり強い性質で、中高大と授業/講義は5時間あれば2~3時間は毎日寝ているような人でした。 その眠気がかなり改善され、日中お昼寝をせずとも論文を読んだり作業をしたりできるようになったので、非常に助かっています。 心療内科、そういった発達障害系の相談の他にも、メンタル面の相談なども乗ってくれるので、もし気になっている方がいたら是非一度受診してみることをおすすめします。

そんなこんなでうまく作業ができるようになったので、かなりメンタル面も改善しました。 うまく作業/論文執筆が進まないことが精神負担になっていたので、副次的にそれらも改善して精神が安定しました。 結構タスクの量は多いままですが、うまく作業できている(ちょっと夏頃までに貯めた負債が返しきれていないですが)のではないかなと思います。

心療内科の受診は、個人的にはあまり大ごとではないのですが、僕の周囲の人で結構びっくりしたり拒否反応を示す人がいました(僕の親とか)。 僕は親には全く相談せず受診しました(事後報告)が、この記事を読んでいる方の身の周りでもそういった人もいるかと思います。 そういった環境を変える助けになりうるかはわかりませんが、自分の体験や考えでよければいくらでも話しますので、もし何かあればいつでも聞いて/頼ってください。

また、月末には 第12回対話システムシンポジウム (SIG-SLUD) にて国際会議報告をさせていただきました。 自分が発表したACL-IJCNLP 2021について、10分程度で会議様式の説明や注目論文の紹介をさせていただきました。 発表資料は後日公開されると思うので、その際はTwitterなどにて喋ると思います。

学会などで発表の機会をいただくのは初めてだったので緊張しましたが、担当の方から良かったと言っていただけたのでとてもよかったです。

僕でよければ、何かあればお話しさせていただくので、いつでもお呼びください(文埋め込みあたりの話はある程度できると思います)(誰宛の広報)。

12月

というわけで、今月はお薬を飲みつつ実験をしたり論文を読んだりしていました。

また、東京で友人と忘年会をしたり、すごく良いコートを買ったりと、私生活も非常に充実していました。 リアル麻雀で国士無双(人生初)(三麻だけど)をしました、思ったより興奮しました。

その他には、輪読会や輪講資料作成をかなり頑張りました。 特に輪講資料は力をすごくいれていて、文埋め込みの最新手法であるSimCSEについて、52ページ参考文献数57個のスライドを作りました。 機会があれば外部公開するので、その時はぜひご覧いただければと思います。

また、言語処理学会の論文のための実験と執筆をやっていました。 やればやるほど楽しくてやることもたくさんある研究テーマなので、もうちょっと継続してやっていくことになりそうです。

12月は自分の人生についてかなり色々考えた月でした、めちゃくちゃ人間性が向上した気がします。 人間性急上昇中、啓蒙が高まりつつあります。

まとめ

以上、2021年の振り返りでした。 2021年、自分史上なかなか頑張った年だったと思います。

2022年もいろいろありそうですし、いろいろやっていきたいですし、いろいろあることを望みますが、ひとまず皆様、2021年は大変お世話になりました。 2022年もどうぞよろしくお願いいたします。

Table of Contents

New posts

Share