2021年2月の記事一覧
Sentence BERT 日本語モデルの学習 メモ
BERTは自然言語処理タスクに強力に応用できるモデルである。
しかし、文章単位の特徴量をうまく取得できない。
[CLS] に文の特徴量が現れるという主張もあるが、 それほどタスクに対して有益な情報は含まれていないとこの論文は主張する。
文単位の特徴量を取得できるようにBERTを拡張するモデルがSentence BERTである。
以下はSentence BERT を日本語で作成する際の手順に
tensorflow GPUメモリを一気に確保しない設定
tensorflow 1系は使える全てのGPUリソースを確保する。
メモリオーバーを観測できないので、 逐次的にGPUメモリを確保するように設定を変更する。
これによってGPU使用量の観測ができる。
ただし実行速度は劣化する。
記述例config = tf.ConfigProto( gpu_options=tf.GPUOptions( allow_growth=True
hugging face でBARTの利用 メモ
BARTは文書要約のためのモデル
BERTと同じtransformerの派生
BERTとは異なり、encoder-decoderの構造
これは文生成を目的とするため
このページではBARTのチュートリアルを実行する手順を示す。
手順transformersのインストール
pip install transformers
要約の実行
hugo での作業手順メモ
hugoを導入するにあたってのメモ
環境Mac OS Big Sur
ローカルの作業hugoのインストール
brew install hugo
hugoでプロジェクトの作成hugoで任意の名前のプロジェクトを作成する。 今回は"quickstart"とした。
この名前はなんでもいい。
hugo new site quickstartcd quickstartgit init
hugo
blogger にGoogle AdSense のコードを追加する手順
テーマ→その他（：のマーク）→htmlを編集
からhtml編集用のページに移動する。
収益のページから案内されるコードをコピペする。
bloggerでもhtmlをいじらないといけないということに気がつかなかった…。まあええわ。
