2/14/2025
ModernBERTの多言語モデルと日本語モデルの事前学習に挑戦してみました
ModernBERT の多言語モデルと日本語モデルの事前学習に挑戦してみました
I tried pre-training ModernBERT multilingual and Japanese models.
このモデルは ABCI 生成 AI ハッカソンにて提供された計算資源によって Algomatic チームが作成したモデルです。
詳しいことは後日追記していきます。
https://huggingface.co/makiart/multilingual-ModernBert-large-preview
https://huggingface.co/makiart/multilingual-ModernBert-base-preview
https://huggingface.co/makiart/jp-ModernBert-base-preview
https://huggingface.co/makiart/jp-ModernBERT-large-preview