ModernBERT の多言語モデルと日本語モデルの事前学習に挑戦してみました

I tried pre-training ModernBERT multilingual and Japanese models.

このモデルは ABCI 生成 AI ハッカソンにて提供された計算資源によって Algomatic チームが作成したモデルです。

詳しいことは後日追記していきます。

https://huggingface.co/makiart/multilingual-ModernBert-large-preview

https://huggingface.co/makiart/multilingual-ModernBert-base-preview

https://huggingface.co/makiart/jp-ModernBert-base-preview

https://huggingface.co/makiart/jp-ModernBERT-large-preview