login::  password::




cwbe coordinatez:
101
63533
63608
8771344
9005291
9012711

ABSOLUT
KYBERIA
permissions
you: r,
system: public
net: yes

neurons

stats|by_visit|by_K
source
tiamat
K|my_K|given_K
last
commanders
polls

total descendants::3
total children::1
show[ 2 | 3] flat
ja si vlastné gpt-2 from scratch trénujem cez finetuning na tomto, tiež 124M, je tam nejaký rozdiel? (okrem toho, že to bežím na diaľku)
https://colab.research.google.com/github/sarthakmalik/GPT2.Training.Google.Colaboratory/blob/master/Train_a_GPT_2_Text_Generating_Model_w_GPU.ipynb

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ




00000101000635330006360808771344090052910901271109012750
drakh
 drakh      23.10.2022 - 21:30:08 , level: 1, UP   NEW
tak, bude trenujes from scratch, alebo finetunujes :)

btw v google collab ide finetunovat aj nad tym strednym modelom povacsinou, aspon ten minimaxirov simple-gpt2

0000010100063533000636080877134409005291090127110901275009012786
kyberbubus
 kyberbubus      24.10.2022 - 01:10:08 , level: 2, UP   NEW
Mne to prišlo narovnako, pretože to asi nemá slovenčinu v korpuse, takže sa ju učilo z ničoho, ale pomerne rýchlo mi to začalo dávať čistú slovenčinu, v ktorej sa to už iba zdokonaľovalo, napriek tomu, že model mal byť natrénovaný z drvivej väčšiny na angličtine?

×÷ßßß$ˇ~[☼◙ş→☻ü84ó♀ÇüŮń§►♫☺♀♂ć☺<\ˇ

000001010006353300063608087713440900529109012711090127500901278609012805
drakh
 drakh      24.10.2022 - 09:13:12 , level: 3, UP   NEW
tak ono tam je dolezite ze ten BPE encoder (hoc je "optimalizovany "na EN) rozdeluje rovnako akekolvek stringy, takze slovencinu sa to dotrenuje velmi jednoducho.