add more careful handling of modalities #85

bt2901 · 2022-04-06T08:11:22Z

this should fix the large part of #79

this should fix the large part of github.com/machine-intelligence-laboratory/issues/79

Update thetaless_regularizer.py

Alvant · 2024-04-03T12:04:04Z

environment.yml

@@ -0,0 +1,12 @@
+name: python_test


Этот файл нужен? @bt2901

Alvant · 2024-04-03T12:04:25Z

topicnet/cooking_machine/models/thetaless_regularizer.py

@@ -27,7 +27,7 @@ def artm_dict2df(artm_dict):

    """
    dictionary_data = artm_dict._master.get_dictionary(artm_dict._name)
-    dict_pandas = {field: getattr(dictionary_data, field)
+    dict_pandas = {field: list(getattr(dictionary_data, field))


Да, вот с этим я недавно тоже столкнулся)

Alvant · 2024-04-03T12:09:41Z

topicnet/cooking_machine/models/thetaless_regularizer.py

        self.n_dw_matrix = None

        self.token2id = obtain_token2id(dataset)
        self._batches_path = os.path.join(dataset._internals_folder_path, "batches")

    def _initialize_matrices(self, batch_vectorizer, token2id):
        self.n_dw_matrix = _batch_vectorizer2sparse_matrix(
-            batch_vectorizer, token2id, self.modality, self.modalities_to_use
+            batch_vectorizer, token2id, self.modality, self.modalities_to_use, False


Не надо ли сделать remove_nans тоже параметром конструктора Теталесс регуляризатора? Точно надо именно как False его использовать по умолчанию? (Просто тогда, по-моему, как-то не очевидно, зачем вообще было добавлять remove_nans в функции по работе со sparse матрицами для Теталесс регуляризатора, если сейчас его и задать нельзя при создании регуляризатора, и по умолчанию он и не используется вообще 🙃)

Про захардкоженный False теперь отчасти понятно — это потому, что далее там же вшита логика по обработке NaN-ов.

Alvant · 2024-04-03T12:19:34Z

topicnet/cooking_machine/models/thetaless_regularizer.py

@@ -147,11 +148,12 @@ def _batch_vectorizer2sparse_matrix(batch_vectorizer, token2id, modality, modali
    # this is needed to be in sync with artm dictionary after filtering elements out
    # (they need to have the same shape)
    ind = sparse_n_dw_matrix.sum(axis=0)
-    nonzeros = np.ravel(ind > 0)
+    nonzeros = np.ravel((ind > 0) | (ind != ind))


Ох, мне пришлось немного понапрягать котелок, чтоб вспомнить, в чём там была проблема и как её решает проверка ind != ind 😅 Надо бы коммент хотя бы добавить, что это для того, чтоб включить np.nan значения.

Alvant · 2024-04-03T12:20:23Z

topicnet/cooking_machine/models/thetaless_regularizer.py

    sparse_n_dw_matrix = sparse_n_dw_matrix[:, nonzeros]

    # re-encode values to transform NaNs to explicitly stored zeros
-    sparse_n_dw_matrix.data = np.nan_to_num(sparse_n_dw_matrix.data)
+    if remove_nans:


А зачем вообще может понадобиться сохранять NaN значения?)

Нет, не в принципе, наверно, это бы могло представлять какой-то интерес, но в плане работы Теталесс — ему могут когда-нибудь пригодиться NaN-ы?

Alvant · 2024-04-03T12:29:35Z

topicnet/cooking_machine/models/thetaless_regularizer.py

        )
+        ind = self.n_dw_matrix.sum(axis=0)
+        self.modalities_mask = np.ravel((ind == ind))


Ааа, вот тут, получается, снова происходит "детект" NaN-ов, даже если они не были убраны в функции-создавальщике sparse матрицы! О-ок. Хм... а не стоит ли тогда просто сделать remove_nans=True парой строчек выше?) Или... хм... Для чего будет нужна modalities_mask? Как потом используется информация о том, что по таким-то токенам не было NaN-ов? Замена NaN-ов на нули в строчке далее не решает всех проблем?

Alvant · 2024-04-03T12:30:50Z

topicnet/cooking_machine/models/thetaless_regularizer.py

@@ -336,7 +342,10 @@ def grad(self, pwt, nwt):
        tmp = g_dt.T * self.B / (phi_matrix_tr.sum(axis=1) + EPS)
        n_tw += (tmp - np.einsum('ij,ji->i', phi_rev_matrix, tmp)) * phi_matrix

-        return self.tau * (n_tw.T - nwt)
+        result = n_tw.T - nwt
+        result = (result.T * self.modalities_mask).T


@bt2901 Скажи плз, что тут происходит) для чего нужна modalities_mask. Напротив NaN-овских токенов могло получиться что-то ненулевое?

Alvant · 2024-04-03T12:37:18Z

topicnet/cooking_machine/models/thetaless_regularizer.py

@@ -262,7 +264,7 @@ def calc_A_matrix(


 class ThetalessRegularizer(BaseRegularizer):
-    def __init__(self, name, tau, modality, dataset: Dataset):
+    def __init__(self, name, tau, modality, dataset: Dataset, modalities_to_use=None):


Надо будет в докстринг описание добавить)

Alvant

It could probably be better, but it seems to serve its purpose.

Strong visions: I have strong visions of this place in the empty times... Far below there are wavering pines... I left the rowan elphin woods to fulminate on ancient headlands, dipping slowly into the glasen seas of evening... On the devastated peaks of hills we ease the barrenness into our thin bones like a foot into a tight shoe... The narrative of this place: other than the smashed arris of the ridge there are only sad winds and silences... I lay on the cairn one more rock... I am possessed by Time...

This reverts commit a4407e9.

Alvant · 2024-07-13T23:23:39Z

README.md

@@ -44,9 +44,9 @@ Consider using TopicNet if:
    </div>
    <em>
        Example of the two-stage experiment scheme.
-        At the first stage, regularizer with parameter <img src="https://render.githubusercontent.com/render/math?math=\tau"> taking values in some range <img src="https://render.githubusercontent.com/render/math?math=\{\tau_1, \tau_2, \tau_3\}"> is applied.


Сломалась математичная рисовалка

Alvant · 2024-07-13T23:26:40Z

.travis.yml

@@ -5,7 +5,7 @@ cache:
    - $HOME/.ccache

 python:
-  - "3.7"
+  - "3.8"


Какое-то время назад проверял на 3.8 — поэтому пусть будет 3.8 :) Хотя тесты потом всё равно ещё запущу, посмотрю. Ну, а этот Трэвис вообще того, не запускается уже (стал платным что ли).

К тому же 3.7 уже и не поддерживается вообще (https://www.python.org/downloads/)

Alvant · 2024-07-13T23:27:22Z

setup.py

@@ -38,6 +38,7 @@
        'numpy',
        'pandas',
        'plotly',
+        'protobuf==3.20.3',  # BigARTM dependency


Кривовато, но лучше уж так, чем потом получать ошибки после установки)

Alvant · 2024-07-13T23:30:29Z

topicnet/cooking_machine/models/thetaless_regularizer.py

+            name of modality on which the inference should be based.
+        dataset: Dataset
+            will be transformed to n_dw_matrix.
+        modalities_to_use: iterable


Копипастнул из функции выше 🫣

Alvant · 2024-07-13T23:35:33Z

bt2901 and others added 7 commits April 6, 2022 11:06

Update thetaless_regularizer.py

abddc27

this should fix the large part of github.com/machine-intelligence-laboratory/issues/79

Merge pull request #1 from bt2901/bt2901-patch-2

41ddebf

Update thetaless_regularizer.py

remove debug

17fc2a1

Merge branch 'machine-intelligence-laboratory:master' into master

3e148a1

create env.yml file for testing

994bbdb

Update environment.yml

2d32f28

sync protobuf version

53aed2a

Alvant reviewed Apr 3, 2024

View reviewed changes

Alvant mentioned this pull request May 25, 2024

Fix datasets and thetaless, and some other fixes (pre-release kind of things) #98

Open

Alvant approved these changes May 25, 2024

View reviewed changes

Alvant added 14 commits July 13, 2024 15:13

fix docs (mainly just to check if can fix)

0246e75

remove test env yml, fix protobuf version

3691062

fix inline math format in readme

a4407e9

Revert "fix inline math format in readme"

1805114

This reverts commit a4407e9.

change latex backend (test)

7e568b3

change latex backend for math in readme

dfd6333

fix spaces in latex math

95a3acd

text math as pic

55a9da1

add tau pic

5672be8

move to fully local pics math backend

41061f4

thetaless cosmetic fixes (docs, comments)

fa1c20a

fix protobuf version to the one recently tested

da160a4

level up python version

14a96e3

more cosmetic docs stuff fixes for thetaless

775187b

Alvant reviewed Jul 13, 2024

View reviewed changes

Alvant merged commit 0438e55 into machine-intelligence-laboratory:master Jul 13, 2024

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

add more careful handling of modalities #85

add more careful handling of modalities #85

bt2901 commented Apr 6, 2022

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant Apr 3, 2024 •

edited

Loading

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant Apr 3, 2024

Alvant left a comment

Alvant Jul 13, 2024

Alvant Jul 13, 2024

Alvant Jul 14, 2024 •

edited

Loading

Alvant Jul 13, 2024

Alvant Jul 13, 2024

Alvant commented Jul 13, 2024

add more careful handling of modalities #85

add more careful handling of modalities #85

Conversation

bt2901 commented Apr 6, 2022

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Alvant Apr 3, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Alvant left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Alvant Jul 14, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Alvant commented Jul 13, 2024

Alvant Apr 3, 2024 •

edited

Loading

Alvant Jul 14, 2024 •

edited

Loading