Skip to content

SBSAT STD

Subjective Text Difficulty (SBSAT)

Test

ModelUnseen Reader RMSEUnseen Text RMSEUnseen Text and Reader RMSEAverage RMSEUnseen Reader MAEUnseen Text MAEUnseen Text and Reader MAEAverage MAEUnseen Reader R²Unseen Text R²Unseen Text and Reader R²Average R²
Majority Class / Chance0.71 ± 0.00.75 ± 0.10.71 ± 0.10.73 ± 0.00.52 ± 0.10.57 ± 0.00.55 ± 0.10.55 ± 0.0-0.08 ± 0.0-0.39 ± 0.1-0.78 ± 0.4-0.12 ± 0.1
Reading Speed0.71 ± 0.00.82 ± 0.00.8 ± 0.10.77 ± 0.00.58 ± 0.10.7 ± 0.00.68 ± 0.00.65 ± 0.0-0.09 ± 0.1-0.73 ± 0.3-1.29 ± 0.5-0.25 ± 0.1
Text-Only Roberta0.67 ± 0.00.75 ± 0.00.74 ± 0.10.72 ± 0.00.56 ± 0.00.64 ± 0.00.64 ± 0.10.61 ± 0.00.03 ± 0.0-0.46 ± 0.3-1.03 ± 0.6-0.07 ± 0.1
Logistic Regression [meziere2023using]0.74 ± 0.00.89 ± 0.00.83 ± 0.10.82 ± 0.00.6 ± 0.00.76 ± 0.10.71 ± 0.10.68 ± 0.0-0.19 ± 0.1-1.1 ± 0.5-1.54 ± 0.7-0.42 ± 0.1
SVM [hollenstein2023zuco]0.72 ± 0.00.73 ± 0.00.7 ± 0.10.73 ± 0.00.52 ± 0.10.54 ± 0.00.53 ± 0.10.53 ± 0.0-0.12 ± 0.1-0.31 ± 0.1-0.72 ± 0.3-0.1 ± 0.0
Random Forest [makowski2024detection]0.74 ± 0.00.78 ± 0.10.75 ± 0.10.77 ± 0.00.59 ± 0.00.6 ± 0.10.6 ± 0.10.6 ± 0.0-0.18 ± 0.1-0.48 ± 0.2-0.92 ± 0.4-0.24 ± 0.1
AhnRNN [ahn2020towards]0.69 ± 0.00.76 ± 0.00.72 ± 0.10.72 ± 0.00.55 ± 0.00.62 ± 0.00.6 ± 0.10.58 ± 0.0-0.02 ± 0.0-0.48 ± 0.3-0.98 ± 0.6-0.09 ± 0.0
AhnCNN [ahn2020towards]0.69 ± 0.00.76 ± 0.10.72 ± 0.10.72 ± 0.00.55 ± 0.00.62 ± 0.10.6 ± 0.10.59 ± 0.0-0.02 ± 0.0-0.49 ± 0.3-1.0 ± 0.7-0.09 ± 0.1
BEyeLSTM [reich_inferring_2022]0.67 ± 0.01.74 ± 1.01.61 ± 0.91.43 ± 0.70.51 ± 0.01.39 ± 0.81.4 ± 0.81.01 ± 0.50.03 ± 0.0-11.43 ± 9.8-17.16 ± 14.6-6.91 ± 6.1
PLM-AS [Yang2023PLMASPL]0.7 ± 0.00.73 ± 0.00.7 ± 0.00.71 ± 0.00.56 ± 0.00.58 ± 0.00.58 ± 0.00.57 ± 0.0-0.06 ± 0.0-0.31 ± 0.1-0.74 ± 0.4-0.06 ± 0.0
PLM-AS-RM [haller2022eye]1.2 ± 0.11.18 ± 0.11.11 ± 0.21.21 ± 0.01.04 ± 0.11.04 ± 0.11.02 ± 0.21.04 ± 0.0-2.13 ± 0.3-2.4 ± 0.5-3.16 ± 1.0-2.08 ± 0.2
RoBERTEye-W [Shubi2024Finegrained]0.67 ± 0.00.74 ± 0.00.72 ± 0.10.71 ± 0.00.54 ± 0.00.6 ± 0.00.6 ± 0.10.58 ± 0.00.04 ± 0.0-0.4 ± 0.2-0.9 ± 0.5-0.05 ± 0.0
RoBERTEye-F [Shubi2024Finegrained]0.67 ± 0.00.77 ± 0.00.75 ± 0.10.73 ± 0.00.56 ± 0.00.65 ± 0.00.64 ± 0.10.61 ± 0.00.02 ± 0.0-0.49 ± 0.2-1.07 ± 0.5-0.1 ± 0.0
MAG-Eye [Shubi2024Finegrained]0.67 ± 0.00.76 ± 0.10.74 ± 0.10.72 ± 0.00.54 ± 0.00.62 ± 0.00.62 ± 0.10.59 ± 0.00.03 ± 0.0-0.44 ± 0.2-1.01 ± 0.5-0.09 ± 0.1
PostFusion-Eye [Shubi2024Finegrained]0.71 ± 0.00.85 ± 0.10.85 ± 0.10.8 ± 0.10.57 ± 0.00.66 ± 0.10.69 ± 0.10.63 ± 0.1-0.08 ± 0.0-0.81 ± 0.3-1.8 ± 0.9-0.34 ± 0.2

Validation

ModelUnseen Reader RMSEUnseen Text RMSEUnseen Text and Reader RMSEAverage RMSEUnseen Reader MAEUnseen Text MAEUnseen Text and Reader MAEAverage MAEUnseen Reader R²Unseen Text R²Unseen Text and Reader R²Average R²
Majority Class / Chance0.73 ± 0.10.68 ± 0.00.64 ± 0.00.7 ± 0.00.55 ± 0.10.5 ± 0.10.48 ± 0.10.51 ± 0.0-0.21 ± 0.2-0.09 ± 0.0-0.36 ± 0.1-0.05 ± 0.0
Reading Speed0.68 ± 0.00.77 ± 0.10.79 ± 0.10.74 ± 0.00.52 ± 0.00.66 ± 0.10.67 ± 0.10.61 ± 0.0-0.06 ± 0.0-0.48 ± 0.3-1.37 ± 0.7-0.17 ± 0.1
Text-Only Roberta0.67 ± 0.00.67 ± 0.00.62 ± 0.00.66 ± 0.00.57 ± 0.00.55 ± 0.00.52 ± 0.00.55 ± 0.0-0.03 ± 0.1-0.06 ± 0.0-0.32 ± 0.20.06 ± 0.0
Logistic Regression [meziere2023using]0.71 ± 0.00.77 ± 0.10.78 ± 0.10.75 ± 0.00.55 ± 0.00.66 ± 0.10.63 ± 0.10.61 ± 0.0-0.16 ± 0.0-0.55 ± 0.4-1.28 ± 0.7-0.22 ± 0.1
SVM [hollenstein2023zuco]0.7 ± 0.00.72 ± 0.00.65 ± 0.10.7 ± 0.00.5 ± 0.10.52 ± 0.00.49 ± 0.10.51 ± 0.0-0.11 ± 0.1-0.2 ± 0.1-0.47 ± 0.2-0.06 ± 0.0
Random Forest [makowski2024detection]0.64 ± 0.00.77 ± 0.00.81 ± 0.10.73 ± 0.00.49 ± 0.00.61 ± 0.00.66 ± 0.10.57 ± 0.00.05 ± 0.1-0.4 ± 0.2-1.37 ± 0.5-0.15 ± 0.1
AhnRNN [ahn2020towards]0.72 ± 0.00.67 ± 0.00.61 ± 0.00.68 ± 0.00.59 ± 0.00.53 ± 0.00.49 ± 0.00.55 ± 0.0-0.2 ± 0.1-0.05 ± 0.0-0.26 ± 0.2-0.0 ± 0.0
AhnCNN [ahn2020towards]0.72 ± 0.00.67 ± 0.00.6 ± 0.00.68 ± 0.00.59 ± 0.00.53 ± 0.00.49 ± 0.00.54 ± 0.0-0.18 ± 0.1-0.03 ± 0.0-0.22 ± 0.10.02 ± 0.0
BEyeLSTM [reich_inferring_2022]0.67 ± 0.00.68 ± 0.00.59 ± 0.00.66 ± 0.00.51 ± 0.00.54 ± 0.10.49 ± 0.00.52 ± 0.0-0.03 ± 0.0-0.09 ± 0.0-0.17 ± 0.10.05 ± 0.1
PLM-AS [Yang2023PLMASPL]0.69 ± 0.00.71 ± 0.00.66 ± 0.00.69 ± 0.00.56 ± 0.00.57 ± 0.00.53 ± 0.00.56 ± 0.0-0.09 ± 0.1-0.19 ± 0.1-0.53 ± 0.3-0.04 ± 0.0
PLM-AS-RM [haller2022eye]1.2 ± 0.11.18 ± 0.11.12 ± 0.21.2 ± 0.01.05 ± 0.11.02 ± 0.11.02 ± 0.21.03 ± 0.0-2.33 ± 0.4-2.24 ± 0.4-3.18 ± 1.0-2.14 ± 0.3
RoBERTEye-W [Shubi2024Finegrained]0.64 ± 0.00.67 ± 0.00.61 ± 0.00.65 ± 0.00.53 ± 0.00.54 ± 0.00.5 ± 0.00.53 ± 0.00.05 ± 0.1-0.07 ± 0.0-0.3 ± 0.20.09 ± 0.0
RoBERTEye-F [Shubi2024Finegrained]0.62 ± 0.00.68 ± 0.00.65 ± 0.00.65 ± 0.00.52 ± 0.00.56 ± 0.00.55 ± 0.00.54 ± 0.00.1 ± 0.1-0.1 ± 0.1-0.48 ± 0.30.09 ± 0.0
MAG-Eye [Shubi2024Finegrained]0.64 ± 0.00.67 ± 0.00.61 ± 0.00.65 ± 0.00.53 ± 0.00.52 ± 0.00.49 ± 0.00.52 ± 0.00.05 ± 0.1-0.04 ± 0.0-0.26 ± 0.10.09 ± 0.0
PostFusion-Eye [Shubi2024Finegrained]0.7 ± 0.10.68 ± 0.00.63 ± 0.00.68 ± 0.00.57 ± 0.00.55 ± 0.00.52 ± 0.00.55 ± 0.0-0.13 ± 0.2-0.08 ± 0.0-0.34 ± 0.20.0 ± 0.0