@Sarevok, вообще, высказывания в духе "давайте предположим" больше тянет на абстрактную тему для дискуссии.
Например, данное высказывание, если проводить аналогию, являет попытку эксперимента в идеальной среде.

S John

В базе данных MAL на настоящий момент содержится около 20 тыс. тайтлов. Давайте предположим, что объективные оценки по ним распределены равномерно. Худшие 10 тысяч имеют оценку 5 и ниже, лучшие 10 тысяч оценку 5 и выше.

Мне это напоминает перл на курсах повышения квалификации: "давайте представим, что все дети выполняют задания в тестах не наугад".
Только вот есть противоречие.

S John

все ставят оценки не ниже 5-ки и это правильно

S John

Теперь оцените, какой шанс у вас увидеть тайтл из нижних 10 тысяч?

Довольно немалый, если ты любитель старины или арт-хауса. Рипы Orphan'а на няшке помогают приобщиться к этой категории тайтлов и даже познать то, что они могут быть зачастую лучше приличной доли тайтлов из верхней пятёрки.

S John

Даже если вы специально захотите посмотреть тайтл с объективным рейтингом ниже 5-ки, я уверяю, что вам это будет не так легко сделать.

Заблуждение. Или введение в заблуждение. Не вижу трудностей посмотреть какие-нибудь GreedЖадность, Bavi StockБави Сток, NoraНора или The Humanoid: Ai no Wakusei LezeriaГуманоид.
Это справедливо разве что для тайтлов с самой низкой отметкой, вроде Ex-ArmЭкс-Арм, Hametsu no MarsРазрушительный Марс или GibiateДжибиэйт. Хотя какой-нибудь Arifureta Shokugyou de Sekai Saikyou 2nd SeasonАрифурэта: Сильнейший ремесленник в мире 2 недалеко от последнего уехал. Но в Арифурэте 2 имеется грамотный фансервис, который повышает оценку по "объективной" системе MAL'а любого дерьма на несколько пунктов.

S John

да и 10-ка все-таки чрезмерно.

А теперь узри чрезмерность "объективной" системы на конкретном примере.

Тут наглядно видно, что оценки, скорее всего, ставили в основном фанаты этой франшизы или жанра. Кто ещё решиться посмотреть сёнэн с таким кол-вом эпизодов? И это их способ (и право) поддержать своё любимое приключение.

S John

Да ради Бога! Вперед в отзывы. Но не в рецензии, которые должны предлагать по возможности объективную оценку.

А откуда такие сведения?

Субъективизм неизбежен в любых оценочных суждениях. Рецензия может быть субъективна.
С. Кутателадзе. Памятка рецензенту.

Да, научная рецензия даёт как бы объективную оценку. Однако надо понимать, что есть цель оценки: допуск к печати, например, и критерии этой оценки. Как я уже говорил, обязательное условие объективной оценки - возможность верификации, т.е. проверки.
Например, ОГЭ/ЕГЭ - считается объективной оценкой знаний. Есть цель - проверка знаний. Проверка проводится в рамках всех разделов изучаемого предмета по ключевым темам, на которые есть чёткие ответы или критерии выполненности. Также проверяются и умения ребёнка применять знания на практике (от сочинений до решения задач и составления графиков), для проверки которых тоже есть чёткие критерии. И каждого проверяющего бланк проверяет другой проверяющий. И результаты должны совпасть (критерии-то одни). Например, в позапрошлом году я проверял ряд работ, а меня проверял кто-то из Москвы. Результаты проверки совпали в большинстве случаев, а в остальных разница была в +-2-3 балла. Вот она, верифицируемость!
А теперь, как это выглядит в научных рецензиях.

cyberleninka.ru/article/n/pamyatka-retsenzentu
А теперь скажите мне, какие требования выдвигает система оценивания MAL? Оцените от 1-10? В школе же так делают, и это, вроде, объективно! Хрен там! Во-первых, в методичке к оцениванию чётко написано, что пятибалльная система является "условно-объективной". Во-вторых, достигается эта условная объективность благодаря чётким критериям по каждой градации. Вот пример.

Почему объективность условная? Потому что критерий, например, "выразительности" чтения субъективен и плохо поддаётся верификации. У одного учителя Даша может получить 5, а у другого, более требовательного - 4. Я уж молчу об индивидуальном подходе.
Можно же сложить отметки за составляющие: сюжет, персонажей, графику и музыку! Хм, а какие критерии отметки у каждого из этих пунктов? Наибольшие шансы на относительно удачную верифицируемость имеет лишь пункт графика.
Причём, я не говорю, что нельзя написать объективную рецензию. Правда, это будет сухая писанина, изобилующая перлами "капитана очевидности", вроде "это произведение соответствует указанным жанрам", и морем профессионализмов и тонкостей, вроде правильной постановки сцен в соответствии с их темой (виды монтажа и проч.), прагматичного использования персонажей и соответствия сценария общим принципам построения истории.
Я лишь смею утверждать, что СиДжон преувеличивает объективность системы оценивания MAL.

S John

Давайте я вам покажу тайтл на 4 балла: Koumon-teki Juuku Ketsujiru JukeАнальный танец: Анальный сок.

А как ты вычислил, что оно именно на 4 балла? Не считаешь ли ты, что какой-нибудь Hametsu no MarsРазрушительный Марс сильно получше будет? Даже интересно, какие тайтлы ты оценил на 1.

S John

В последние годы я начал обнаруживать систематическую ошибку в своих оценках: распределение моих ошибок асимметрично и перекошено в сторону более худших. Объяснение может быть следующим.

Объяснение может быть в том, что у тебя большой опыт и вкус получше.
Дорогой СиДжон, я искренне желаю тебе приобрести уверенность в своих знаниях и опыте, чтобы иметь своё мнение насчёт произведений, не сильно забивая себе голову сравнением с мнением неопределённого большинства. Представь, что ты, взрослый мужик с большим опытом в аниме, можешь сравнивать свою оценку с оценкой толпы ребятишек и юношей, которым по душе, например, современные исекаи любого качества.
Вот. посмотри на это. Считаешь, это объективным?

c.Albedo

да можно проще поступить — захватить где-то 100 миллионов людей и заставить их смотреть один и тот же тайтл. Тогда оценка будет +- адекватной (при условии, что люди из разных возрастных групп, разных культур и проч.)

Я выше о подобном же писал. Только эти 100 миллионов могут собрать популярность, временная дистанция и культовый статус. Я приводил в пример, что оценки Евы и Бибопа куда объективнее (ну или хотя бы адекватнее) таковых у новых тайтлов.
Кстати, интересный парадокс: если все будут ориентироваться на отметки MAL'а, то какие отметки в результате получатся?