Эффективность работы автора

Один небезывстный человек недавно сказал: "Возьми топ-50 по просмотрам и топ-50 по просмотрам на материал; пересеки два топа, а тех, кто не попал ни в один - выкинь. И будет у тебя идеальная рентабельная редакция."

Небезызвестный человек явно не глуп, но не очень любит спускаться на бренную землю.
В предложенном подходе несколько сложностей:

- Просмотры ничто, деньги - всё. То есть не просто деньги, а грязные рекламные деньги. Интересно понять: автор, получающий фикс зарплату или не-фикс гонорар - отбивает ли он эти деньги открученной рекламой? (ок, рекламой и подпиской, отсюда следующий пункт)
- У нас подписное издание, и подписка составляет существенную долю дохода. Это нужно учитывать, ведь автор - именно тот человек, который создает (или не создает) ценность подписного продукта. То есть важно и влияние на конверсию в новые первичные покупки, разве нет?
- Два кита подписного издания - чарн и ретеншн. Влияет ли автор на удержание аудитории текущих подписчиков, которые регулярно отгружают нам деньги (то есть обеспечивают денежные пролонгации)? Мы живем на пролонгациях, от них денег в разы больше чем от новичков, это тоже надо принять во внимание. Пишет он больше для новой аудитории или борется за сохранение старой? Важно и то, и другое.
- Отсюда последний пункт, про новую аудиторию. Больше хайпа богу хайпа. Насколько материалы, которые производит автор, хотя бы по каким-то косвенным признакам, влияют на популярность изданий? Привлечение новых людей?

Итого, мы тут выделили четыре глобальных относительно независмых фактора, по которым можно оценивать работу автора:

• Заработанные на рекламе деньги
• Заработанные на подписке деньги
• Удержание подписчиков
• Привлечение новой аудитории

Совесть

Почему не остановиться только на просмотрах, как было предложено в самом начале?

(вообще сама идея пересекать просмотры с просмотрами вид сбоку довольно странная, но суть не в этом) 

Ответ такой. Потому что на просмотры материала влияет далеко не только автор, который написал текст, заголовок и сделал обвесы. Качество материала, к сожалению или к счастью, не всегда становится определяющим количество просмотров.

Допустим, автор сделал шикарный эксклюзив и даже встал в "с чего всё начиналось" в Яндексе.

Но тут алгоритм Яндекс.Новостей в очередной раз повёл себя непредсказуемо и через пять минут анонс выпал из верхнего блока выдачи и ушёл глубоко вниз на несколько часов. Нет просмотров, и это не вина автора, а вина Яндекса.

Или того хуже. Из-за некоторых технических особенностей материал попал в какой-нибудь рсс раньше, чем на сайт. Кое-кто в соседнем издании знал этот баг и парсил этот рсс. Увидел этот чудный эксклюзив и быстренько рерайтнул его на своём сайте. И тут ты уже никому ничего не докажешь - в "с чего всё начиналось" будет стоять его материал, хоть ты тресни. А первоисточник нашего многострадального автора Яндекс вообще пометит как дубликат, потому что вышел на сайте позже. Нет просмотров, и это не вина автора, а вина айтишников, которые не пофиксили этот баг.

А другой автор выпустил довольно посредственный материал, который вряд ли бы при прочих равных собрал много.

Но тут пришёл фоторед и прикрутил в верхнюю фотку очень удачное изображение от фотографов. 

А потом пришёл выпускающий редактор и написал смешную и едкую подводку для Фейсбука.

В Фейсбук встал материал с чужой классной фоткой и чужим интересным тизером.

А потом этот материал репостнул какой-нибудь Тиньков со словами "Вот вы бы ещё статьи нормальные научились писать, а не только фоточки в соцсеточки выкладывать".

И всё, и понеслась.

Есть просмотры, и это не заслуга автора.

В нашей новой системе ценностей первый автор, хоть и открутит мало рекламы, скорее всего получит хороший перевес в пользу подписчиков, которые в любом случае внимательно читают издание и могут отличить хорошие материалы от плохих, независимо ни от чего. Скорее всего, действительно -хороший материал станут репостить и он наберёт какую-то долю вирального трафика. А значит, нагенерит новых подписок.

А второй автор наберет много очков на просмотрах с открутками баннеров и хайпе, но плохой материал не будут покупать, плохой материал не будут читать подписчики, его не будут расшаривать в соцсетях.

Справделивость восстановлена.

И вот ещё что. Есть отделы в редакции, традионно пишушие для подписчиков на интересные подписчикам темы. Есть отделы, которые работают на рерайт Яндекс.Новостей. Есть отделы, пишущие про лайфстал - а это вообще не наш профиль, зато хорошо работает на внешнюю аудиторию. И тут мы их всех тоже подружим и оценим по достоинству одной системой метрик.

Ум

Осталось завернуть справедливость в код, подключить код к базе данных и запустить в жизнь.

Определимся с ключевыми метриками:

Реклама

В самом простом варианте можно посчитать среднюю стоимость по больнице рекламы, откручиваемой на странице и умножить на неё количество просмотров, которые нагенерил автор своими статьями.

И это действительно так при соблюдении следующих условий:

а. на сайте всегда обновляются урлы страницы в те же моменты, когда перегружаются баннеры. Например, у каждого кадра в галерее свой урл. Нет видео, в которое вставлена реклама. Нет динамических баннеров, которые меняются при скролле. И так далее.

б. все страницы похожи по набору инвентаря. Нет "пустых" форматов вроде новостей и нет, наоборот форматов, забитых рекламой, вроде галерей и лонгридов.

в. последнее и главное. Реклама продаётся не по vCPM и нет наценки за CTR. (хотя по-моему, сейчас уже никто так не продаёт) Потому что в противном случае выручка от открутки будет больше зависить не от факта перехода на материал, а от факта дочитывания страницы до конца. А по доскроллам все материалы очень сильно отличаются.

Значит, большинству нормальных современных изданий такой подход не подойдет. Надо интегрироваться на стороне сервера с баннерокрутилкой или создавать какие-то кастомные таргетинги для оценки выручки от каждого автора по факту.

Мы этого пока не делали. Но сделаем когда-нибудь.

Пожалуй, это главный недостаток получившейся модели. Мы сели, подумали, решили плюнуть на всё и прикинуться, что количество просмотров всё-таки кореллирует с открутками, хоть и не на 100%. Просто заменили название фактора с "Рекламы" на "Просмотры", чтобы никого не обманывать и мерить не в рублях, а в штуках. Такая фигня. Когда-нибудь мы эволюционируем в высшую форму жизни, пока работаем с тем что есть.

Это из "Хижины в лесу": Имеются пять персонажей, которые соотвествуют архетипам любого подросткового фильма ужасов: спортсмен и альфа-самец, блудливая блондинка, умник, шут и девственница. Но с самого начала мы знаем, что блондинка Джулс вовсе не блондинка, она только что покрасила волосы. А Дейна совсем не девственница (еще бы, она спала с преподом), и она сама это подтвердит в финале, когда воздействие веществ закончится - "Девственница? Я?!" - "Мы работаем с тем, что есть"

Подписка

Конечно, нам важны деньги с подписки. Но также важен и мотив человека начать платить за контент и тот факт, что он вообще стал подписчиком - не важно, купил он ежедневное списание по рублю или годовую подписку за 10к.

Так что решено было взять взвешенное среднее между вырученным на первичных продажах со статьи (да, по ласт-клик, не осуждайте меня, мы пока ещё личинка дата-дривен, а не взрослый New York Times) и количеством новых появившихся со статьии подписчиков.

Удержание

Тут всё довольно просто: какую долю составляют просмотры материалов автора подписчиками от всех просмотров? Гипотеза такова, что есть авторы, которые продают мало новых подписок, зато именно ради их материалов уже имеющиеся подписчики ходят на сайт.

Привлечение

Мы устали думать к четвертому пункту и взяли количество расшаров в соцсетях - Вконтакт, Фейсбук, Твиттер.

Честь

Погнали уже.

Берём Clickhouse и заливаем туда исторические хиты чуть менее чем за год.

Берём словарь 'автор':'отдел'.

Пересчитываем все хиты в разрезе отделов по следующей схеме:

Можно сразу понять, какой отдел более лучший в каком из выделенных четырёх факторов. Но проблемка: есть отделы, в которых 10 человек постят по сотне микро-новостей в день. Есть отделы типа расследований и лонгридов, где один-два человека выдают бомбу раз в месяц.

Нормируем все показатели в расчете на одного сотрудника. Как если бы в каждом отделе было всего по одному человеку, какая была бы отдача: так будет легче сравнивать. В конце концов сотрудники и в том и в другом отделе гипотетически получают сопоставимую зарплату.

А дальше посчитаем в пересчете на одного автора, какие показатели по факторам даёт отдел относительно среднего?

Например, лонгриды всех порвут по расшарам (Путин готовился поддержать предвыборную кампанию Навального! ЛАЙК_ШЕР_РЕПОСТ_ОЛОЛО), новости - по просмотрам просто возьмут объёмом.

На исторических данных мы поймём, как в целом работают разные отделы, что для каждго из них является нормой. И введём эти коэффициенты отделов для оценики индивидуальных авторов. Например, оценивая того же новостника, мы утрируем его просмотры - для новостей это самый важный показатель, а погасим репосты - новости репостят редко. А для лонгов сделаем наоборот. И получим ровную картинку, независимо от того, какого рода материалы пишут разные авторы.

При оценке авторов возникает ты же проблемка: у одного 1 материал в месяц, у другого - 100. Но оценивать мы будем авторов за сопоставимый период времени, так что всё норм. Допустим, три автора получают гонораров по 100500 рублей в месяц. За этот месяц один фигачит в Яндекс.Новости, а двое других вместе выпускают фбк-стайл расскедование. Все трое должны отбить бабки, просто способы разные. Так что смотрим на совокупные показатели. И отделы считаем в расчете на голову, а авторов в расчете на материал - нет.

Смотрим, как отклоняются от среднего по редакции у этого автора совокупные просмотры, продажи, подписчики и шары и умножаем на коэффициенты его отдела.

Примерно так в случае просмотров:

(views*1.0/(SELECT avg(views) FROM ololo))*k_views AS score_views,

и так в случае продаж - взвешенный из количества покупок и выручки:

(((money*1.0/(SELECT avg(money) FROM asdasd))+(purchases*1.0/(SELECT avg(purchases) FROM asdasd)))/2)*k_sales AS score_sales,

Ну и общий скор как среднее четырех факторов.

Ииии вуаля, ахалай-махалай.