Что такое алгоритм?

Алгоритм - это обрабатывающее решение проблемы, обычно в процессе манипулирования данными при ожидании результата. Поскольку существует множество различных решений одной и той же проблемы, каждое решение может иметь уникальное название для каждого алгоритма.

Проще говоря, алгоритм - это путь к достижению определенного результата. Предположим, вы хотите, чтобы ваш компьютер приготовил для вас чашку кофе. Как сказать, что делать? Когда это делать? В каком порядке это делать? Какие условия в него поставить? Другой алгоритм может иметь место для американо и другой для латте макиато. Но в конечном итоге мы идем к автоматизации. Мы просто хотим сделать заказ и получить чашку кофе в руки. Об остальном мы хотим забыть.

Для кофе или чего-нибудь нечеловеческого это нормально. Вы не будете возражать против латте макиато вместо эспрессо из-за ошибки алгоритма в один прекрасный день. Но что, если вас просто уволили с работы из-за алгоритма? или ваша безопасность поставлена ​​под угрозу? что, если это вопрос жизни и смерти?

Насколько тогда вы бы доверяли этим алгоритмам?

Как Amazon разработала алгоритмы найма людей:

После нескольких месяцев приема на работу специалисты Amazon по машинному обучению обнаружили большую проблему в своей системе набора персонала.

Они работают над автоматизацией утомительного процесса проверки резюме с 2014 года с целью поиска лучших талантов для своей работы.

Автоматизация - ключевое значение Amazon; от сортировки на складе до принятия решения о цене. Но использование искусственного интеллекта, чтобы дать кандидатам на работу такую ​​же оценку, как и продукты Amazon; идея одним словом, обратный эффект.

В течение одного года компания осознала, что их алгоритм не оценивает кандидатов на вакансии разработчиков программного обеспечения и другие технические должности нейтрально с гендерной точки зрения.

Вы думаете, что это и ежу понятно? Но в бизнесе, где скорость имеет значение, видимо, нет.

Во время кодирования алгоритма компьютерные модели Amazon были обучены рекомендовать кандидатов только на основе наблюдений в резюме, которое было отправлено в компанию за 10-летний период. Попытка принять это решение, следуя предыдущим шаблонам, имеет смысл.

Восприятие среднего, но не выявление лучших талантов.

Рынок технологий стремительно меняется. Доминирование мужчин по-прежнему является основной тенденцией в индустрии высоких технологий, однако в этот сценарий входит все больше и больше женщин.

Система Amazon неосознанно наказывала резюме, содержащее слово «женские», и многие потенциальные кандидаты были понижены в рейтинге. Женщины, поскольку они были женщинами, просто не соответствовали предыдущему шаблону, на котором основывался алгоритм.

Amazon в конечном итоге прекратил весь процесс, но есть чему поучиться из этой неудачи, известной как обратная связь.

Согласно опросу CareerBuilder, проведенному в 2017 году, почти 55% менеджеров по персоналу в США считают, что искусственный интеллект, People Analytics или Decision Intelligence станут регулярной частью их работы в течение следующих пяти лет. Хотя работодатели давно мечтают об использовании мощных технологий для автоматизации принятия решений людьми и уменьшения шума, компьютерные ученые, такие как Нихар Шах, преподающий машинное обучение в Университете Карнеги-Меллона, предупреждают нас, что предстоит еще много работы.

«Как обеспечить справедливость алгоритма, как убедиться, что алгоритм действительно интерпретируем и объясним - это еще очень далеко», - сказал он.

Reuters было первым, кто сообщил об этой проблеме в Amazon, и они выяснили, что группа AI в Amazon создала почти 500 компьютерных моделей, ориентированных на конкретные функции и места работы.

Алгоритмы, однако, научились придавать мало значения навыкам, которые были общими для соискателей ИТ, скорее предпочитали кандидатов, которые использовали глаголы, обычно встречающиеся в резюме мужчин-инженеров, такие как «выполнен» и «захвачен».

Поскольку технология начала возвращать результаты набора почти случайным образом, Amazon закрыл проект и в настоящее время работает более подробно.

Но вы хотите ... гендерная предвзятость была единственной проблемой!

Знаменитый пример алгоритма средней школы от Кэти О’Нил:

Кэти О’Нил - специалист по анализу данных, получившая докторскую степень по математике в Гарварде и преподававшая в Барнард-колледже, прежде чем перейти в частный сектор, где она работала в хедж-фонде D.E. Шоу. Позже ее работа в стартапах изменилась по-разному, но она начала строить модели, которые предсказывали покупки людей. То, что она испытала, цитируется из ее книги Оружие разрушения математики,

«Математические приложения, лежащие в основе экономики данных, были основаны на выборе, сделанном людьми, склонными к ошибкам. Некоторые из этих выборов, несомненно, были сделаны из лучших побуждений. Тем не менее, многие из этих моделей закодировали человеческие предрассудки, непонимание и предвзятость в программных системах, которые все больше управляли нашей жизнью. Подобно богам, эти математические модели были непрозрачными, их работа была невидима для всех, кроме высших священников в их области: математиков и компьютерных ученых. Их вердикты, даже если они ошибочные или вредные, не подлежат обсуждению и обжалованию. И они стремились наказывать бедных и угнетенных в нашем обществе, делая богатых еще богаче ».

Ее знаменательный случай был контекстуализирован в 2007 году, когда новый мэр Вашингтона, округ Колумбия, Адриан Фенти был полон решимости оценить и стимулировать деятельность школ, чтобы исправить неэффективные школы города.

Лишь один из каждых двух старшеклассников дожил до окончания девятого класса, и только восемь процентов восьмиклассников успели успеть по математике на уровне своего класса.

Согласно распространенной теории, ученики недостаточно учились, потому что учителя были достаточно хорошими.

Поэтому Фенти нанял реформатора образования по имени Мишель Ри, которая в 2009 году реализовала план по отсеиванию неэффективных учителей. С точки зрения системной инженерии это имеет смысл: оценивайте своих учителей, избавляйтесь от худших и размещайте лучших там, где они могут принести наибольшую пользу. Случай классической оптимизации в работе.

Вместе с командой разработчиков программного обеспечения Ри разработал инструмент оценки учителей под названием IMPACT, и в конце 2009-10 учебного года округ уволил всех учителей, чьи оценки были ниже 2%. В конце следующего года уволили еще 5 процентов, или 206 учителей.

Саре Высоцки, учительнице пятого класса средней школы МакФарланд, по ее совести, не о чем было беспокоиться. Она проработала там всего два года, но уже получала отличные отзывы от директора и родителей ученицы. Одна оценка хвалила ее внимание к детям; другой назвал «одним из лучших учителей, с которыми я когда-либо общался».

В конце 2010-11 учебного года Высоцкого уволили из школы.

Она получила мизерную оценку за свою оценку IMPACT, а новая система оценки, разработанная командой разработчиков программного обеспечения, известная как моделирование с добавленной стоимостью, перевесила положительные отзывы школьной администрации и сообщества.

Можем ли мы логически обосновать алгоритм?

В конце концов, мы люди, а школьные администраторы могут дружить с ужасными учителями. Родителям могут нравиться воспитанные учителя, которые могут казаться хорошими, но совсем не эффективными. Итак, Вашингтон, как и многие другие школьные системы, считает, что они находятся на правильном пути, чтобы свести к минимуму человеческую предвзятость и уделять больше внимания точным результатам: баллам по математике и чтению. Номер говорил ясно.

Или они?

Высоцкий чувствовал, что ее увольнение было ужасно несправедливым, а ее усилия были совершенно неверно оценены. Она хотела знать, что за черный ящик скрывается за моделью с добавленной стоимостью. Она узнала, что система была создана консалтинговой фирмой Mathematica Policy Research из Принстона. Задача фирмы состояла в том, чтобы измерить успеваемость учащихся в округе и определить, какая часть их прогресса или снижения была обусловлена ​​учащимися.

Попытка уменьшить человеческое поведение, предвзятость и повысить производительность - задача не из легких. Кэти дает нам тонкий пример,

«Чтобы понять, с чем столкнулась система Mathematica, представьте себе десятилетнюю девочку, живущую в бедном районе на юго-востоке Вашингтона, округ Колумбия. В конце учебного года она сдает стандартизированный тест для пятого класса. Тогда жизнь продолжается. У нее могут быть проблемы в семье или с деньгами. Может быть, она переезжает из одного дома в другой или беспокоится о старшем брате, у которого проблемы с законом. Может быть, она недовольна своим весом или напугана хулиганом в школе. В любом случае, в следующем году она сдает еще один стандартизированный тест, на этот раз предназначенный для шестиклассников. Если вы сравните результаты тестов, результаты должны остаться стабильными или, надеюсь, резко возрастут. Но если ее результаты падают, легко подсчитать разрыв между ее успеваемостью и успеваемостью учеников. Но какая часть этого разрыва связана с ее учителем? »

На подобные вопросы сложно ответить. В случае нечеловеческих алгоритмов даже больше.

Такие компании, как Google, имеют достаточно большой набор данных, и их исследователи могут проводить постоянные тесты и отслеживать тысячи переменных. Они могут просто изменить шрифт в одном рекламном объявлении и оптимизировать на основе своей обратной связи размер выборки от одного до десяти миллионов человек в течение нескольких минут. Они могут использовать эту обратную связь для фильтрации шума из сигнала и точной настройки своей работы.

В случае с Mathematica у них было только несколько значений и чисел для сравнения. Они попытались оценить эффективность учителя, как Высоцкий, проанализировав результаты тестов только двадцати пяти или тридцати студентов, что сделало их не только статистически несостоятельными, но и смехотворными.

Однако результат ошеломляющий. Высоцкий и другие 205 учителей были уволены, что привело к временной безработице, и, что более важно, никто не мог объяснить им, почему их уволили. Алгоритмы не могут слушать, они не могут говорить. Они не подвержены контекстным дилеммам.

Подробнее о« контекстной проблеме можно прочитать здесь».

Если станет ясно, что автоматизированные системы ошибаются на досадной и систематической основе, программисты вернутся и откорректируют алгоритмы. Но по большей части программы выносят непоколебимые вердикты, и люди, использующие их, могут только пожать плечами и сказать: «Эй, что ты умеешь?» именно такой ответ Сара Высоцки получила, наконец, из школьного округа.

Однако Сара Высоцки оставалась без работы всего на несколько дней. Вокруг нее было множество гуманных людей, включая директора, которые поручились за нее как за учительницу в богатом районе на севере Вирджинии.

Тем не менее, по словам Кэти, многие часы были потрачены впустую, разочарование резко упало, бедная школа потеряла хорошего учителя, а богатая школа, в которой не увольняли людей на основании оценок их учеников, получила один.

Что такое иллюзия действительности?

Исследования, подобные найму сотрудников Amazon или делу Кэти в школе, указывают на классическую когнитивную предвзятость, присущую человеческой природе; называется иллюзией действительности.

Эта концепция «иллюзии достоверности» была впервые описана Амосом Тверски и Дэниелом Канеманом в статье, опубликованной в 1973 году.

Это предвзятость существует из-за классической предвзятости подтверждения - желания найти информацию, которая соответствует нашему прогнозу, а также эвристики репрезентативности - прогнозирования на основе того, насколько одна ситуация похожа на другие ситуации.

Этот эффект сохраняется даже тогда, когда люди осознают объективные пределы предсказательной силы своих данных.

По этой причине феномен, скорее всего, будет близок к точному без субъективной проверки, а простые модели часто более эффективны при прогнозировании результатов, чем мнения экспертов.

В случае Amazon шаблоны наблюдений, которые использовались для обучения алгоритмов, были основаны на решениях о найме, принятых десять лет назад. И неудивительно, что алгоритмы были не лучше людей, потому что когнитивная предвзятость уже была заложена в алгоритме, поскольку женщины-программисты были очень немногими десять лет назад.

В случае со школьной учительницей Кэти эффективность измерялась просто на основе успеваемости учеников. Эта иллюзия достоверности возникла не только из-за логического восприятия команды разработчиков программного обеспечения, она даже более глубокая. Системы оценок, CGPA и другие средства количественной оценки образования - постоянная проблема, в которой само образование в основе своей субъективно.

Можно ли решить эти проблемы, если бы бизнес-антрополог и аналитик данных присутствовали на месте преступления (: P):

До сегодняшнего дня понятие справедливости неуловимо. А для алгоритмов это больше. По мере того, как мы учимся разрабатывать все больше и больше алгоритмов, классическое упоминание французского теоретика культуры Поля Вирилио:

«Когда вы изобретаете корабль, вы изобретаете и кораблекрушение; изобретая самолет, вы изобретаете и авиакатастрофу; а когда вы изобретаете электричество, вы изобретаете поражение электрическим током ... Каждая технология несет в себе свой отрицательный момент, который изобретается одновременно с техническим прогрессом ».

При разработке алгоритмов качество часто оценивается на основе его точности (процент правильных результатов), его точности (способности не отмечать как положительный образец, который является отрицательным) или его отзыва (способности найти все положительные образцы). . Решение, какая из этих трех мер является лучшим показателем справедливости, требует надлежащего контекстуализации потребности, которую алгоритм мог бы удовлетворить.

В данной ситуации без бизнес-антрополога и аналитика данных в сценарии; даже если инженеры и разработчики безупречно собирали данные и вводили их в идеально предсказывающую модель машинного обучения, алгоритм все равно будет испорчен предвзятостью, заложенной в среде, создавшей данные.

Кроме того, со временем влияние смещения будет усиливаться в зависимости от объема данных.

Бизнес-антрополог и аналитик данных анализируют предоставленные данные - количественные и качественные - и используют надлежащие методы для выявления социальных проблем, таких как расовые предубеждения, дискриминация по географическому признаку и изоляция, которые глубоко укоренились в мире вокруг нас и предоставляют нам контекстное социальное решение.

Джеффри Брантингем, профессор антропологии из Калифорнийского университета в Лос-Анджелесе, работал над разработкой системы прогнозирования полицейской деятельности под названием PredPol. Результаты показали, что, несмотря на одинаковый уровень употребления наркотиков, афроамериканцев арестовывали в четыре раза чаще, чем белых за правонарушения, связанные с наркотиками.

Алгоритм не учел, что районы, которые прогнозировали более высокий уровень преступности, также имели более высокие уровни неграмотности, а также экономической преступности по сравнению с другими местами в городе.

Всегда ли корреляция означает причинную связь? Вы дадите мне ответ.

Вывод:

Таким образом, мы можем рассмотреть три четких задачи, которые можно решить, когда бизнес-антрополог и аналитик данных войдут в команду разработчиков программного обеспечения, чтобы улучшить алгоритмическую справедливость.

Во-первых, мы должны выйти за рамки мышления, создающего алгоритм, и результата, который он выдает, и, скорее, перейти к «мышлению обучения алгоритму», чтобы синхронизироваться с тем, что именно делает алгоритм. Это обучение.

У бизнес-антрополога есть социальные и культурные линзы, а у аналитика данных есть инструменты и методы, чтобы прочесать данные, о которых раньше даже не догадывались.

В идеальном случае они оба осознают эвристику и предвзятость, которые легко интерпретировать и объяснить в мире программного обеспечения.

Инженеры по машинному обучению постоянно принимают логические решения, но иногда легко потеряться в блок-схеме процесса, когда сама логика контекстуальна: как это знаменито объяснил Людвиг Витгенштейн.

Во-вторых, мы должны улучшить качество используемых данных. Дополнительные усилия необходимы для построения моделей того, как интерпретировать данные из недостаточно представленных групп. Модели также могут периодически подвергаться рецензированию по аналогии с протоколами научных исследований. Об аудите после внедрения следует судить не только по инженерным показателям, но и по тем, на кого он влияет и как.

В-третьих, алгоритмы - это большой бизнес. Но пришло время уделить внимание изучению деловой этики, потому что после привыкания алгоритмы вполне могут быть похожи на лампочку, существующую и формирующую нашу жизнь неосознанно, а мы этого не осознаем.

Так же, как мы потребляем сахар во всем мире, мы снова будем жить в неисправной системе.

В мире, управляемом законами и соглашениями, законодатели, возможно, не предполагали повсеместного распространения и мощности алгоритмов, но они могут включать в себя права знать, какие данные используются в качестве входных и выходных в контекстах, защищенных конституцией. Это могло быть началом.

Плохая новость в том, что алгоритмы далеки от совершенства.

По мере того, как я углубляюсь в People Analytics, при решении задач управления талантами в показателях производительности комбинации различных тестов и методов выбора по-прежнему оставляют большую часть производительности необъяснимой. По словам профессора Мэтью Бидвелла из Уортонской школы бизнеса, тесты когнитивных способностей по-прежнему не позволяют прогнозировать отклонения более чем на 30-40%.

Но хуже всего то, что алгоритмы по-прежнему лучше людей.

Углубляясь в эпоху больших данных, я осознаю необходимость алгоритмов.

Канеман, Талер и Тверски очень хорошо показали нам человеческие предубеждения, которые есть в нас самих. Профессор Митч Хоффман из Университета Торонто уже изучал, как внедрение алгоритмов снижает текучесть кадров в call-центрах.

Проблема в том, что мы ожидаем, что братья Райт из алгоритмов во всем мире будут использовать автопилот, в то время как впереди еще много лет работы.

Нам все еще нужны пилоты с ручным управлением и предстоит еще много исследований, когда мы, наконец, сможем включить режим автопилота, чтобы принимать решения по алгоритмам за нас.

Поскольку самолету требуется постоянная корректировка на основе обратной связи с окружающей средой, и ручным автопилотам нужно постоянно быть в курсе, нам также нужно набраться терпения, оценивать и надеяться на возможное будущее.

Чтобы сократить разрыв между настоящим и будущим алгоритмов, бизнес-антропологу и аналитику данных необходимо незамедлительно танцевать вместе при построении алгоритмов; в настоящее время.