Оракулы на практике

В прошлую субботу прошла очередная сессия викенд тестирования (здесь можно посмотреть анонс и вводную по теме). Участников собралось меньше, чем обычно (возможно, это связано с некоторой задержкой в выкладывании анонса, каюсь :( ), но сессия получилась интересной и продуктивной.

Мы начали с обсуждения темы и пришли к выводу, что в своих компаниях мы используем немного разные оракулы, и их приоритет может быть разным. Например, для кого-то важнее оракул истории (или версий), который основан на сравнении текущей версии с предыдущими. Для кого-то спецификации служат главным механизмом, с помощью которого обнаруживаются ошибки. Еще один оракул, который нам нравится использовать - здравый смысл. Правда, как показывает практика, здравый смысл у разных людей может быть очень разным :) Но если в вашей компании есть человек с "эталонным" здравым смыслом, то почему бы его не использовать как оракул?

‎Дальше была практика, в рамках которой мы тестировали робота-консультанта Инфиуса на сайте Наносемантики. Для каждого бага или проблемы, которую мы находили, мы старались понять, с помощью какого оракула мы нашли эту проблему. Сам объект тестирования был интересным. Инфиус должен быть помощником для пользователей и рассказывать им об услугах, помогать найти нужную информацию и даже морально поддерживать (да да, он сам так сказал). В общем, это довольно симпатичный персонаж, с которым получались довольно забавные (и, кстати, вполне разумные) диалоги вроде:

- (Человек) А что ты делаешь когда тебе нечего сказать?

- (Робот) Всегда по-разному получается.

- ‎Например?

- Не могу привести пример.

- Жаль

- Но Вы сильно уж не расстраивайтесь!

- У меня депрессия

- Наверно, Вам нужен отпуск, коллега

Или:

‎- почему ты профессор?

- Я профессор, потому что я эксперт по инфам.

- эксперт?

- Я эксперт в области искусственного интеллекта.

- искусственный интеллект?

- Это то, что позволяет нам, роботам, общаться с вами, людьми. Но уровень нашего искусственного интеллекта, как это ни обидно, только от вас зависит.

- почему?

- Потому что инфов обучают люди.

‎Мы нашли несколько потенциальных проблем и проанализировали, какие оракулы мы использовали при этом:

1. Фразы, которые строит Инфиус, не всегда правильные и стройные - с точки зрения человека, который с ним говорит. Обнаружить эту проблемы мы смогли при помощи оракула "сравнимые продукты", где в рамках продукта для сравнения выступает человек :) 
2. Имеет место разное поведение робота в примерно одинаковых ситуациях. Например, иногда робот запоминает имя собеседника, иногда - нет. Иногда он выдает ответ на вопрос, но если его сформулировать немного иначе - теряется. Если ссылаться на конкретный оракул, который тут использовался, то можно упомянуть "product" из мнемоники FEW HICCUPPS, который говорит о том, что разные части продукта должны соответствовать друг другу. 
3. Кроме того, мы обнаружили, что Инф не выполняет одну из главных своих функций - он практически не советует обратиться в "человеческую"‎ службу поддержки, даже если не знает ответ на вопрос. Тут использовался оракул "purpose" - продукт должен соответствовать своему назначению. 
4. Были еще проблемы вроде обрезания текста, перекрывания окном приложения текста страницы, странных глюков с вводом длинного текста. Многие из этих проблем были найдены при помощи оракула "схожести", когда мы пытаемся найти проблемы, встречавшиеся нам раньше (в других продуктах). Можно также назвать этот оракул опытом.

Материалы сессии (лог скайп чата) можно посмотреть тут.

В самом конце мы решили провести голосование за тему следующей сессии. Большинством голосов была выбрана "Легкая автоматизация".‎ Так что в следующий раз мы поговорим о способах автоматизации рутинных задач. До встречи! И еще раз спасибо всем принявшим участие!