@ a d a m l e o n s m i t h                                                         T e s t i n g   f o r               A d a m   L e o n   S m i t h   C h i e f   T e c h n o l o g y   O f f i c e r   @   D r a g o n f l y   [ w e a r e d r a g o n f l y . c o ] I E E E   E t h i c a l   D e s i g n   S t a n d a r d s   G r o u p I S O / I E C   J T C   1 / S C   4 2   A I B S I   A R T / 1 B C S   S I G I S T
@ a d a m l e o n s m i t h a r t i f i c i a l   i n t e l l i g e n c e
@ a d a m l e o n s m i t h m a c h i n e   l e a r n i n g   i s   a   f i e l d   o f   c o m p u t e r   s c i e n c e   t h a t   g i v e s   c o m p u t e r   s y s t e m s   t h e   a b i l i t y   t o   l e a r n ,   r a t h e r   t h a n   b e i n g   e x p l i c i t l y   p r o g r a m m e d a c h i e v e d   b y   t r a i n i n g   a n   a l g o r i t h m i c   s y s t e m   w i t h   d a t a i t   i n f e r s   a b s e n t   a t t r i b u t e s   w h i c h   w i l l   b e   u s e d   i n   f u t u r e   p r e d i c t i o n s i t   c a n   c l a s s i f y   t h i n g s ,   c o u n t   t h i n g s ,   a n d   g r o u p   t h i n g s
@ a d a m l e o n s m i t h s o   w h a t ' s   t h e   p r o b l e m ? A I   t e c h n o l o g y   i s   m o v i n g   f o r w a r d   r a p i d l y   i n   m a n y   a r e a s . . . . .     b u t   n o t . . . . .     t r a n s f e r r i n g   h i g h - l e v e l   k n o w l e d g e   b e t w e e n   c o n t e x t s . h u m a n s   h a v e   a   s e t   o f   m o r a l   v a l u e s ,   a n d   t h o s e   v a l u e s   c a n t   y e t   b e   e a s i l y   a d d e d   t o   a n   a l g o r i t h m M L   a l g o r i t h m s   i d e n t i f y   p a t t e r n s   i n   d a t a ,   a n d   u s e   t h o s e   p a t t e r n s   a s   r u l e s   -   a s   h e u r i s t i c s             h e u r i s t i c s   a r e   a n   i m p e r f e c t   b u t   f a s t   m e t h o d   M L   +   p e r s o n a l   d a t a   =   u n i q u e   e t h i c a l   r i s k s   f o r   s o f t w a r e
@ a d a m l e o n s m i t h s e l e c t i o n   b i a s   i s   i n t r o d u c e d   w h e n   t h e   t r a i n i n g   d a t a   i s   s k e w e d ,   i n c o m p l e t e   o r   b i a s e d   t o w a r d s   f r e q u e n c i e s   t h a t   d o n ' t   o c c u r   i n   r e a l   l i f e c o n f i r m a t i o n   b i a s   i s   t h e   t e n d e n c y   t o   s e a r c h   f o r ,   i n t e r p r e t ,   f o c u s   o n   a n d   r e m e m b e r   i n f o r m a t i o n   i n   a   w a y   t h a t   c o n f i r m s   o n e ' s   p r e c o n c e p t i o n s t r a i n i n g   b i a s   o c c u r s   w h e n   a c t i v e   h u m a n   s u p e r v i s i o n   p a s s e s   o n   u n c o n s c i o u s   b i a s   t h a t   b e l o n g s   t o   t h e   h u m a n   c o n d u c t i n g   t h e   t r a i n i n g i n a p p r o p r i a t e   b i a s   i s   b i a s   t h a t   h a s   a   n e g a t i v e   i m p a c t   o n   t h e   i n t e r e s t s   o f   t h e   s t a k e h o l d e r s   o f   t h e   s y s t e m
@ a d a m l e o n s m i t h s e l e c t i o n   b i a s   -   u s i n g   t r a i n i n g   d a t a   w h i c h   i s   n o t   r e p r e s e n t a t i v e   w i l l   l e a d   t o   p r e d i c t i o n s   w h i c h   r e - i n f o r c e   t h a t   b i a s
@ a d a m l e o n s m i t h s e l e c t i o n   b i a s   -   u s i n g   t r a i n i n g   d a t a   w h i c h   i s   n o t   r e p r e s e n t a t i v e   w i l l   l e a d   t o   p r e d i c t i o n s   w h i c h   r e - i n f o r c e   t h a t   b i a s
@ a d a m l e o n s m i t h s e l e c t i o n   b i a s   -   u s i n g   t r a i n i n g   d a t a   w h i c h   i s   n o t   r e p r e s e n t a t i v e   w i l l   l e a d   t o   p r e d i c t i o n s   w h i c h   r e - i n f o r c e   t h a t   b i a s
@ a d a m l e o n s m i t h u s i n g   " f o u n d   d a t a "   f r o m   t h e   i n t e r n e t   r e - i n f o r c e s   e x i s t i n g   b i a s
@ a d a m l e o n s m i t h u s i n g   " f o u n d   d a t a "   f r o m   t h e   i n t e r n e t   r e - i n f o r c e s   e x i s t i n g   b i a s
@ a d a m l e o n s m i t h i n d i r e c t   d i s c r i m i n a t i o n " I n   s i x   m a j o r   s a m e - d a y   d e l i v e r y   c i t i e s ,   t h e   s e r v i c e   a r e a   e x c l u d e d   p r e d o m i n a n t l y   b l a c k   Z I P   c o d e s   t o   v a r y i n g   d e g r e e s   "   -   B l o o m b e r g   a n a l y s i s   t h a t   c o m p a r e d   A m a z o n   s a m e - d a y   d e l i v e r y   a r e a s   w i t h   U . S .   C e n s u s   B u r e a u   d a t a .
@ a d a m l e o n s m i t h i n d i r e c t   d i s c r i m i n a t i o n " S t a p l e s   s e e m i n g l y   r a t i o n a l   d e c i s i o n   t o   a d j u s t   o n l i n e   p r i c e s   b a s e d   o n   u s e r - p r o x i m i t y   t o   c o m p e t i t o r   s t o r e s   l e d   t o   c o n s i s t e n t l y   h i g h e r   p r i c e s   f o r   l o w - i n c o m e   c u s t o m e r s ,   w h o   ( a s   i t   t u r n s   o u t )   g e n e r a l l y   l i v e   f a r t h e r   f r o m   t h e s e   s t o r e s . "         -     [ T r a m e r   e t   a l . ,   2 0 1 6 ]
@ a d a m l e o n s m i t h i n d i r e c t   d i s c r i m i n a t i o n B l o o m b e r g   a n a l y s e d   A m a z o n s   s a m e   d e l i v e r y   s e r v i c e s   a n d   f o u n d   t h a t   " I n   s i x   m a j o r   s a m e - d a y   d e l i v e r y   c i t i e s ,   t h e   s e r v i c e   a r e a   e x c l u d e d   p r e d o m i n a n t l y   b l a c k   Z I P   c o d e s   t o   v a r y i n g   d e g r e e s   " .     A m a z o n   d o e s n t   k n o w   y o u r   r a c e ,   b u t   a p p e a r e d   t o   b e   o p e r a t i n g   a   t w o   t i e r   s e r v i c e s   b a s e d   o n   j u s t   t h a t . A m a z o n   h a v e   s i n c e   c o r r e c t e d   t h i s   i s s u e
@ a d a m l e o n s m i t h i n d i r e c t   d i s c r i m i n a t i o n
@ a d a m l e o n s m i t h i n d i r e c t   d i s c r i m i n a t i o n
@ a d a m l e o n s m i t h i n d i r e c t   d i s c r i m i n a t i o n
@ a d a m l e o n s m i t h w h a t   a b o u t   w h e r e   a l g o r i t h m s   h a v e   t h e   p o t e n t i a l   f o r   g r e a t e r   g o o d ?
@ a d a m l e o n s m i t h C O M P A S u s e d   i n   n i n e   U S   s t a t e s ,   C O M P A S   p r e d i c t s   r e o f f e n d i n g   r i s k   a n d   i s   a n   i n p u t   t o   s e n t e n c i n g u s e s   1 3 7   d a t a   i n p u t s   ( e x c l u d i n g   r a c e )   f o r   e a c h   o f f e n d e r ,   p r o p r i e r t a r y   c o m m e r c i a l   a l g o r i t h m .     I n p u t s   i n c l u d e   s u b s t a n c e   u s e ,   s o c i a l   i s o l a t i o n   a n d   o t h e r   e l e m e n t s   t h a t   c r i m i n o l i g i s t s   t h e o r i z e   a b o u t .
E d u c a t i o n J u s t i c e H e a l t h S e c u r i t y E m p l o y m e n t C u l t u r e O t h e r G e n e r a t i n g   k n o w l e d g e B e t t e r   i d e n t i f y   l e a r n e r ' s   a b i l i t i e s R e v e a l   t h e   d i f f e r e n t   w a y s   j u d g e m e n t s   a r e   m a d e T a p   i n t o   t h e   v a s t   a m o u n t   o f   s c i e n t i f i c   p u b l i c a t i o n s I d e n t i f y   u n s u s p e c t e d   l i n k s   b e t w e e n   p o l i c e   i n v e s t i g a t i o n s U n d e r s t a n d   s o c i a l   p h e n o m a n a   i n   t h e   w o r k p l a c e C r e a t e   c u l t u r a l   s h o w p i e c e s   ( e . g .   a r t ,   m u s i c ) F i n e - t u n e   a n   i n s u r a n c e   c o m p a n i e s   r i s k   p r o f i l e M a t c h i n g A l l o c a t e   H i g h e r   E d u c a t i o n   p o s i t i o n s   t o   a p p l i c a n t s A l l o c a t e   p a t i e n t s   f o r   p a r t i c i p a t i o n   i n   a   c l i n i c a l   t r i a l I d e n t i f y   c r i m i n a l s   f r o m   f a c i a l   r e c o g n i t i o n   i n   a   c r o w d M a t c h   a   l i s t   o f   a p p l i c a t i o n s   t o   a   v a c a n c y M a t c h   c o m p a t i b l e   p r o f i l e s   o n   d a t i n g   a p p s P r e d i c t i n g P r e d i c t   e a r l y   s c h o o l - l e a v e r s P r e d i c t   t h e   l i k e l i h o o d   o f   a   t r i a l   b e i n g   s u c c e s s f u l P r e d i c t   e p i d e m i c s P r e d i c t   f u t u r e   c r i m e s D e t e c t   e m p l o y e e s   w h o   a r e   l i k e l y   t o   r e s i g n . C r e a t e   c r o w d - p l e a s e r s R e c o m m e n d i n g R e c o m m e n d   p e r s o n a l i s e d   l e a r n i n g   p a t h w a y s   t o   s t u d e n t s R e c o m m e n d m e d i a t i o n s o l u t i o n s   b a s e d o n   t h e   p r o f i l e   o f t h e   i n d i v i d u a l s a n d   s i m i l a r   c a s e s i n   t h e   p a s t R e c o m m e n d c a r e e r   g u i d e l i n e s i n   l i n e   w i t h i n d i v i d u a l   p r o f i l e R e c o m m e n d b o o k s   ( A m a z o n ) , T V   s e r i e s ( N e t f l i x ) ,   e t c . P e r s o n a l i s e p o l i t i c a l m e s s a g e s   o n s o c i a l   m e d i a A s s i s t i n g   w i t h   D e c i s i o n s S u g g e s t   t o   t h e j u d g e   t h e   m o s t f i t t i n g   c a s e - l a w s o l u t i o n   f o r   a g i v e n   c a s e S u g g e s t   s u i t a b l e t h e r a p e u t i c s o l u t i o n s   t o t h e   d o c t o r S u g g e s t   h o t s p o t s f o r   p o l i c e   f o r c e s t o   p a t r o l A l l o c a t e   w o r k   t o   t h e   b e s t   e m p l o y e e H e l p   d r i v e r s   t o f i n d   t h e   s h o r t e s t r o u t e   f r o m   A   t o   B ( G P S ) @ a d a m l e o n s m i t h a   s n a p s h o t   o f   A I / A l g o   m a i n   f u n c t i o n s   i n   k e y   s e c t o r s . . .
@ a d a m l e o n s m i t h l e t ' s   r e c a p m a c h i n e   l e a r n i n g   i s   a   k e y   p a r t   o f   A I ,   a n d   i t s   u s e   i s   b o o m i n g   i n   m a n y   a r e a s w h e r e   p e r s o n a l   d a t a   i s   p r o c e s s e d ,   t h e r e   i s   a   r i s k   o f   u n f a i r   b i a s p r o t e c t e d   f e a t u r e s   d o n ' t   n e e d   t o   b e   i n c l u d e d   e x p l i c i t l y   i n   t h e   d a t a s e t b i a s   c a n   e m e r g e   w h e n   t r a i n i n g   d a t a s e t s   i n a c c u r a t e l y   r e f l e c t   s o c i e t y ,   b u t   i t   c a n   a l s o   e m e r g e   w h e n   d a t a s e t s   a c c u r a t e l y   r e f l e c t   u n f a i r   a s p e c t s   o f   s o c i e t y . t h i s   b i a s   c a n   b e   u n l a w f u l ,   e . g .   i n   t h e   U K
@ a d a m l e o n s m i t h a r t i f i c i a l   i n t e l l i g e n c e   h a s   n e w   q u a l i t i e s A b i l i t y   t o   l e a r n A b i l i t y   t o   g e n e r a l i s e T r u s t w o r t h i n e s s
@ a d a m l e o n s m i t h a r e   p e o p l e   r e a l l y   t e s t i n g   f o r   t h i s ?
@ a d a m l e o n s m i t h I n d u s t r y   r e s p o n s e ?
@ a d a m l e o n s m i t h t e s t i n g   t e c h n i q u e s @ a d a m l e o n s m i t h T e c h n i q u e S u m m a r y P R O s C O N s I n d i v i d u a l   d i s c r i m i n a t i o n M u t a t e   t h e   p r o t e c t e d   c h a r a c t e r i s t i c s   o n l y ,   a n d   m e a s u r e   t h e   d i f f e r e n c e   i n   o u t c o m e S i m p l e   a n d   e a s y   t o   a c h i e v e V e r i f i e s   t h e   d i s c r i m i n a t i o n I n d i r e c t   d i s c r i m i n a t i o n   c a n ' t   b e   t e s t e d S m a l l   s c a l e ,   s o   d o e s n ' t   q u a n t i f y   t h e   d i s c r i m i n a t i o n G r o u p   d i s c r i m i n a t i o n M e a s u r e   t h e   d i f f e r e n c e   i n   o u t c o m e   p e r   s u b - g r o u p S t i l l   e a s y   t o   a c h i e v e   b u t   d o e s   r e q u i r e   m o r e   v o l u m e V e r i f i e s   a n d   q u a n t i f i e s   t h e   d i s c r i m i n a t i o n I n d i r e c t   d i s c r i m i n a t i o n   c a n ' t   b e   t e s t e d D o e s n ' t   i d e n t i f y   d i s c r i m i n a t i o n   i f   t h e   s u b - g r o u p   c o n t a i n s   r e s u l t s   w h i c h   c a n c e l   e a c h   o t h e r   o u t   E x t e r n a l   v a l i d i t y U s e   t e s t   d a t a     s h o w n   t o   b e   r e p r e s e n t a t i v e   u s i n g   e x t e r n a l   d a t a   s o u r c e s   ( e . g .   c e n s u s ) ,   a n d   m e a s u r e   t h e   d i f f e r e n c e   i n   o u t c o m e   f o r   d i f f e r e n t   s u b - g r o u p s   I n d i r e c t   d i s c r i m i n a t i o n   c a n   b e   t e s t e d   f o r   w h e r e   i t   i s   i n f e r r e d   b y   l o c a t i o n   a n d   a g e V e r i f i e s   a n d   q u a n t i f i e s   t h e   d i s c r i m i n a t i o n M u c h   m o r e   c o m p l e x   a n d   r e q u i r e s   a   s p e c i a l i s t   t o o l   /   d e v e l o p m e n t D o e s n ' t   i d e n t i f y   d i s c r i m i n a t i o n   i f   t h e   s u b - g r o u p   c o n t a i n s   r e s u l t s   w h i c h   c a n c e l   e a c h   o t h e r   o u t
@ a d a m l e o n s m i t h T e s t   S t r a t e g y I d e n t i f y   s t a k e h o l d e r s C o n s i d e r   r i s k s   a n d   i m p a c t s   o f   t h e   a l g o r i t h m C o n s i d e r   t e s t e r   d i v e r s i t y C o n s i d e r   u s e   o f   p r o d u c t i o n   d a t a C o n s i d e r   h o w   t e s t   d a t a   c a n   b e   v e r i f i e d   a s   r e p r e s e n t a t i v e   D e t e r m i n e   a c c e p t a n c e   c r i t i e r i a   f o r   l e v e l   o f   s i g n i f i c a n t   b i a s   T e s t   P l a n n i n g C o n s i d e r   t h e   m e c h a n i s m   o f   i n p u t   c o l l e c t i o n   S e l e c t   t e s t   t e c h n i q u e s P r e p a r e   d a t a B u i l d   t o o l i n g P l a n   t o   t e s t   c o n s e n t / n o t i f i c a t i o n   t e x t   a g a i n s t   l e g a l   r e q u i r e m e n t s   ( e . g .   G D P R ) T e s t   E x e c u t i o n E n s u r e   c o m p l i a n t   i f   u s i n g   p r o d u c t i o n   d a t a E n s u r e   t e s t i n g   i s   i n d e p e n d e n t   t o   a v o i d   c o n f i r m a t i o n   b i a s I m p l e m e n t   s e l e c t e d   t e c h n i q u e s G a i n   s i g n - o f f   f o r   a n y   b i a s   w h i c h   i s   o p e r a t i o n a l l y   j u s t i f i e d P o s t   G o - L i v e E n s u r e   l e a r n i n g   a s s e t s   a r e   c o n f i g u r a t i o n   m a n a g e d   p r o p e r l y   t h r o u g h   e n v i r o n m e n t s M o n i t o r   w h e t h e r   s o c i a l   n o r m s   h a v e   c h a n g e d C o n t i n u e   t o   e v a l u a t e   t h e   m o d e l   a s   i t   e v o l v e s   b a s e d   o n   n e w   d a t a a   t e s t i n g   m o d e l   t o   a v o i d   d i g i t a l   d i s c r i m i n a t i o n . . . @ a d a m l e o n s m i t h
@ a d a m l e o n s m i t h a n y   q u e s t i o n s ? e m a i l   m e   a d a m s m i t h @ p i c c a d i l l y g r o u p . c o m @ a d a m l e o n s m i t h