Skip to content
Product cover

Why Big Data Isn't Enough

November 14, 2016 | Sen Chai, Willy Shih | Data, AI, & Machine Learning

There is a growing belief that sophisticated algorithms paired with big data will find relationships independent of any preconceived hypotheses. But in businesses that involve scientific research and technological innovation, this approach is misguided and potentially risky, as spurious correlations and "noise" may lead analysts astray.

Purchase Options

Educator and Student Discounts Available. Learn more »

  BENCHMARKS  
Loading Time: Base Classes  0.0006
My Controller Construct  0.0003
Build Nav  0.0005
Controller Execution Time ( Products / Route )  0.0426
Total Execution Time  0.0433
  GET DATA  
No GET data exists
  MEMORY USAGE  
1.5603 MB
  POST DATA  
No POST data exists
  URI STRING  
store/why-big-data-isnt-enough
  CLASS/METHOD  
products/route
  DATABASE:  MITSLOAN_DEV   QUERIES: 68  (Hide)
0.0003  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0002  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0002  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0002  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0003  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0002  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0001  

SELECT *
FROM (`carts`)
WHERE `cart_id` =  '52a28ae9beb18b2e0a3796d87c0e4331'
ORDER BY `created_at` DESC 
0.0002  

SELECT SQL_CALC_FOUND_ROWS cat_id
FROM (`product_categories`)
WHERE `status_id` =  'A'
AND `url_friendly` =  'why-big-data-isnt-enough'
AND `parent_id` =  1 
0.0003  

SELECT c.parent_id, c.format_id
                    FROM products AS p, products AS c
                    WHERE p.prod_id = c.parent_id AND
                        c.avail_id IN ('A','B','D') AND
                        c.type_id = 'V' AND
                        (
                            c.sku = 'why-big-data-isnt-enough' OR
                            if(c.format_id = 'Certificate', '', p.url_friendly) = 'why-big-data-isnt-enough'
                        )
                    LIMIT 1 
0.0001  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  31 
0.0002  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '31' 
0.0002  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '31'
ORDER BY `sort` ASC 
0.0001  

SELECT `cat_id`
FROM (`product_categories__products`)
WHERE `prod_id` =  '31' 
0.0001  

SELECT *
FROM (`product_flags__products`)
WHERE `prod_id` =  '31' 
0.0001  

SELECT `sku`
FROM (`products__xsell`)
WHERE `prod_id` =  '31'
ORDER BY IF(position = 0, 1, 0) ASC , `position` 
0.0228  

SELECT `products`.`parent_id`
FROM (`transaction_lines`)
JOIN `products` ON `products`.`sku` = `transaction_lines`.`sku`
JOIN `product_categories__products` ON `products`.`parent_id` = `product_categories__products`.`prod_id`
WHERE `products`.`avail_id` =  'A'
AND TO_DAYS(transaction_lines.updated_at) < (TO_DAYS(NOW()) - 90)
AND `product_categories__products`.`cat_id` IN ('276') 
GROUP BY `products`.`parent_id`
ORDER BY COUNT(*) DESC
LIMIT 6 
0.0002  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  '701' 
0.0003  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '701' 
0.0003  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '701'
ORDER BY `sort` ASC 
0.0001  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  '3943' 
0.0002  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '3943' 
0.0002  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '3943'
ORDER BY `sort` ASC 
0.0001  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  '3049' 
0.0002  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '3049' 
0.0002  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '3049'
ORDER BY `sort` ASC 
0.0001  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  '3433' 
0.0002  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '3433' 
0.0002  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '3433'
ORDER BY `sort` ASC 
0.0001  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  '3497' 
0.0002  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '3497' 
0.0002  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '3497'
ORDER BY `sort` ASC 
0.0001  

SELECT `parent_id`
FROM (`products`)
WHERE `prod_id` =  '4191' 
0.0002  

SELECT *
FROM (`products`)
WHERE `products`.`prod_id` =  '4191' 
0.0002  

SELECT *
FROM (`authors`)
JOIN `products__authors` ON `authors`.`author_id` = `products__authors`.`author_id`
WHERE `products__authors`.`prod_id` =  '4191'
ORDER BY `sort` ASC 
0.0003  

SELECT SQL_CALC_FOUND_ROWS media_id, position
FROM (`media`)
WHERE `foreign_key_table` =  'products'
AND `foreign_key_column` =  'prod_id'
AND `foreign_key_value` =  '31'
AND `kind` =  'image_600x600'
ORDER BY IF(position = 0, 1, 0) ASC , `position` 
0.0001  

SELECT *
FROM (`media`)
WHERE `media`.`media_id` =  '16' 
0.0001  

SELECT *
FROM (`mime_types`)
WHERE `mime_types`.`extension` =  'jpg' 
0.0001  

SELECT *
FROM (`media_metadata`)
WHERE `media_id` =  '16' 
0.0002  

SELECT SQL_CALC_FOUND_ROWS media_id, position
FROM (`media`)
WHERE `foreign_key_table` =  'products'
AND `foreign_key_column` =  'prod_id'
AND `foreign_key_value` =  '31'
AND `kind` =  'gallery_image'
ORDER BY IF(position = 0, 1, 0) ASC , `position` 
0.0003  

SELECT *
FROM (`products`)
WHERE `avail_id` IN ('A', 'B', 'C', 'H') 
AND `parent_id` =  '31'
AND `type_id` =  'V'
ORDER BY IF(position = 0, 1, 0) ASC , `position`, `title` 
0.0001  

SELECT `c`.`format_id`, `c`.`price`, `c`.`sale_price`
FROM (`products` AS c)
WHERE `c`.`prod_id` =  '32'
LIMIT 1 
0.0004  

SELECT SQL_CALC_FOUND_ROWS media_id, position
FROM (`media`)
WHERE `foreign_key_table` =  'products'
AND `foreign_key_column` =  'prod_id'
AND `foreign_key_value` =  '32'
AND `kind` =  'thumbnail'
ORDER BY IF(position = 0, 1, 0) ASC , `position` 
0.0002  

SELECT `product_categories__products`.`cat_id`
FROM (`product_categories__products`)
JOIN `product_categories` ON `product_categories__products`.`cat_id` = `product_categories`.`cat_id`
WHERE `product_categories__products`.`prod_id` =  '31'
AND `product_categories`.`parent_id` =  1
AND `product_categories__products`.`cat_id` NOT IN (1, 261)  
0.0004  

SELECT `cat_id` AS id, `parent_id` AS parent, `status_id`, `name`, `description`, `url_friendly`, `page_title`, `meta_keywords`, `meta_description`, `position`, `updated_at`
FROM (`product_categories`)
WHERE `cat_id` != 1
ORDER BY `parent_id`, IF(position = 0, 1, 0) ASC , `position`, `name` 
0.0003  

SELECT *
FROM (`product_categories`)
WHERE `status_id` =  'A'
AND `parent_id` =  1
AND `cat_id` NOT IN (1, 261) 
ORDER BY `name` 
0.0002  

SELECT *
FROM (`site_settings`)
WHERE `option_key` =  'announcement' 
  HTTP HEADERS  (Show)
  SESSION DATA  (Show)
  CONFIG VARIABLES  (Show)