Month: May 2016

Google I/O 2016 Machine Learning: Google’s Vision

2주 전쯤 진행된 구글 I/O에 나온 기계학습에 대한 discussion. 연구를 하는 사람들은 아니지만 구글 product에 기계학습이 어떻게 쓰이고 있는지, 앞으로 어떤 연구가 도움이 될지에 대한 좋은 industry perspective인 것 같다. 기억에 남는 얘기는 구글 내부적으로 “mobile first”라고 하던 것이 “AI first”라고 하는걸로 바뀌었다는 것. 그만큼 AI가 구글에서도 중요하다는 것이고 연구개발에 투자를 많이 해야 한다는 얘기로 해석할 수 있다. 그리고 또 하나는 “UI and AI should be proportional”. 이 얘기는 HCI 쪽 product를 하는 사람의 말이었는데, 사람들이 쉽게 쓰기 위한  UI의 발전은 이제 더이상 AI가 없이는 안된다, 그런 얘기인 것 같다.

정보과학회 워크샵 “생활속의 인공지능”

정보과학회의 인공지능연구회에서 주최하는 “생활속의 인공지능” 워크샵이 6월 3일 네이버 그린팩토리에서 열린다. 최근에 CMU에서 서울대로 오신 김건희 교수님 등 좋은 talk들이 기대되니 다음 링크를 통해 등록!

http://sigai.or.kr/workshop/ai-applications/2016/

Tensor Processing Unit (TPU) by Google

요즘 트렌드 중 하나는 기계학습 모델을 잘 학습하기 위해 processor를 특별히 만드는 것이다. 구글에서도 TensorFlow를 위해 TPU라는 custom hardware를 만들었다고 하는데… 대단하다는 생각이 들지만, 이 블로그 포스트만 읽어보면 TPU란 것이 정확히 어떤건지, 기존의 하드웨어와 어떤 성능 차이를 보이는지, 앞으로 어떻게 더 발전시키고 다른 사람들도 혹시 쓰게 할건지, 그런 중요한 detail을 알려주지를 않아 좀 아쉽다.

Google supercharges machine learning tasks with TPU custom chip

ICLR 2016

Representation Learning에 관한 학회 ICLR이 5월 초에 열렸다. Open review, ArXiv publication, live streaming 등 새로운 시도도 같이 하는 커뮤니티인 것 같다. 2015년 ICLR 비디오는 다 올라와 있는데, 올해 비디오는 아직 안 올라와서 waiting… 올해 accepted papers 보면서 개인적으로 관심이 가는 sub-fields:

프로그래밍(알고리즘)을 생성하는 NN:

  1. Neural Programmer: Inducing Latent Programs with Gradient Descent
    Arvind Neelakantan, Quoc Le, Ilya Sutskever
  2. Neural Programmer-Interpreters
    Scott Reed, Nando de Freitas
  3. Neural GPUs Learn Algorithms [code]
    Lukasz Kaiser, Ilya Sutskever

Bayesian approaches to NN:

  1. The Variational Fair Autoencoder
    Christos Louizos, Kevin Swersky, Yujia Li, Max Welling, Richard Zemel
  2. Variationally Auto-Encoded Deep Gaussian Processes
    Zhenwen Dai, Andreas Damianou, Javier Gonzalez, Neil Lawrence
  3. Variational Gaussian Process
    Dustin Tran, Rajesh Ranganath, David Blei

ICML 2016

다가오는 6월에 뉴욕에서 ICML 학회가 열린다. 기계학습 분야의 최고 학회 2개 중 하나. 다른 하나는 겨울에 열리는 NIPS. 우리 연구실은 2012, 2014년에 한편씩 있었고, 여름에 부임하시는 양은호 박사님은 2014년 2편, 올해 1편. 내년에는 우리도 한 편 더 낼 수 있길… 최신 기계학습 연구의 동향을 보려면 링크를 눌러서 이번 ICML 논문들의 abstracts를 읽어보자.

ICML 2016 Accepted Papers

K-Mooc 인공지능과 기계학습

김기응 교수님과 함께 지난 겨울에 진행한 기계학습 온라인 강의 “인공지능과 기계학습”이 K-Mooc의 27개 강좌 중 수강생 수 기준으로 4위였다고 한다. 1위는 서울대 이준구 교수님의 강의였는데, 그 분과 같은 기사에 인기강좌로 함께 선정되었다는 것만으로도 황송한 일이다. 사실 내가 맡은 6주 동안의 강의가 그다지 좋지 않았기에 이런 글을 쓰기도 부끄럽고, 다음에 다시 한다면 훨씬 더 준비를 많이 해야겠다는 생각을 하게 된다. 조교를 했던 김기응 교수님 연구실의 학생들에게 여러가지로 고마웠다.
‘케이무크’ 인기 강좌는?…. ‘경제학’, ‘인공지능’

Google SyntaxNet

구글이 neural network 기반의 parser를 공개했다. Tensorflow 공개로 ML 에 관심이 있는 커뮤니티를 떠들썩하게 한지 얼마 안 돼서 또 많은 사람들이 관심을 갖고 써볼만한 툴을 오픈소스로 공개한 것.

Announcing SyntaxNet: The World’s Most Accurate Parser Goes Open Source

HCI 분야의 딥러닝

지난주 San Jose, CA에서 열린 ACM SIGCHI 학회의 Best Paper 중 하나. deep learning을 자연언어처리에 적용한 neural word embedding을 사용해서 몇개의 seed words만 주면 자동으로 비슷한 단어들끼리 묶어주고, 그 결과를 crowd에게 보여줘서 crowdsourcing을 통해 잘못 묶여진 단어들을 걸러내주는 Empath란 시스템에 대한 페이퍼. 기계학습모델을 새로 만든 것은 아니지만 HCI 분야에 적용했다는 점이 흥미롭다.

Empath: Understanding Topic Signals in Large-Scale Text by Ethan Fast, et al. CHI 2016.

중앙일보 시론 (김기응, 오혜연)

지난 3월 알파고 사건 이후…

2016.3.15. (김기응)

셋째, 우리 후세들이 꼭 갖추어야 할 소양으로 인공지능이 자리를 잡게 되었다는 것이다. 이번 바둑 대결을 통해 컴퓨터 프로그래밍 교육의 중요성이 대두된 것처럼, 앞으로 인공지능 기술을 자유자재로 다룰 줄 모른다면 현업에서 일하는 게 쉽지 않을 것이다.

2016.3.17. (오혜연)

따라서 인공지능 시대에 대한 준비는 인공지능과 인간의 경쟁에 초점을 맞춰선 안 된다. 오히려 가장 필요한 대비는 인공지능과 인간의 협력에 대한 고민과 연구라고 봐야 한다.

The First Korea-Japan Machine Learning Symposium

c011

http://mlcenter.postech.ac.kr/ml_symposium_2016

약 이틀동안 대한민국 서울에서 열리는 ML 심포지엄입니다. 강연자들이 좋으니 좋은 강의를 들을 수 있을 것으로 기대합니다.