machine-learning-systems-design README

The project's README from github.com/chiphuyen/machine-learning-systems-design. As one markdown file: README.md.

Machine Learning Systems Design

Read this booklet here.

This booklet was my initial attempt to write about machine learning systems design back in 2019. My understanding of the topic has gone through significant iterations since then. My book Designing Machine Learning Systems (O'Reilly, June 2022) is much more comprehensive and up-to-date. The new book's repo contains the full table of contents, chapter summaries, and random thoughts on MLOps tooling.

This booklet covers four main steps of designing a machine learning system:

  1. Project setup
  2. Data pipeline
  3. Modeling: selecting, training, and debugging
  4. Serving: testing, deploying, and maintaining

It comes with links to practical resources that explain each aspect in more details. It also suggests case studies written by machine learning engineers at major tech companies who have deployed machine learning systems to solve real-world problems.

At the end, the booklet contains 27 open-ended machine learning systems design questions that might come up in machine learning interviews. The answers for these questions will be published in the book Machine Learning Interviews. You can look at and contribute to community answers to these questions on GitHub here. You can read more about the book and sign up for the book's mailing list here.

Contribute

This is work-in-progress so any type of contribution is very much appreciated. Here are a few ways you can contribute:

  1. Improve the text by fixing any lexical, grammatical, or technical error
  2. Add more relevant resources to each aspect of the machine learning project flow
  3. Add/edit questions
  4. Add/edit answers
  5. Other

This book was created using the wonderful magicbook package. For detailed instructions on how to use the package, see their GitHub repo. The package requires that you have node. If you're on Mac, you can install node using:

brew install node

Install magicbook with:

npm install magicbook

Clone this repository:

git clone https://github.com/chiphuyen/machine-learning-systems-design.git
cd machine-learning-systems-design

After you've made changes to the content in the content folder, you can build the booklet by the following steps:

magicbook build

You'll find the generated HTML and PDF files in the folder build.

Acknowledgment

I'd like to thank Ben Krause for being a great friend and helping me with this draft!

Citation

machine-learning-systems-design (chiphuyen/machine-learning-systems-design)

Searching Database…

10.7K ·GitHub
Machine-learning-systems-design
Что это?Бесплатный буклет о проектировании систем машинного обучения, охватывающий четыре основных этапа: подготовку проекта, пайплайн данных, моделирование (выбор, обучение, отладка) и эксплуатацию (тестирование, развёртывание, сопровождение), со ссылками на практические ресурсы и кейсы.
Это то же самое, что изданная книга автора «Designing Machine Learning Systems»?Нет, это более ранний и короткий черновой буклет 2019 года. Настоящая книга O'Reilly раскрывает тему куда глубже и живёт в отдельном репозитории (dmls-book).
Как на самом деле читать буклет?Перейдите по ссылке в начале README, чтобы читать его онлайн в виде сгенерированных HTML/PDF.
Этот контент ещё активно поддерживается или дополняется?Это ранний незавершённый черновик 2019 года; с тех пор понимание автора сильно изменилось, а более выверенный материал теперь живёт в изданной книге.
Входят ли в буклет 27 вопросов с собеседований, которые он упоминает?Да, буклет содержит 27 открытых вопросов по проектированию ML-систем, которые часто встречаются на собеседованиях по машинному обучению.
Где найти ответы на эти 27 вопросов?Официальные ответы публикуются в книге автора «Machine Learning Interviews», а отдельный связанный GitHub-репозиторий собирает ответы от сообщества.
Зачем хранить этот буклет, если уже есть полная книга?Он сохраняет исходный черновик 2019 года, из которого выросла более полная книга, и по-прежнему служит бесплатным, более лёгким ресурсом с отобранными ссылками и кейсами.
What are similar projects?machine-learning-interview, llm_interview_note, system-design-notes, professional-programming, SDE-Interview-and-Prep-Roadmap, awesome-mlops, system-design-interview, path-to-senior-engineer-handbook
Which topics is it in?production, ml, mlops, data-engineering, system-design, study-guide, deployment, interview, interview-preparation, best-practices, career, data-science
Creator
chiphuyen
Size
1.4 MB
Stars
10.7K
Updated
CommitJun 22
Age
6y
Commits · 90 Days