소식

기계 심장 편집

저자: 오마르 카타브

편집자: egg sauce, zenan

논문을 쓰나요? 그것은 단지 하나의 작은 단계일 뿐입니다.

대학원 과정에서 많은 사람들은 자신의 연구를 어떻게 구성해야 할지 혼란스러워하는 경우가 많습니다. 이미 혼잡한 인공지능 분야에서 변화를 만들기 위해 우리는 어떻게 연구를 수행해야 할까요?

너무 많은 사람들이 장기 프로젝트, 적절한 코드 릴리스 및 신중한 벤치마크가 충분히 동기를 부여하지 않는다고 생각합니다. 때로는 신속하고 죄책감을 느끼며 수행한 다음 "실제" 조사로 돌아갈 수 있습니다.

최근 스탠포드 대학교 nlp 그룹의 박사 과정 학생인 omar khattab은 영향력 있는 연구 수행에 대한 최고의 ai 학자들의 생각을 논의하는 블로그 게시물을 게시했습니다.

그가 말한 것을 보자:

연구 영향은 다양한 형태로 나타나며, 저는 오픈 소스 작업(예: 모델, 시스템, 프레임워크 또는 벤치마크)을 통해 ai에 대한 연구 영향을 측정하는 데만 집중할 것입니다. 내 목표의 일부는 내 아이디어를 다듬고, 구체적인 제안을 기록하고, 피드백을 수집하는 것이므로 진술을 더욱 간결하게 만들겠습니다. 다른 아이디어가 있으면 댓글 영역에서 토론해 주세요.

첫째, 기본 원칙은 다음과 같습니다.

• 논문이 아닌 프로젝트에 집중하세요.

• 개발 여지가 더 많은 적절한 문제를 선택하여 "구멍을 파는" 방법이 있습니다.

• 두 단계 앞서 생각하고 빠르게 반복하세요.

• 귀하의 작업을 공개하고 아이디어를 홍보하십시오.

• 자신에게 동기를 부여하는 방법을 찾으십시오. 오픈 소스 연구를 성장시키기 위한 팁은 다음과 같습니다.

• 새로운 논문을 통해 프로젝트에 계속 투자하세요.

• 다섯 번째 요점인 "오픈 소스 연구 개발을 위한 팁"은 그 자체로 더 긴 기사를 작성할 가치가 있습니다. 나는 다음 게시물에서 그것에 대해 쓸 수 있습니다.

프로젝트에 집중

종이보다는

이것은 다른 모든 것의 기초가 되는 중요한 사고입니다.

초보 학생들은 처음 몇 편의 논문을 출판하는 데 큰 중점을 둘 것입니다. 이것은 의미가 있습니다. 연구를 수행하고, 초기 방향을 탐색하고, 초기 진행 상황을 보여주는 방법을 배우는 방법입니다. 그러나 이것은 결국 떠나야 하는 단계입니다. 장기적으로 귀하의 성취와 성장은 단순한 논문 수보다는 귀하가 전달하는 전반적인 연구 맥락과 영향력에 더 많이 좌우될 것입니다.

불행하게도 너무 많은 박사과정 학생들이 잠재적으로 영향력이 가장 큰 행동을 "동기부여"라고 생각합니다. 이것이 의미하는 바를 깨닫기 전까지는 이것이 저를 혼란스럽게 했습니다. 이러한 행동이 다음 논문 출판 능력을 저하시킬 수 있다는 것입니다. 하지만 다음 논문을 그렇게 빨리 출판하는 능력은 덜 중요합니다.

나는 당신의 작업을 일련의 고립된 논문으로 생각하지 말고 스스로에게 물어볼 것을 제안합니다. 당신이 이끌려는 더 큰 비전은 무엇이며 그 안에 있는 하위 분야나 패러다임은 무엇입니까? 당신의 일에서 어떤 변화를 만들고 싶나요? 따라서 벤치마크를 탐색하고 설정하기 위해 개별 논문을 게시하게 되며, 더 큰 비전은 의도적으로 반복해야 합니다. 이는 종이가 가지고 다니는 것보다 훨씬 더 커야 하며 확실히 아직 완전히 해결되지 않은 문제입니다.

이를 수행하는 한 가지 방법은 오픈 소스 도메인에서 유지 관리하는 일관된 아티팩트(예: 모델, 시스템, 프레임워크 또는 벤치마크)를 중심으로 일부 연구 논문을 구성하는 것입니다. 이 전략은 "일부 실험을 실행하고 일시적인 빠른 저장소를 릴리스"하는 것보다 비용이 많이 들지만 실제 영향을 미치는 문제를 찾도록 강요하고 수행하는 새로운 연구가 실제로 일관되고 유용하다는 것을 확인하는 데 도움이 됩니다. 노력을 들이지 않습니다. 당신이 개발하고 유지하고 있는 아티팩트에 쓸모없는 작은 기능이나 트릭을 도입하는 것입니다.

개선의 여지가 더 큰 적절한 질문을 선택하세요.

"구멍을 파낼" 수 있다

당신이 쓴 모든 논문이 무한정 투자할 가치가 있는 것은 아닙니다. 많은 논문은 일회성 탐색 논문입니다. 더 큰 프로젝트로 전환할 수 있는 방향을 찾으려면 다음 기준을 사용하세요.

첫째, 문제는 최첨단이어야 한다. 여러 가지 방법으로 정의할 수 있지만일체 포함현장에서 효과적인 전략은 2~3년 안에 '핫'할 것이지만 아직 주류가 되지 않은 문제 공간을 찾는 것입니다.

둘째, 문제는 구멍을 파는 데 큰 잠재력을 가져야 합니다. 즉, 많은 하위 문제에 잠재적인 영향을 미칠 수 있습니다. 기본적으로 이러한 질문의 결과는 많은 사람들에게 유익하거나 관심을 가질 수 있습니다. 연구자와 사람들은 자신의 목표를 달성하는 데 무엇이 도움이 되는지에 관심을 갖습니다. 따라서 귀하의 질문은 다른 사람들이 물건을 만들거나 연구 또는 생산 목표를 달성하도록 돕는 것과 같은 것일 수 있습니다. 이 필터를 적용하여 이론적 토대, 시스템 인프라, 새로운 벤치마크, 새로운 모델 및 기타 여러 사항을 연구할 수 있습니다.

셋째, 문제는 더 큰 여유를 두고 남겨두어야 한다. 사람들에게 시스템이 1.5배 더 빠르거나 5% 더 효율적일 수 있다고 말한다면 그것은 아마도 흥미롭지 않을 것입니다. 적어도 수년간의 노력 끝에 20배 더 빠르거나 30% 더 효율적으로 무언가를 더 빠르게 만들 수 있다는 0이 아닌 희망이 있는 문제를 찾아야 하는 것 같습니다. 물론, 성공하기 위해 거기까지 갈 필요는 없으며, 첫 번째 논문을 출판하거나 첫 번째 작품을 발표하기 위해 완전히 도착할 때까지 기다려서도 안 됩니다.

너무 추상화하고 싶지는 않습니다. colbert를 사용하여 설명하겠습니다. 2019년 말에는 검색을 위해 bert를 적용하는 연구가 매우 인기가 있었지만 이러한 방법은 비용이 많이 듭니다. 자연스럽게 질문이 생깁니다. 이 접근 방식의 효율성을 크게 향상시킬 수 있습니까? 이것이 좋은 질문이 되는 이유는 무엇입니까?

첫째, 매우 서문입니다. 우리는 2021년(1.5년 후)까지 많은 연구자들이 bert 기반의 효율적인 검색 아키텍처를 찾을 것이라고 정확하게 예측할 수 있습니다. 둘째, 발전의 여지가 많습니다. 새로운 ml 패러다임은 대부분의 노력이 처음에는 효율성을 무시하기 때문에 이와 같은 경향이 있습니다. 실제로 원래 접근 방식에서는 쿼리에 응답하는 데 30초가 걸릴 수 있지만 이제는 1,000배 더 빠른 30밀리초 내에 고품질 검색을 완료할 수 있습니다. 셋째, 팬아웃이 크다. 확장 가능한 검색은 좋은 "기초" 문제입니다. 모든 사람이 검색기 위에 무언가를 구축해야 하지만 이를 구축하려는 사람은 거의 없습니다.

두 단계 앞서 생각해 보세요

신속하게 반복

이제 좋은 문제가 생겼으니 접근 방식으로 눈앞에 있는 낮은 과일을 선택하려고 서두르지 마세요! 어떤 시점에서는 적어도 많은 사람들이 결국 "명백한" 접근 방식을 고려하게 될 것입니다.

대신 적어도 두 단계 앞서 생각하십시오. 이 시의적절한 문제가 마침내 주류가 되었을 때 대부분의 사람들이 택할 가능성이 있는 경로를 식별하십시오. 그런 다음 경로 자체의 제한 사항을 식별하고 이러한 제한 사항을 이해하고 해결하기 위해 노력합니다.

실제로는 어떤 모습일까요? colbert 사례를 다시 살펴보겠습니다. bert를 사용하여 효율적인 검색기를 구축하는 확실한 방법은 문서를 벡터로 인코딩하는 것입니다. 흥미롭게도 2019년 말까지 제한된 ir 작업만이 이를 달성했습니다. 예를 들어, 이 카테고리(dpr)에서 가장 많이 인용된 작품은 2020년 4월에 첫 번째 사전 인쇄를 출시했습니다.

이를 감안할 때 2019년에 해야 할 올바른 일은 bert를 통해 훌륭한 단일 벡터 ir 모델을 구축하는 것이라고 생각할 수 있습니다. 대조적으로, 단지 두 단계만 앞서 생각하면 다음과 같은 질문이 생깁니다. 조만간 모든 사람이 단일 벡터 접근 방식을 구축하는데, 이 단일 벡터 접근 방식이 근본적으로 정체되는 지점은 어디입니까? 실제로 이 문제는 이후의 상호 작용 패러다임과 널리 사용되는 모델로 이어졌습니다.

또 다른 예로 dspy를 사용할 수 있습니다. 2022년 2월, 힌트가 점점 더 강력해지면서 사람들은 이전처럼 미세 조정하기보다는 검색 기반의 품질 보증을 위해 힌트를 사용하고 싶어한다는 것이 분명해졌습니다. 그러기 위해서는 당연히 방법을 확립해야 합니다. 두 단계 더 나아가서 우리는 이렇게 묻습니다. 이러한 접근 방식은 어디에서 막히게 됩니까? 궁극적으로 "검색 후 생성"(또는 rag) 접근 방식은 아마도 lm과 관련된 가장 간단한 접근 방식일 것입니다.

사람들이 관심을 갖는 것과 같은 이유로 다음 사항에 대한 관심이 점점 더 커질 것입니다. (i) 보다 복잡한 모듈 조합 표현 (ii) 기본 lm의 자동 프롬프트 또는 미세 조정을 통해 수행해야 할 작업 파악 결과적으로 복잡한 파이프라인을 감독하거나 최적화합니다. dspy입니다.

이 규칙의 후반부는 "빠른 반복"입니다. 이것은 아마도 내 지도교수인 matei zaharia(sloan prize 수상자이자 apache spark의 창립자)가 박사 과정 첫 주에 나에게 준 첫 번째 연구 조언이었을 것입니다. 빠르게 반복하고 피드백을 받을 수 있는 주제를 식별하는 것(예: 지연 또는 검증) 점수) 버전의 문제를 해결하면 퍼즐을 풀 확률이 크게 높아질 수 있습니다. 이것은 어렵고 불확실한 두 단계 앞서 생각하는 경우 특히 중요합니다.

당신의 작업을 공개하세요

당신의 아이디어가 스며들도록 하세요

이 시점에서 당신은 좋은 문제를 발견했고 뭔가 멋진 것을 발견하고 통찰력 있는 기사를 작성할 때까지 계속 반복했습니다. 다음 문서로 넘어가지 마세요. 그 대신, 작업 결과를 세상에 알리는 데 집중하고 단지 하나의 논문 발표뿐 아니라 적극적으로 연구하고 있는 큰 그림에 대해 사람들과 실제적인 상호 작용을 시도하십시오. 또는 더 나은 방법은 핵심 아이디어를 포착하여 구축하고 유지 관리하는 유용한 오픈 소스 도구에 대해 사람들에게 알리는 것입니다.

일반적인 첫 번째 단계는 arxiv에 논문의 사전 인쇄본을 게시한 다음 논문 출판을 알리는 "게시물"을 게시하는 것입니다. 이 작업을 수행할 때는 구체적이고 실질적이며 이해 가능한 주장으로 게시물을 시작해야 합니다. 목표는 본질적인 가치가 없는 논문을 발표했다는 사실을 사람들에게 알리는 것이 아닙니다. 핵심 주장을 직접적이고 매력적인 방식으로 전달하는 것이 목표입니다. (예, 어렵다는 것은 알지만 꼭 필요합니다).

아마도 더 중요한 것은 프로세스가 첫 번째 "출시"로 끝나는 것이 아니라 단지 시작일 뿐이라는 점입니다. 이제 귀하가 논문뿐만 아니라 프로젝트에 투자하고 있다는 점을 고려하면, 귀하의 아이디어와 과학적 의사소통은 고립된 종이 출판물을 넘어 일년 내내 계속될 것입니다.

대학원생들이 자신의 작업에 대해 트윗하도록 도울 때, 초기 게시물이 원하는 관심을 받지 못하는 경우가 많습니다. 학생들은 종종 이것을 자신의 연구 출판에 대한 두려움을 확인하는 것으로 보고 이를 다음 논문으로 넘어가야 한다는 또 다른 신호로 받아들입니다. 분명히 이 생각은 틀렸다.

이 문제에 대해 인내심을 갖는 것이 많은 의미가 있음을 보여주는 풍부한 개인적인 경험, 간접 경험 및 관찰이 있습니다(그런데 그렇게 하는 사람은 많지 않습니다). 즉, 드문 경우를 제외하고 좋은 아이디어 견인을 위해서는 사람들에게 다양한 맥락에서 핵심 사항을 여러 번 알리고 커뮤니티가 시간이 지남에 따라 성장할 수 있을 때까지 또는 아이디어를 수용할 수 있을 때까지 아이디어와 아이디어 전달을 지속적으로 개선해야 합니다. 분야는 이러한 아이디어가 더 쉽게 이해되는 올바른 개발 단계에 도달합니다.

설렘을 모아

오픈소스 연구 출판을 위한 팁

사람들이 귀하의 연구에 흥미를 갖도록 하는 것은 좋은 일이지만 오픈 소스 도구 게시, 기여 및 개발을 통해 관련 다운스트림 애플리케이션에 아이디어를 전달하는 것이 더 큰 영향을 미칠 수 있는 경우가 많습니다.

이를 수행하는 것은 쉽지 않습니다. 단순히 readme와 함께 코드 파일을 github에 업로드하는 것만으로는 충분하지 않습니다. 좋은 저장소는 귀하가 출판하는 어떤 논문보다 더 중요한 프로젝트의 "집"이 될 것입니다.

좋은 오픈소스 연구에는 거의 독립적인 두 가지 특성이 필요합니다. 첫째, 좋은 연구여야 하고, 참신하고, 시의적절하고, 범위가 넓으며, 정확해야 합니다. 둘째, 명확한 다운스트림 유틸리티와 낮은 마찰을 가져야 합니다.

이것이 가장 중요한 부분입니다. 사람들은 모든 "잘못된" 이유로 oss 작업을 반복적으로 피할 것입니다(다른 사람들은 반복적으로 사용할 것입니다). 예를 들어, 귀하의 연구가 객관적으로 "최신"일 수 있지만 사람들은 마찰이 적은 대안을 우선시할 가능성이 높습니다. 반면, 대학원생은 가장 창의적인 부분을 최대한 활용하지 않기 때문에 사람들이 도구를 사용하는 이유를 종종 놓치곤 합니다. 이것은 저항할 가치가 있는 것이 아니라 이해하고 개선할 가치가 있는 것입니다.

이를 바탕으로 오픈소스 연구 결과에 있어서 주의해야 할 몇 가지 이정표를 나열하고자 합니다.

마일스톤 0: 게시된 콘텐츠를 사용 가능하게 만들기

누구도 실행할 수 없는 코드를 공개하는 것은 의미가 없습니다. 귀하의 연구 분야에서 이러한 사람들은 귀하의 연구 결과를 복제하고 싶어할 수도 있으며 귀하의 연구 결과를 인용할 수도 있습니다. 이 사람들은 다른 유형의 사용자보다 인내심이 더 강합니다. 하지만 코드를 얼마나 쉽게 패치할 수 있느냐에 따라 학문적 영향에 큰 차이가 있다는 것을 알게 될 것입니다.

마일스톤 1: 게시된 콘텐츠를 유용하게 만들기

틈새 시장에 있는 사람들 외에도 실제로 프로젝트를 사용하여 다른 것을 구축하려는 청중에게 릴리스가 유용한지 확인해야 합니다. 인공지능 연구에서 이 이정표는 자연스럽게 나타나는 경우가 거의 없습니다. 사람들이 해결하려고 하는 문제(연구, 생산 등)와 ai 노력이 도움이 될 수 있는 부분에 대해 생각하는 데 많은 시간을 할당해야 합니다. 이 작업을 올바르게 수행할 수 있다면 프로젝트 디자인부터 노출된 api 및 제시된 문서/예제에 이르기까지 많은 이점을 얻을 수 있습니다.

마일스톤 2: 릴리스를 이해하기 쉽게 만들기

이는 ai 연구자들에게는 어려운 일이지만, 모든 것이 기술적으로 이용 가능하고 어느 정도 설명이 가능한 유용한 버전이 대다수의 잠재 사용자가 이 버전을 찾을 것이라는 의미는 아니라는 점을 깨달아야 합니다. 버전은 이해하기 쉽고 유지하기에 충분합니다. 배우거나 시도해 보는 데 참여합니다.

유명한 ai 학자인 andrej karpathy는 이 문제에 대해 다음과 같은 기사를 썼습니다. "뭔가를 만든 다음 거기에 도달하려면 경사로를 건설해야 합니다." ben clavie도 이에 대해 광범위한 글을 썼으며 colbert에서 수행한 작업을 가져와 더 쉽게 접근할 수 있도록 만드는 데 큰 역할을 했습니다.

마일스톤 3: 명백한 대안이 실패한 이유를 파악하고 인내심을 가지세요.

우리는 두 단계 앞서 생각하는 것에 대해 이야기하면서 시작했습니다. 내 생각에는 이것이 매우 중요하지만, 아직 명확하게 관찰할 수 없는 문제에 대한 해결책이 왜 필요한지 대부분의 사람들이 이해하지 못한다는 의미이기도 합니다. 시간이 지남에 따라 귀하의 업무 중 하나는 사례를 구축하는 것이라고 생각합니다. 증거를 수집하고 왜 명백한 대안(한 번에 한 단계씩 생각해 보세요)이 실패하는지 이해하기 쉬운 방식으로 설명하십시오.

마일스톤 4: 사용자 유형을 이해하고 이를 성장에 활용합니다.

colbert와 dspy를 시작했을 때 초기 청중은 연구원과 전문 ml 엔지니어였습니다. 시간이 지나면서 나는 그것을 버리고 더 많은 청중에게 다가갈 수 있지만 그들이 원하는 것은 서로 다르다는 것을 이해하는 법을 배웠습니다. 어떤 조치를 취하기 전에 잠재적인 사용자의 다양한 범주를 간접적으로 또는 직접적으로 차단하지 마십시오. 이런 상황은 사람들이 생각하는 것보다 훨씬 더 흔합니다.

둘째, 사용자를 찾을 때 두 유형의 사용자 사이의 균형을 찾아야 합니다. 한편으로 고급 사용 사례를 갖춘 전문 빌더는 많은 돈을 투자하도록 요구할 수 있지만 연구 측면에서 특정 사용 사례를 추진하는 경향이 있으며 이는 성과를 낼 수 있습니다. 반면, 공개 빌더는 일반적으로 ml 전문가는 아니지만 학습 내용을 공개적으로 구축하고 공유하는 경우가 많으며 대규모 성장에서 더 큰 비중을 차지하고 초기 가설 학습에 대해 더 많이 생각하게 만듭니다. 둘 다 필요합니다.

마일스톤 5: 관심을 성장하는 커뮤니티로 전환

oss 작업의 진정한 성공은 커뮤니티의 존재와 귀하의 노력과는 별개로 커뮤니티의 지속적인 성장에 있습니다. 일반적으로 좋은 커뮤니티는 유기적이어야 하지만 기여와 토론을 환영하고 관심을 기여나 일종의 포럼(예: discord 또는 github)으로 전환할 수 있는 기회를 찾는 등 커뮤니티 형성을 돕기 위해 적극적으로 노력해야 합니다.

마일스톤 6: 관심을 적극적이고 협력적이며 모듈식인 다운스트림 프로젝트로 전환

초기 단계의 oss 프로젝트가 원래 비전의 모든 문제를 해결하지 못할 가능성이 있습니다. 잘 설계된 프로젝트에는 연구 공동 작업(또는 기타 노력)을 시작할 수 있고 새로운 팀원이 프로젝트를 발전시킬 뿐만 아니라 프로젝트의 중요한 부분을 소유하여 더 빠르고 더 큰 영향력을 행사할 수 있는 여러 모듈식 부분이 있는 경우가 많습니다. 그들의 아이디어를 극적으로 개선하면서 프로젝트를 개선합니다. 예를 들어, dspy에는 현재 적시 최적화, 프로그래밍 추상화 및 강화 학습 분야의 r&d 활동을 주도하는 별도의 팀이 있습니다. 외부 애플리케이션 프로그래밍 인터페이스, 기본 검색 인프라, 핵심 모델링과 같은 colbert의 구성 요소는 주로 다양한 프로젝트의 다양한 사람들에 의해 주도됩니다.

자, 요약해 보세요. 오픈소스 연구를 채택하려면 좋은 연구와 좋은 오픈소스 결과가 필요합니다. 이 균형을 맞추는 것은 어렵지만, 일단 올바르게 하게 되면 매우 보람을 느낄 수 있습니다. 개인적으로는 이를 파악하고 내면화하는 데 오랜 시간이 걸렸다. 이는 박사 과정 지도교수인 chris potts와 matei zaharia의 반복적인 피드백과 heather miller와 jeremy howard의 귀중한 의견 덕분이었습니다.

연구를 평가하는 기준은 이전 지식과 비교한 '증분'이지만, '증분'을 의미 있게 활용하려면 소프트웨어 자체가 효과적이어야 합니다. 소프트웨어가 효과적이려면 문서도 효과적이어야 합니다. 사람들은 소프트웨어를 보여주지 않는 한 소프트웨어를 사용하는 모든 다운스트림 방식을 볼 수 없습니다. 즉, 이러한 작업이 독립적인 커뮤니티에 의해 개발될 때까지입니다.

그럼에도 불구하고 이 섹션에서 가장 중요한 기술은 "게시"하고, 실제로 게시하고, 자주 게시하고, 이를 통해 배우는 것입니다.

새로운 논문 출판

자신의 프로젝트에 계속 투자하세요.

다섯 번째 규칙을 읽으면 다음과 같은 질문이 자연스럽게 떠오릅니다. 대학원생들은 오픈 소스 소프트웨어에 많은 시간을 어디에서 소비합니까? 실제 연구는 언제 할 수 있나요?

실용적인 대답은 오픈 소스에 소요되는 대부분의 시간이 새롭고 흥미로운 연구를 수행하는 데 사용될 수 있다는 것입니다. 그 둘은 보이는 것만큼 분리되어 있지 않습니다. 왜 그런 말을 합니까?

첫째, 이러한 종류의 오픈 소스 소프트웨어 작업의 최전선에 있으면 새로운 문제를 아주 초기에 직관적으로 식별할 수 있습니다. 그렇지 않은 경우보다 더 본능적으로 문제를 이해하게 될 것입니다. 또한 귀하가 구축한 커뮤니티는 귀하의 분석법 프로토타입에 대한 직접적인 피드백을 제공하고 문제의 중요성을 이해하는 재능 있는 공동 작업자에 대한 액세스를 제공하는 경우가 많습니다. 또한 이 분야에 게시하는 모든 새 논문이 청중에게 도달하고 기존 플랫폼을 강화할 수 있도록 유용한 "배포 채널"에 액세스할 수 있습니다.

예를 들어 "colbert"는 단순한 2020년 초의 논문이 아닙니다. 현재는 향상된 교육, 낮은 메모리 공간, 더 빠른 검색 인프라, 더 나은 도메인 적응성 및 다운스트림 nlp 작업과의 더 나은 일치에 투자하는 10개 정도의 후속 관련 논문이 있습니다. 마찬가지로 dspy는 논문이 아니라 프로그래밍 추상화, 힌트 최적화 및 다운스트림 프로그램에 대한 논문 모음입니다. 이러한 논문 중 상당수는 다양한 우수한 저자가 작성했으며, 그들의 작업은 부분적으로 오픈 소스 소프트웨어 채널을 통해 많은 독자를 확보함으로써 큰 ​​영향을 미쳤습니다.

따라서 좋은 오픈 소스 도구는 새로운 연구자와 기여자가 탐색하고, 소유하고, 개발할 수 있는 모듈식 작업을 만들 수 있습니다.

참조 원문: https://github.com/okhat/blog/blob/main/2024.09.impact.md