Thứ 592 chương Phía trước hoàn toàn không có năng lực, đột nhiên xuất hiện
Liêu Viễn tra xét ba ngày nhật ký.
Ngày thứ ba buổi tối, hắn đem Tần Lãng kéo đến trước màn hình." Tìm được. Hai vấn đề."
Thứ nhất, học tập tỷ lệ thiết lập quá cao. Mô hình ngay từ đầu học được nhanh, đến nhất định độ chính xác liền nhảy tới nhảy lui không ổn định. Giống chạy bộ chạy quá nhanh, đến điểm kết thúc hãm không được, xông qua lại lộn trở lại.
" Điều thấp là được?"
" Điều thấp, nhưng thời gian huấn luyện kéo dài. Thì ra bốn ngày, bây giờ ít nhất hai tuần."
Thứ hai cái tại tài liệu ngôn ngữ. Liêu Viễn đem huấn luyện số liệu kéo ra ngoài chạy thống kê —— Luận đàn thiếp tử chiếm một nửa, nhưng chất lượng kém cỏi nhất. Rất nhiều chỉ mấy chữ, " Đỉnh "" Ghế sô pha "" Đồng ý trên lầu ", tất cả đều là nói nhảm.
" Thấp hơn 50 cái chữ toàn bộ xóa. Thanh xong còn lại 60 ức chữ. Thiếu mất một nửa."
" Đủ." Tần Lãng nói, " Thiếu mà tinh so nhiều mà nát vụn mạnh."
Hắn tại trên bạch bản viết một con số: 15 ức.
" Mục tiêu tham số lượng.GPT-2 bản đầy đủ trình độ."
Liêu Viễn Khán một mắt." 1 ức đến 15 ức, tính toán lực không phải đơn giản nhân 10 năm. Mô hình lớn, mỗi một bước lượng tính toán cũng lớn."
Ngày thứ hai, Tần Lãng tại trên bạch bản vẽ ra tấm đồ.
Chiều ngang tham số lượng, tung trục hiệu quả. Một đầu đường vòng cung từ trái phía dưới hướng về phải bên trên đi, càng đi phải càng đột ngột.
" Quy mô pháp tắc." Tần Lãng đẩy mắt kính một cái, "OpenAI chính mình phát luận văn. Tham số lật gấp mười, về hiệu quả một bậc thang. Không phải chậm rãi thay đổi xong, là nhảy một đương."
Hắn tại trên đồ tiêu 4 cái điểm."GPT-2 4 cái phiên bản —— 1 ức hai, 3 ức năm, 7 ức bảy, 15 ức. Mỗi một đương đều so sánh với một đương hảo một mảng lớn."
" Cho nên chúng ta 1 ức tham số bản thân liền không đủ." Tiết Kỳ Phong nói.
" Đúng.GPT-2 bản đầy đủ 15 ức, có thể viết ra dĩ giả loạn chân tin tức. Chúng ta 1 ức, ra từ không thành câu. Kém mười lăm lần."
Trương Vĩ không biết lúc nào tiến vào, đứng ở cửa nghe xong một hồi." Làm đến 15 ức muốn bao nhiêu tiền?"
Tần Lãng liền một món nợ như vậy." Ba trăm tấm tạp chạy một tháng. Tiền điện thêm trừ hao mòn gia nhập công việc, đại khái 50 vạn."
" 50 vạn chạy một cái mô hình. Chạy đến có thể làm gì? Có thể kiếm tiền sao?"
" Bây giờ không thể." Tần Lãng nói.
" Cái kia đánh cược gì?"
" Đánh cược quy mô." Tần Lãng chỉ vào bạch bản, "GPT-2 đến GPT-3——OpenAI sang năm muốn phát —— Cơ cấu giống nhau như đúc, cái gì đều không đổi. Chính là đem tham số từ 15 ức chồng đến 1750 ức."
" Một ngàn bảy trăm ——"
" Một trăm mười lăm lần. Huấn luyện thành bản từ 4 vạn USD đến bốn trăm sáu mươi vạn USD. Không phải kỹ thuật đột phá, chính là bỏ tiền, chồng tạp, đâm số liệu."
" Nhưng cái này có cái mấu chốt." Tần Lãng tại đường vòng cung cuối cùng vẽ lên đầu hư tuyến, " Mô hình lớn đến cái nào đó điểm —— Đại khái 100 ức đến 1000 ức tham số ở giữa —— Lại đột nhiên ' Khai khiếu '. Phía trước hoàn toàn không có năng lực, đột nhiên xuất hiện. Giống nấu nước, 99 độ vẫn là thủy, một trăm độ biến hơi nước."
" Nhưng ở một trăm độ phía trước, ngươi nhìn không ra nó nhanh mở." Tần Lãng gõ gõ bạch bản, " 50 độ, bảy mươi độ, chín mươi độ —— Cũng chỉ là nước nóng. Chỉ có đến một trăm độ mới biết được."
" Cho nên ngươi để cho ta cá chính là ——" Trương Vĩ chỉ chỉ bạch bản, " Đi đến thêm hỏa, thêm đến một trăm độ?"
" Đúng. Nhưng chúng ta không biết một trăm độ ở đâu. Có thể 100 ức tham số, có thể 1000 ức."
" Vạn nhất vĩnh viễn thiêu không mở đâu?"
"OpenAI đánh cược phải mở. Bọn hắn sang năm phát GPT-3, 1750 ức tham số. Nếu như bọn hắn cũng đánh cược không mở, toàn nhân loại đều phải một lần nữa nghĩ."
Trương Vĩ trầm mặc mấy giây." Vạn nhất đi không thông đâu?"
Không có người nói tiếp.
Tô Vãn đẩy cửa đi vào, cầm trong tay một phần ngành nghề tin vắn. Nàng nghe xong cái cái đuôi.
" Thương Thang đánh giá giá trị từ 130 ức rớt xuống 75 ức." Tô Vãn đem tin vắn đặt lên bàn, " SoftBank lui. Đầu tư bên ngoài LP nói an phòng nghiệp vụ quá mẫn cảm, không động vào."
" Cho nên?" Trương Vĩ hỏi.
" Bọn hắn đốt đi mấy chục ức, đánh giá giá trị còn tại ngã." Tô Vãn nói, " Chúng ta thiêu 2000 vạn, ít nhất đang đánh cược một cái không có người đánh cược phương hướng."
Trương Vĩ nhìn nàng một cái." Ngươi cũng đồng ý?"
" Ta không đồng ý." Tô Vãn nói, " Nhưng Thương Thang ví dụ thuyết minh, theo gió làm lớn nhà đều làm chuyện, không nhất định an toàn hơn."
Lâm Nghiễn tựa lưng vào ghế ngồi, trong tay chuyển bút, từ đầu tới đuôi không nói chuyện. Lúc này mở miệng.
" Gia chú."
Trương Vĩ nhìn xem hắn." Ngươi biết điều này có ý vị gì?"
" Biết."
" 2000 vạn có thể toàn bộ không có."
" Ân."
" Ngươi không giải thích một chút vì cái gì?"
" Thương Thang bỏ xem thiêu mấy chục ức làm an phòng, đường đi chấm dứt. Baidu đi BERT không làm tạo ra. Toàn bộ Trung Quốc không có người đi đường này."
" Cho nên?"
" Không có người đi lộ, đi thông chính là thứ nhất."
Trương Vĩ không có lại nói tiếp.
" Tài liệu ngôn ngữ thanh xong, tham số đến 15 ức, chạy một tháng." Lâm Nghiễn đứng lên, " Liêu Viễn, tài liệu ngôn ngữ 60 ức chữ có thể không đủ. Thêm.GPT-2 là bốn mươi G tiếng Anh, tiếng Trung tin tức mật độ thấp, ít nhất gấp bội."
" 100 ức chữ đặt cơ sở." Tần Lãng gật đầu.
Lâm Nghiễn đi tới cửa, ngừng một chút.
" Liêu Viễn."
" Ân?"
" Những thứ này tạp tất cả đều là NVIDIA."
" Đúng, V100."
" Nếu có một ngày mua không được nữa nha?"
Liêu Viễn sửng sốt một chút." Không thể nào? Bây giờ tùy tiện mua."
" Ân." Lâm Nghiễn đi.
Tần Lãng nhìn xem cửa ra vào nhíu mày. Trương Vĩ cũng không đi, đứng tại bạch bản phía trước.
" Hắn hỏi mua không được tạp thời điểm, " Trương Vĩ nói, " Ngươi cảm thấy là thuận miệng hỏi?"
" Không giống."
" Như cái gì?"
Tần Lãng nghĩ nghĩ." Muốn biết đáp án."
Tài liệu ngôn ngữ thanh tẩy xong, 120 ức chữ. Tham số phối tốt, mô hình từ 1 ức phóng tới 15 ức. Ba trăm tấm V100 một lần nữa chạy ra.
Lần này không có bốn ngày ra kết quả.
Chạy ròng rã một tháng. Phòng máy điều hoà không khí đổi một nhóm càng lớn, tiền điện từ 5 vạn tăng tới 8 vạn. Trương Vĩ mỗi tuần đến xem một lần công tơ điện, mỗi lần sắc mặt đều khó nhìn.
Tuần thứ 2, Lâm Nghiễn nhận một cái điện thoại. Lý ty trưởng.
" Cho ngươi vuốt một lần chín đầu tuyến. Song linh kiện trên đài phê kinh phí, Chu lão đầu tại cân đối, một chân bước vào cửa.DUV90nm sản xuất hàng loạt, 28nm đắm chìm vào thức công quan trung.EDA điểm công cụ đột phá, toàn bộ quá trình tại đẩy. Chất cảm quang KrF sản xuất hàng loạt, ArF còn tại phòng thí nghiệm."
"EUV thấu kính phim mẫu nghiệm chứng bên trong.LPP còn không có khởi động, chờ thấu kính ra tham số.12 tấc silic phiến 10 vạn mảnh một tháng, cả vùng qua chứng nhận, lương tỷ lệ đi lên. Che khuôn mẫu cấp trung sản phẩm sản xuất hàng loạt. Tiên tiến đóng gói còn không có khởi động, chờ song linh kiện đài sản xuất hàng loạt, đợt thứ ba làm tan."
" Lớn quỹ ngân sách hai kỳ 2000 ức rơi xuống đất. Đặc biệt khí hoa đặc biệt khí thể vừa cầm tới ASML quang khắc khí chứng nhận, quốc nội đầu một nhà. Ẩm ướt hóa Hưng Phát tập đoàn điện tử cấp a-xít phốt-pho-ríc qua bên trong tâm 28nm nghiệm chứng. Chỉnh thể hàng nội địa hóa tỷ lệ mới hơn hai thành, cao cấp cơ bản áp vào miệng."
Lý ty trưởng dừng một chút.
" Trước ngươi phán đoán, từng cái từng cái đều đối."
" Vận khí tốt."
" Vận khí tốt có thể từng cái từng cái giẫm lên?" Lý ty trưởng cười một tiếng, " Toàn bộ vòng tròn đều biết ngươi chuyển phương hướng. Lớn mô hình —— Ngươi nghiêm túc?"
" Nghiêm túc."
" Thiếu cái gì nói chuyện."
" Không thiếu."
" Đi. Có kết quả thứ trong lúc nhất thời báo."
Lâm Nghiễn cúp điện thoại, liếc mắt nhìn ong ong chuyển phòng máy.
Tô Vãn tới qua hai lần. Lần thứ nhất liếc mắt nhìn phòng máy liền đi. Lần thứ hai ngồi 10 phút, nghe Tần Lãng giảng loss đường cong vì cái gì còn không thu liễm.
" Ngươi nói bao nhiêu lần nhanh?" Tô Vãn hỏi.
" Lần này là thật sự." Tần Lãng nói.
" Ngươi lần trước cũng nói."
Tuần thứ ba, Trương Vĩ lại tới phòng máy.
" 8 vạn một tháng." Hắn nhìn xem công tơ điện, " Tháng sau còn chạy?"
" Muốn điều tham số, chạy, thấy kết quả, lại điều, lại chạy." Liêu Viễn không ngẩng đầu, " Huấn luyện không phải một lần thành chuyện."
Trương Vĩ quay người thời điểm ra đi lầm bầm một câu. Nghe không rõ nói cái gì. Nhưng cước bộ so sánh với thời điểm nhanh.
Ngày thứ ba mươi 3h sáng.
Tần Lãng không ngủ. Liêu Viễn không ngủ. Tiết Kỳ phong ngâm đệ tứ ấm cà phê.
loss đường cong bình. Không phải lần trước loại kia " Kẹt " Bình —— Là hàng đến cùng, thu liễm.
Tần Lãng nhìn chằm chằm màn hình, tay có chút run rẩy. Hắn gõ một hàng chữ đi vào.
Đưa vào: Trung quốc thủ đô là
Trên màn hình nhảy ra một hàng chữ.
Tần Lãng nhìn 10 giây. Lại gõ một nhóm.
Đưa vào: Lúc trước có tòa núi
Lại nhảy ra một nhóm.
Liêu Viễn tiến tới liếc mắt nhìn, ngây ngẩn cả người.
Tần Lãng đứng lên.
" Chạy thông."